本申请涉及无人驾驶技术领域,尤其涉及一种无人驾驶车辆的控制方法、装置、电子设备及存储介质。
背景技术:
随着科技的发展,智能化的无人驾驶车辆渐渐被人们熟知,由于其不需要驾驶员驾驶车辆,并且能够实现自动发车、自动行驶、自动泊车等功能,因此可以代替驾驶员的工作。并且驾驶员驾驶车辆工作一段时间后,需要休息以保证安全驾驶,若驾驶员疲劳驾驶则会出现交通事故等问题,因此无人驾驶车辆具有一定的优势。如何进一步提高无人驾驶车辆的利用率一直值得研究。
技术实现要素:
本申请实施例提供一种无人驾驶车辆的控制方法、装置、电子设备及存储介质,用于解决如何提高无人驾驶车辆的利用率的问题。
一方面,本申请一实施例提供了一种无人驾驶车辆的控制方法,包括:
获取所述无人驾驶车辆周围环境的图像;
从所述图像中分析出具有用车意图的目标对象;
根据所述目标对象的位置信息,控制所述无人驾驶车辆对所述目标对象进行接驾;
接驾成功后,与所述目标对象进行交互确定所述目标对象的目的地、以及到达所述目的地的行驶路线;
控制所述无人驾驶车辆根据所述行驶路线行驶至所述目的地。
本申请的一实施例中,所述无人驾驶车辆包括前视摄像头和环视摄像头,所述获取无人驾驶车辆周围环境的图像,包括:
分别获取所述前视摄像头和所述环视摄像头所采集的图像。
本申请的一实施例中,所述从所述图像中分析出具有用车意图的目标对象,包括:
采用预先训练的第一目标提取模型提取所述前视摄像头采集的图像中的具有指定用车姿势的第一候选目标对象,得到第一候选目标对象集合;以及采用预先训练的第二目标提取模型提取所述环视摄像头采集的图像中具有所述指定用车姿势的第二候选目标对象,得到第二候选目标对象集合;
筛选所述第一候选目标对象集合与所述第二候选目标对象集合中的相同候选目标对象,并将所述相同候选目标对象从所述第二候选目标对象集合中过滤掉;
基于所述第一候选目标对象集合、以及筛选后的所述第二候选目标对象集合,筛选出与所述无人驾驶车辆满足预设位置关系的候选目标对象作为具有用车意图的所述目标对象。
本申请的一实施例中,所述筛选所述第一候选目标对象集合与所述第二候选目标对象集合中的相同候选目标对象,包括:
分别确定所述第一候选目标对象集合中每一个第一候选目标对象的位置信息;以及分别确定所述第二候选目标对象集合中每一个第二候选目标对象的位置信息;
将所述第一候选目标对象集合中每一个第一候选目标对象的位置信息与所述第二候选目标对象集合中每一个第二候选目标对象的位置信息进行一一对比;
将位置差距在预设距离范围内的第一候选目标对象和第二候选目标对象作为所述相同候选目标对象。
本申请的一实施例中,所述指定用车姿势为面对所述无人驾驶车辆且具有指定手势。
本申请的一实施例中,当所述前视摄像头和所述环视摄像头采集的图像均为视频帧时,每一个所述第一候选目标对象和每一个所述第二候选目标对象所在的视频帧数至少为两帧。
本申请的一实施例中,所述预设位置关系为距离最短。
本申请的一实施例中,根据以下方法训练所述第一目标提取模型:
获取第一训练样本,所述第一训练样本包括第一样本图像以及所述第一样本图像关联的指定用车姿势;
将所述第一样本图像输入所述第一目标提取模型,得到所述第一目标提取模型输出的所述第一样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第一样本图像的所述指定用车姿势之间的损失,训练所述第一目标提取模型的参数。
本申请的一实施例中,根据以下方法训练所述第二目标提取模型:
获取第二训练样本,所述第二训练样本包括第二样本图像以及所述第二样本图像关联的指定用车姿势;
将所述第二样本图像输入所述第二目标提取模型,得到所述第二目标提取模型输出的所述第二样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第二样本图像的所述指定用车姿势之间的损失,训练所述第二目标提取模型的参数。
本申请的一实施例中,所述根据所述目标对象的位置信息,控制所述无人驾驶车辆对所述目标对象进行接驾,包括:
控制所述无人驾驶车辆行驶至所述目标对象的位置信息周围的指定范围内;
当检测到所述无人驾驶车辆位于所述目标对象的位置信息周围的指定范围内之后,通过语音交互确定所述目标对象是否乘车;
若确定所述目标对象乘车,则指示所述目标对象上车。
本申请的一实施例中,所述接驾成功后,与所述目标对象进行交互确定所述目标对象的目的地、以及到达所述目的地的行驶路线,包括:
接收并识别所述目标对象的语音信息,确定所述目标对象的目的地;
通过所述无人驾驶车辆内置的显示屏展示所述目标对象的目的地,并在接收到所述目标对象对所述目的地确认指令后规划至少一条候选路线;
选择一条候选路线作为所述行驶路线。
本申请的一实施例中,所述选择一条候选行驶路线作为所述行驶路线,包括:
响应于所述目标对象对所述至少一条候选路线的选择指示,将选择的所述候选路线作为所述行驶路线。
本申请的一实施例中,所述控制所述无人驾驶车辆根据所述行驶路线行驶至所述目的地之后,所述方法还包括:
请求所述目标对象支付订单;
在确认所述目标对象支付完成后,提示所述目标对象对本次服务进行评价。
一方面,本申请一实施例提供了一种无人驾驶车辆的控制装置,包括:
获取模块,用于获取所述无人驾驶车辆周围环境的图像;
分析模块,用于从所述图像中分析出具有用车意图的目标对象;
第一控制模块,用于根据所述目标对象的位置信息,控制所述无人驾驶车辆对所述目标对象进行接驾;
确定模块,用于接驾成功后,与所述目标对象进行交互确定所述目标对象的目的地、以及到达所述目的地的行驶路线;
第二控制模块,用于控制所述无人驾驶车辆根据所述行驶路线行驶至所述目的地。
本申请的一实施例中,所述无人驾驶车辆包括前视摄像头和环视摄像头,所述获取模块,用于:
分别获取所述前视摄像头和所述环视摄像头所采集的图像。
本申请的一实施例中,所述分析模块,用于:
采用预先训练的第一目标提取模型提取所述前视摄像头采集的图像中的具有指定用车姿势的第一候选目标对象,得到第一候选目标对象集合;以及采用预先训练的第二目标提取模型提取所述环视摄像头采集的图像中具有所述指定用车姿势的第二候选目标对象,得到第二候选目标对象集合;
筛选所述第一候选目标对象集合与所述第二候选目标对象集合中的相同候选目标对象,并将所述相同候选目标对象从所述第二候选目标对象集合中过滤掉;
基于所述第一候选目标对象集合、以及筛选后的所述第二候选目标对象集合,筛选出与所述无人驾驶车辆满足预设位置关系的候选目标对象作为具有用车意图的所述目标对象。
本申请的一实施例中,所述分析模块,还用于:
分别确定所述第一候选目标对象集合中每一个第一候选目标对象的位置信息;以及分别确定所述第二候选目标对象集合中每一个第二候选目标对象的位置信息;
将所述第一候选目标对象集合中每一个第一候选目标对象的位置信息与所述第二候选目标对象集合中每一个第二候选目标对象的位置信息进行一一对比;
将位置差距在预设距离范围内的第一候选目标对象和第二候选目标对象作为所述相同候选目标对象。
本申请的一实施例中,所述指定用车姿势为面对所述无人驾驶车辆且具有指定手势。
本申请的一实施例中,当所述前视摄像头和所述环视摄像头采集的图像均为视频帧时,每一个所述第一候选目标对象和每一个所述第二候选目标对象所在的视频帧数至少为两帧。
本申请的一实施例中,所述预设位置关系为距离最短。
本申请的一实施例中,所述装置还包括:
第一训练模块,用于根据以下方法训练所述第一目标提取模型:
获取第一训练样本,所述第一训练样本包括第一样本图像以及所述第一样本图像关联的指定用车姿势;
将所述第一样本图像输入所述第一目标提取模型,得到所述第一目标提取模型输出的所述第一样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第一样本图像的所述指定用车姿势之间的损失,训练所述第一目标提取模型的参数。
本申请的一实施例中,所述装置还包括:
第二训练模块,用于根据以下方法训练所述第二目标提取模型:
获取第二训练样本,所述第二训练样本包括第二样本图像以及所述第二样本图像关联的指定用车姿势;
将所述第二样本图像输入所述第二目标提取模型,得到所述第二目标提取模型输出的所述第二样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第二样本图像的所述指定用车姿势之间的损失,训练所述第二目标提取模型的参数。
本申请的一实施例中,所述第一控制模块,用于:
控制所述无人驾驶车辆行驶至所述目标对象的位置信息周围的指定范围内;
当检测到所述无人驾驶车辆位于所述目标对象的位置信息周围的指定范围内之后,通过语音交互确定所述目标对象是否乘车;
若确定所述目标对象乘车,则指示所述目标对象上车。
本申请的一实施例中,所述确定模块,用于:
接收并识别所述目标对象的语音信息,确定所述目标对象的目的地;
通过所述无人驾驶车辆内置的显示屏展示所述目标对象的目的地,并在接收到所述目标对象对所述目的地确认指令后规划至少一条候选路线;
选择一条候选路线作为所述行驶路线。
本申请的一实施例中,所述确定模块,还用于:
响应于所述目标对象对所述至少一条候选路线的选择指示,将选择的所述候选路线作为所述行驶路线。
本申请的一实施例中,所述第二控制模块,还用于:
请求所述目标对象支付订单;
在确认所述目标对象支付完成后,提示所述目标对象对本次服务进行评价。
一方面,本申请一实施例提供了一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其中,处理器执行计算机程序时实现上述任一种方法的步骤。
一方面,本申请一实施例提供了一种计算机可读存储介质,其上存储有计算机程序指令,该计算机程序指令被处理器执行时实现上述任一种方法的步骤。
一方面,本申请一实施例提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述任一种tcp传输性能的控制的各种可选实现方式中提供的方法。
本申请实施例提供的无人驾驶车辆的控制方法,通过获取无人驾驶车辆周围环境的图像,并从图像中分析出具有用车意图的目标对象,然后根据目标对象的位置信息,控制无人驾驶车辆对目标对象进行接驾,在接驾成功后,与目标对象进行交互确定目标对象的目的地、以及到达目的地的行驶路线,最后控制无人驾驶车辆根据行驶路线行驶至目的地,从而可以提高无人驾驶车辆的利用率。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单地介绍,显而易见地,下面所介绍的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1为本申请实施例提供的无人驾驶车辆的控制方法的应用场景示意图;
图2为本申请一实施例提供的无人驾驶车辆的控制方法的流程示意图;
图3为本申请一实施例提供的从图像中筛选目标对象的方法的流程示意图;
图4(a)为本申请一实施例提供的图像标注后的示意图;
图4(b)为本申请一实施例提供的行人面对无人驾驶车辆朝向的示意图;
图5(a)为本申请一实施例提供的展示候选目标对象的应用场景示意图;
图5(b)为本申请一实施例提供的展示候选目标对象的应用场景示意图;
图6为本申请一实施例提供的无人驾驶车辆的控制装置的结构示意图;
图7为本申请一实施例提供的电子设备的结构示意图。
具体实施方式
为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述。
以下,对本申请实施例中的部分用语进行解释说明,以便于本领域技术人员理解。
(1)本申请实施例中术语“多个”是指两个或两个以上,其它量词与之类似。
(2)“和/或”,描述关联对象的关联关系,表示可以存在三种关系,例如,a和/或b,可以表示:单独存在a,同时存在a和b,单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
(3)服务器,是为终端服务的,服务的内容诸如向终端提供资源,保存终端数据;服务器是与终端上安装的应用程序相对应的,与终端上的应用程序配合运行。
(4)终端,既可以指软件类的app(application,应用程序),也可以指客户端。它具有可视的显示界面,能与用户进行交互;是与服务器相对应,为客户提供本地服务。针对软件类的应用程序,除了一些只在本地运行的应用程序之外,一般安装在普通的客户终端上,需要与服务端互相配合运行。因特网发展以后,较常用的应用程序包括了如收寄电子邮件时的电子邮件客户端,以及即时通讯的客户端等。对于这一类应用程序,需要网络中有相应的服务器和服务程序来提供相应的服务,如数据库服务,配置参数服务等,这样在客户终端和服务器端,需要建立特定的通信连接,来保证应用程序的正常运行。
附图中的任何元素数量均用于示例而非限制,以及任何命名都仅用于区分,而不具有任何限制含义。
在具体实践过程中,驾驶员驾驶车辆工作一段时间后,需要休息以保证安全驾驶,若驾驶员疲劳驾驶则会出现交通事故等问题,由于无人驾驶车辆驾驶过程中不需要驾驶员驾驶车辆,并且能够实现自动发车、自动行驶、自动泊车等功能,因此可以代替驾驶员的工作。故此,如何进一步提高无人驾驶车辆的利用率值得探讨。
为此,本申请提供了一种无人驾驶车辆的控制方法,本发明的发明构思为:网约车的发展逐渐代替了传统的路边盲目寻找出租车的打车方式。网约车,使用了互联网技术和通信技术让用车用户和提供出租服务的用户能够有的放矢。双方不再盲目的寻找目标,提高了人们的打车效率。故此,可以将无人驾驶和出租服务相关联。有鉴于此,本申请实施例中通过获取无人驾驶车辆周围环境的图像,并从图像中分析出具有用车意图的目标对象,然后根据目标对象的位置信息,控制无人驾驶车辆对目标对象进行接驾,在接驾成功后,与目标对象进行交互确定目标对象的目的地、以及到达目的地的行驶路线,最后控制无人驾驶车辆根据行驶路线行驶至目的地,相对通过驾驶员驾驶车辆接送乘客来说,可以提高工作效率。
在介绍完本申请实施例的发明构思之后,下面对本申请实施例的技术方案能够适用的应用场景做一些简单介绍,需要说明的是,以下介绍的应用场景仅用于说明本申请实施例而非限定。在具体实施时,可以根据实际需要灵活地应用本申请实施例提供的技术方案。
参考图1,其为本申请实施例提供的无人驾驶车辆的控制方法的应用场景示意图。该应用场景包括无人驾驶车辆101、行人1、行人2、行人3、行人4,其中,无人驾驶车辆101内置车载终端。
车载终端获取无人驾驶车辆101中摄像头发送的车辆周围环境的图像,如图1所示,图像中包括行人1、行人2、行人3、行人4,车载终端从该图像中分析出具有用车意图的目标对象,也即行人2,然后根据行人2的位置信息b,控制无人驾驶车辆101从当前的位置信息a行驶至位置信息b,以使无人驾驶车辆101对行人2进行接驾,在接驾成功后,车载终端通过获取无人驾驶车辆101与行人2的交互信息,进而可以根据交互信息确定行人2的目的地的位置信息c、以及到达目的地的行驶路线,控制无人驾驶车辆101根据行驶路线行驶至目的地,即位置信息c。
或者,应用场景还可以包括服务器102。车载终端将获取的图像发送至服务器102进行分析处理,并控制无人驾驶车辆101执行上述方法,或者通过车载终端和服务器102协同执行上述方法。
其中,无人驾驶车辆101内置的车载终端和服务器102之间通过无线或有线网络连接,服务器102可以是一台服务器、若干台服务器组成的服务器集群或云计算中心。服务器102可以是独立的物理服务器,也可以是多个物理服务器构成的服务器集群或者分布式系统,还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、cdn、以及大数据和人工智能平台等基础云计算服务的云服务器。
当然,本申请实施例提供的方法并不限用于图1所示的应用场景中,还可以用于其它可能的应用场景,本申请实施例并不进行限制。对于图1所示的应用场景的各个设备所能实现的功能将在后续的方法实施例中一并进行描述,在此先不过多赘述。
为进一步说明本申请实施例提供的技术方案,下面结合附图以及具体实施方式对此进行详细的说明。虽然本申请实施例提供了如下述实施例或附图所示的方法操作步骤,但基于常规或者无需创造性的劳动在所述方法中可以包括更多或者更少的操作步骤。在逻辑上不存在必要因果关系的步骤中,这些步骤的执行顺序不限于本申请实施例提供的执行顺序。
下面结合图1所示的应用场景,对本申请实施例提供的技术方案进行说明。
参考图2,本申请实施例提供一种无人驾驶车辆的控制方法,包括以下步骤:
s201,获取无人驾驶车辆周围环境的图像。
可选地,无人驾驶车辆包括前视摄像头和环视摄像头,分别获取前视摄像头和环视摄像头所采集的图像。
示例性地,前视摄像头和环视摄像头可以安装在无人驾驶车辆的车顶预设位置,并且前视摄像头可以采集到较远距离范围内的图像,环视摄像头可以采集到较近距离范围内的图像。
通过获取前视摄像头和环视摄像头所采集的图像,可以使得获取到的无人驾驶车辆周围环境的图像更全面,以便于更精确的确定目标对象。
这里,无人驾驶车辆还可以包括后视摄像头等其他功能的摄像头,在此仅是举例,并不限定具体摄像头类型,可根据实际应用情况进行调整。
s202,从图像中分析出具有用车意图的目标对象。
s203,根据目标对象的位置信息,控制无人驾驶车辆对目标对象进行接驾。
s204,接驾成功后,与目标对象进行交互确定目标对象的目的地、以及到达目的地的行驶路线。
s205,控制无人驾驶车辆根据行驶路线行驶至目的地。
具体地,当无人驾驶车辆包括前视摄像头和环视摄像头时,分别获取前视摄像头和环视摄像头所采集的图像后,如图3所示,示出了从图像中筛选目标对象的方法,包括:
s301,采用预先训练的第一目标提取模型提取前视摄像头采集的图像中的具有指定用车姿势的第一候选目标对象,得到第一候选目标对象集合;以及采用预先训练的第二目标提取模型提取环视摄像头采集的图像中具有指定用车姿势的第二候选目标对象,得到第二候选目标对象集合。
这里,并不限定通过第一目标提取模型提取第一候选目标对象与通过第二目标提取模型提取第二候选目标对象的执行顺序。
可选地,指定用车姿势为面对无人驾驶车辆且具有指定手势。指定手势可以是招手动作,也可以是其他预设的手势,例如ok手势,挥手手势等。这里还可以设置目标对象相对无人驾驶车辆的角度在预设角度范围内为面对无人驾驶车辆。
通过限定指定用车姿势为面对无人驾驶车辆且具有指定手势,可以更加精确的确定目标对象。
其中,根据以下方法训练第一目标提取模型:
获取第一训练样本,第一训练样本包括第一样本图像以及第一样本图像关联的指定用车姿势;将第一样本图像输入第一目标提取模型,得到第一目标提取模型输出的第一样本图像中的目标对象的预测姿势;根据目标对象的预测姿势与第一样本图像的指定用车姿势之间的损失,训练第一目标提取模型的参数。
以及,根据以下方法训练第二目标提取模型:
获取第二训练样本,第二训练样本包括第二样本图像以及第二样本图像关联的指定用车姿势;将第二样本图像输入第二目标提取模型,得到第二目标提取模型输出的第二样本图像中的目标对象的预测姿势;根据目标对象的预测姿势与第二样本图像的指定用车姿势之间的损失,训练第二目标提取模型的参数。
例如,第一目标提取模型、第二目标提取模型可以是yolov3模型,在此仅是举例说明,本申请并不限定具体的目标提取模型,可根据实际应用进行调整。
示例性地,以第一目标提取模型的训练过程为例,采集大量存在扬招手动作的行人图像,并对图像进行标注,如图4(a)所示,标注图像中扬招手动作的行人的整体框架、以及该行人面对无人驾驶车辆的朝向,其中,如图4(b)所示,当行人面对无人驾驶车辆的朝向在θ1范围内时,可以认为行人正对无人驾驶车辆,当行人面对无人驾驶车辆的朝向在θ2范围内或者θ3范围内时,可以认为行人侧对着无人驾驶车辆,当行人面对无人驾驶车辆的朝向在θ4范围内时,可以认为行人背对无人驾驶车辆。
将采集到的训练样本集合中的图像分别按照上述方法标记好之后,输入第一目标提取模型中,输出结果为向量,例如向量可以用[x,y,w,h,c,th0,th1,th2]表示,通过向量中的(x,y,w,h)得到标注的行人的位置信息,在一个实施例中,通过向量中的x、y可以得到标注的行人的检测框的顶点坐标,通过向量中的w、h可以得到检测框对应的宽度和高度。通过向量中的c得到预测标注的行人存在扬招手动作的概率,通过向量中的th0得到预测标注的行人面对无人驾驶车辆朝向在θ1范围内的概率,通过向量中的th1得到预测标注的行人面对无人驾驶车辆朝向在θ2范围内或θ3范围内的概率,通过向量中的th2得到预测标注的行人面对无人驾驶车辆朝向在θ4范围内的概率。
可选的,基于输出结果和训练样本的标注数据的损失训练第一目标提取模型。在一个实施例中,通过计算向量中每一个数值的误差得到第一目标提取模型的损失值,利用损失值对第一目标提取模型进行训练。第二目标提取模型的训练过程可参考第一目标提取模型的训练过程。
s302,筛选第一候选目标对象集合与第二候选目标对象集合中的相同候选目标对象,并将相同候选目标对象从第二候选目标对象集合中过滤掉。
在一些实施例中,分别确定第一候选目标对象集合中每一个第一候选目标对象的位置信息;以及分别确定第二候选目标对象集合中每一个第二候选目标对象的位置信息;将第一候选目标对象集合中每一个第一候选目标对象的位置信息与第二候选目标对象集合中每一个第二候选目标对象的位置信息进行一一对比;将位置差距在预设距离范围内的第一候选目标对象和第二候选目标对象作为相同候选目标对象。
示例性地,如图5(a)所示的图像为前视摄像头采集的图像,如图5(b)所示的图像为环视摄像头采集的图像,从前视摄像头采集的图像中确定的第一候选目标对象集合包括候选目标对象1、候选目标对象2,从环视摄像头采集的图像中确定的第二候选目标对象集合包括候选目标对象3、候选目标对象4。获取每一个候选目标对象位于其所在图像中的位置信息,再基于图像位置信息与真实位置信息之间的映射关系,确定每一个候选目标对象的位置信息。将其中任意一个候选目标对象的位置信息分别与其他的候选目标对象的位置信息进行比对,若候选目标对象1与候选目标对象4之间的位置差距在预设范围内,则确定候选目标对象1与候选目标对象4为相同的候选目标对象。
这里,将第一候选目标对象集合与第二候选目标对象集合中相同的候选目标对象,从第二候选目标对象集合中过滤掉,可以提高筛选出目标对象的效率。
s303,基于第一候选目标对象集合、以及筛选后的第二候选目标对象集合,筛选出与无人驾驶车辆满足预设位置关系的候选目标对象作为具有用车意图的目标对象。
其中,预设位置关系可以为距离最短。通过确定距离最短的候选目标对象作为具有用车意图的目标对象,可以提高无人驾驶车辆的接驾效率。
本申请的一实施例中还可以将第一候选目标对象集合与第二候选目标对象集合中相同的候选目标对象,从第一候选目标对象集合中过滤掉,基于第二候选目标对象集合、以及筛选后的第一候选目标对象集合,筛选出与无人驾驶车辆满足预设位置关系的候选目标对象作为具有用车意图的目标对象。
本申请的一实施例中,当前视摄像头和环视摄像头采集的图像均为视频帧时,每一个第一候选目标对象和每一个第二候选目标对象所在的视频帧数至少为两帧。
这里,保证上述候选目标对象视频帧数至少为两帧,可以提高筛选出的目标对象具有用车意图的精确度。
在筛选出目标对象后,执行步骤s203时,通过控制无人驾驶车辆行驶至目标对象的位置信息周围的指定范围内;当检测到无人驾驶车辆位于目标对象的位置信息周围的指定范围内之后,通过语音交互确定目标对象是否乘车;若确定目标对象乘车,则指示目标对象上车。
本申请一实施例中,还可以通过在无人驾驶车辆上的显示器中展示预设手势验证目标对象是否乘车,或者通过在无人驾驶车辆上设置按钮验证目标对象是否乘车。若采集到目标对象的语音回复为乘车,或者采集到目标对象展示预设手势确定乘车,或者目标对象触发按钮选择乘车,则指示目标对象上车。若采集到目标对象的语音回复为不乘车,或者未采集到目标对象的语音回复等,确定目标对象不乘车,还可以设置语音回复,例如“欢迎以后乘车”,或者通过无人驾驶车辆上的显示器展示“欢迎以后乘车”。
可选地,检测到无人驾驶车辆位于目标对象地位置信息周围地指定范围之后,还可以在无人驾驶车辆外部设置的显示屏上展示预设手势,例如ok手势,若检测到目标对象对应做出预设姿势,则认为目标对象有用车意图;或者在无人驾驶车辆外部设置乘车按钮,若目标对象选择按下乘车按钮,则确认目标对象有用车意图。这里,可以通过预先训练好的模型检测目标对象对应的姿势。
其中,先确定目标对象分别在环视摄像头采集的图像与前视摄像头中采集的图像的位置信息,再根据图像与实际距离之间的映射关系,确定目标对象的实际位置信息。
可选地,在接驾成功后,还可以通过语音提示目标对象系好安全带,并通过无人驾驶车辆内置地摄像头检测目标对象在语音提示后是否系好安全带,若检测到目标对象未系好安全带,则再次语音提示目标对象系好安全带,若已检测到目标对象系好安全带,则通过语音交互,确定目标对象的目的地。
本申请的一实施例中,执行步骤s204时,通过接收并识别目标对象的语音信息,确定目标对象的目的地;通过无人驾驶车辆内置的显示屏展示目标对象的目的地,并在接收到目标对象对目的地确认指令后规划至少一条候选路线;选择一条候选路线作为行驶路线。
可选地,响应于目标对象对至少一条候选路线的选择指示,将选择的候选路线作为行驶路线。
本申请的一实施例中,在执行步骤s205之后,方法还包括:
请求目标对象支付订单,在确认目标对象支付完成后,提示目标对象对本次服务进行评价。
其中,可以通过收集目标对象对服务的评价、以及对应该次服务接驾过程中的图像信息、语音信息,进行不断地改进服务流程,从而可以更好的利用无人驾驶车辆进行接驾。
本申请公开的一种无人驾驶车辆的控制方法,通过获取无人驾驶车辆周围环境的图像,并从图像中分析出具有用车意图的目标对象,然后根据目标对象的位置信息,控制无人驾驶车辆对目标对象进行接驾,在接驾成功后,与目标对象进行交互确定目标对象的目的地、以及到达目的地的行驶路线,最后控制无人驾驶车辆根据行驶路线行驶至目的地,从而可以提高无人驾驶车辆的利用率。
如图6所示,基于与上述无人驾驶车辆的控制方法相同的发明构思,本申请实施例还提供了一种无人驾驶车辆的控制装置60,包括:获取模块601、分析模块602、第一控制模块603、确定模块604、第二控制模块605。
获取模块601,用于获取所述无人驾驶车辆周围环境的图像;
分析模块602,用于从所述图像中分析出具有用车意图的目标对象;
第一控制模块603,用于根据所述目标对象的位置信息,控制所述无人驾驶车辆对所述目标对象进行接驾;
确定模块604,用于接驾成功后,与所述目标对象进行交互确定所述目标对象的目的地、以及到达所述目的地的行驶路线;
第二控制模块605,用于控制所述无人驾驶车辆根据所述行驶路线行驶至所述目的地。
本申请的一实施例中,所述无人驾驶车辆包括前视摄像头和环视摄像头,所述获取模块601,用于:
分别获取所述前视摄像头和所述环视摄像头所采集的图像。
本申请的一实施例中,所述分析模块602,用于:
采用预先训练的第一目标提取模型提取所述前视摄像头采集的图像中的具有指定用车姿势的第一候选目标对象,得到第一候选目标对象集合;以及采用预先训练的第二目标提取模型提取所述环视摄像头采集的图像中具有所述指定用车姿势的第二候选目标对象,得到第二候选目标对象集合;
筛选所述第一候选目标对象集合与所述第二候选目标对象集合中的相同候选目标对象,并将所述相同候选目标对象从所述第二候选目标对象集合中过滤掉;
基于所述第一候选目标对象集合、以及筛选后的所述第二候选目标对象集合,筛选出与所述无人驾驶车辆满足预设位置关系的候选目标对象作为具有用车意图的所述目标对象。
本申请的一实施例中,所述分析模块602,还用于:
分别确定所述第一候选目标对象集合中每一个第一候选目标对象的位置信息;以及分别确定所述第二候选目标对象集合中每一个第二候选目标对象的位置信息;
将所述第一候选目标对象集合中每一个第一候选目标对象的位置信息与所述第二候选目标对象集合中每一个第二候选目标对象的位置信息进行一一对比;
将位置差距在预设距离范围内的第一候选目标对象和第二候选目标对象作为所述相同候选目标对象。
本申请的一实施例中,所述指定用车姿势为面对所述无人驾驶车辆且具有指定手势。
本申请的一实施例中,当所述前视摄像头和所述环视摄像头采集的图像均为视频帧时,每一个所述第一候选目标对象和每一个所述第二候选目标对象所在的视频帧数至少为两帧。
本申请的一实施例中,所述预设位置关系为距离最短。
本申请的一实施例中,所述装置60还包括:
第一训练模块,用于根据以下方法训练所述第一目标提取模型:
获取第一训练样本,所述第一训练样本包括第一样本图像以及所述第一样本图像关联的指定用车姿势;
将所述第一样本图像输入所述第一目标提取模型,得到所述第一目标提取模型输出的所述第一样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第一样本图像的所述指定用车姿势之间的损失,训练所述第一目标提取模型的参数。
本申请的一实施例中,所述装置60还包括:
第二训练模块,用于根据以下方法训练所述第二目标提取模型:
获取第二训练样本,所述第二训练样本包括第二样本图像以及所述第二样本图像关联的指定用车姿势;
将所述第二样本图像输入所述第二目标提取模型,得到所述第二目标提取模型输出的所述第二样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第二样本图像的所述指定用车姿势之间的损失,训练所述第二目标提取模型的参数。
本申请的一实施例中,所述第一控制模块603,用于:
控制所述无人驾驶车辆行驶至所述目标对象的位置信息周围的指定范围内;
当检测到所述无人驾驶车辆位于所述目标对象的位置信息周围的指定范围内之后,通过语音交互确定所述目标对象是否乘车;
若确定所述目标对象乘车,则指示所述目标对象上车。
本申请的一实施例中,所述确定模块604,用于:
接收并识别所述目标对象的语音信息,确定所述目标对象的目的地;
通过所述无人驾驶车辆内置的显示屏展示所述目标对象的目的地,并在接收到所述目标对象对所述目的地确认指令后规划至少一条候选路线;
选择一条候选路线作为所述行驶路线。
本申请的一实施例中,所述确定模块604,还用于:
响应于所述目标对象对所述至少一条候选路线的选择指示,将选择的所述候选路线作为所述行驶路线。
本申请的一实施例中,所述第二控制模块605,还用于:
请求所述目标对象支付订单;
在确认所述目标对象支付完成后,提示所述目标对象对本次服务进行评价。
本申请实施例提的无人驾驶车辆的控制装置与上述无人驾驶车辆的控制方法采用了相同的发明构思,能够取得相同的有益效果,在此不再赘述。
基于与上述无人驾驶车辆的控制方法相同的发明构思,本申请实施例还提供了一种电子设备,该电子设备具体可以为桌面计算机、便携式计算机、智能手机、平板电脑、个人数字助理(personaldigitalassistant,pda)、服务器等。如图7所示,该电子设备70可以包括处理器701和存储器702。
处理器701可以是通用处理器,例如中央处理器(cpu)、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(fieldprogrammablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件,可以实现或者执行本申请实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器702作为一种非易失性计算机可读存储介质,可用于存储非易失性软件程序、非易失性计算机可执行程序以及模块。存储器可以包括至少一种类型的存储介质,例如可以包括闪存、硬盘、多媒体卡、卡型存储器、随机访问存储器(randomaccessmemory,ram)、静态随机访问存储器(staticrandomaccessmemory,sram)、可编程只读存储器(programmablereadonlymemory,prom)、只读存储器(readonlymemory,rom)、带电可擦除可编程只读存储器(electricallyerasableprogrammableread-onlymemory,eeprom)、磁性存储器、磁盘、光盘等等。存储器是能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质,但不限于此。本申请实施例中的存储器702还可以是电路或者其它任意能够实现存储功能的装置,用于存储程序指令和/或数据。
本领域普通技术人员可以理解:实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成,前述的程序可以存储于一计算机可读取存储介质中,该程序在执行时,执行包括上述方法实施例的步骤;上述计算机存储介质可以是计算机能够存取的任何可用介质或数据存储设备,包括但不限于:移动存储设备、随机存取存储器(ram,randomaccessmemory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd))等各种可以存储程序代码的介质。
或者,本申请上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本申请各个实施例所述方法的全部或部分。而前述的存储介质包括:移动存储设备、随机存取存储器(ram,randomaccessmemory)、磁性存储器(例如软盘、硬盘、磁带、磁光盘(mo)等)、光学存储器(例如cd、dvd、bd、hvd等)、以及半导体存储器(例如rom、eprom、eeprom、非易失性存储器(nandflash)、固态硬盘(ssd))等各种可以存储程序代码的介质。
根据本申请的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述各种可选实现方式中提供的无人驾驶车辆的控制的方法。
以上实施例仅用以对本申请的技术方案进行了详细介绍,但以上实施例的说明只是用于帮助理解本申请实施例的方法,不应理解为对本申请实施例的限制。本技术领域的技术人员可轻易想到的变化或替换,都应涵盖在本申请实施例的保护范围之内。
1.一种无人驾驶车辆的控制方法,其特征在于,包括:
获取所述无人驾驶车辆周围环境的图像;
从所述图像中分析出具有用车意图的目标对象;
根据所述目标对象的位置信息,控制所述无人驾驶车辆对所述目标对象进行接驾;
接驾成功后,与所述目标对象进行交互确定所述目标对象的目的地、以及到达所述目的地的行驶路线;
控制所述无人驾驶车辆根据所述行驶路线行驶至所述目的地。
2.根据权利要求1所述的方法,其特征在于,所述无人驾驶车辆包括前视摄像头和环视摄像头,所述获取无人驾驶车辆周围环境的图像,包括:
分别获取所述前视摄像头和所述环视摄像头所采集的图像。
3.根据权利要求2所述的方法,其特征在于,所述从所述图像中分析出具有用车意图的目标对象,包括:
采用预先训练的第一目标提取模型提取所述前视摄像头采集的图像中的具有指定用车姿势的第一候选目标对象,得到第一候选目标对象集合;以及采用预先训练的第二目标提取模型提取所述环视摄像头采集的图像中具有所述指定用车姿势的第二候选目标对象,得到第二候选目标对象集合;
筛选所述第一候选目标对象集合与所述第二候选目标对象集合中的相同候选目标对象,并将所述相同候选目标对象从所述第二候选目标对象集合中过滤掉;
基于所述第一候选目标对象集合、以及筛选后的所述第二候选目标对象集合,筛选出与所述无人驾驶车辆满足预设位置关系的候选目标对象作为具有用车意图的所述目标对象。
4.根据权利要求3所述的方法,其特征在于,所述筛选所述第一候选目标对象集合与所述第二候选目标对象集合中的相同候选目标对象,包括:
分别确定所述第一候选目标对象集合中每一个第一候选目标对象的位置信息;以及分别确定所述第二候选目标对象集合中每一个第二候选目标对象的位置信息;
将所述第一候选目标对象集合中每一个第一候选目标对象的位置信息与所述第二候选目标对象集合中每一个第二候选目标对象的位置信息进行一一对比;
将位置差距在预设距离范围内的第一候选目标对象和第二候选目标对象作为所述相同候选目标对象。
5.根据权利要求3所述的方法,其特征在于,所述指定用车姿势为面对所述无人驾驶车辆且具有指定手势。
6.根据权利要求3所述的方法,其特征在于,当所述前视摄像头和所述环视摄像头采集的图像均为视频帧时,每一个所述第一候选目标对象和每一个所述第二候选目标对象所在的视频帧数至少为两帧。
7.根据权利要求3所述的方法,其特征在于,所述预设位置关系为距离最短。
8.根据权利要求3所述的方法,其特征在于,根据以下方法训练所述第一目标提取模型:
获取第一训练样本,所述第一训练样本包括第一样本图像以及所述第一样本图像关联的指定用车姿势;
将所述第一样本图像输入所述第一目标提取模型,得到所述第一目标提取模型输出的所述第一样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第一样本图像的所述指定用车姿势之间的损失,训练所述第一目标提取模型的参数。
9.根据权利要求3所述的方法,其特征在于,根据以下方法训练所述第二目标提取模型:
获取第二训练样本,所述第二训练样本包括第二样本图像以及所述第二样本图像关联的指定用车姿势;
将所述第二样本图像输入所述第二目标提取模型,得到所述第二目标提取模型输出的所述第二样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第二样本图像的所述指定用车姿势之间的损失,训练所述第二目标提取模型的参数。
10.根据权利要求1所述的方法,其特征在于,所述根据所述目标对象的位置信息,控制所述无人驾驶车辆对所述目标对象进行接驾,包括:
控制所述无人驾驶车辆行驶至所述目标对象的位置信息周围的指定范围内;
当检测到所述无人驾驶车辆位于所述目标对象的位置信息周围的指定范围内之后,通过语音交互确定所述目标对象是否乘车;
若确定所述目标对象乘车,则指示所述目标对象上车。
11.根据权利要求1所述的方法,其特征在于,所述接驾成功后,与所述目标对象进行交互确定所述目标对象的目的地、以及到达所述目的地的行驶路线,包括:
接收并识别所述目标对象的语音信息,确定所述目标对象的目的地;
通过所述无人驾驶车辆内置的显示屏展示所述目标对象的目的地,并在接收到所述目标对象对所述目的地确认指令后规划至少一条候选路线;
选择一条候选路线作为所述行驶路线。
12.根据权利要求11所述的方法,其特征在于,所述选择一条候选行驶路线作为所述行驶路线,包括:
响应于所述目标对象对所述至少一条候选路线的选择指示,将选择的所述候选路线作为所述行驶路线。
13.根据权利要求1所述的方法,其特征在于,所述控制所述无人驾驶车辆根据所述行驶路线行驶至所述目的地之后,所述方法还包括:
请求所述目标对象支付订单;
在确认所述目标对象支付完成后,提示所述目标对象对本次服务进行评价。
14.一种无人驾驶车辆的控制装置,其特征在于,包括:
获取模块,用于获取所述无人驾驶车辆周围环境的图像;
分析模块,用于从所述图像中分析出具有用车意图的目标对象;
第一控制模块,用于根据所述目标对象的位置信息,控制所述无人驾驶车辆对所述目标对象进行接驾;
确定模块,用于接驾成功后,与所述目标对象进行交互确定所述目标对象的目的地、以及到达所述目的地的行驶路线;
第二控制模块,用于控制所述无人驾驶车辆根据所述行驶路线行驶至所述目的地。
15.根据权利要求14所述的装置,其特征在于,所述无人驾驶车辆包括前视摄像头和环视摄像头,所述获取模块,用于:
分别获取所述前视摄像头和所述环视摄像头所采集的图像。
16.根据权利要求15所述的装置,其特征在于,所述分析模块,用于:
采用预先训练的第一目标提取模型提取所述前视摄像头采集的图像中的具有指定用车姿势的第一候选目标对象,得到第一候选目标对象集合;以及采用预先训练的第二目标提取模型提取所述环视摄像头采集的图像中具有所述指定用车姿势的第二候选目标对象,得到第二候选目标对象集合;
筛选所述第一候选目标对象集合与所述第二候选目标对象集合中的相同候选目标对象,并将所述相同候选目标对象从所述第二候选目标对象集合中过滤掉;
基于所述第一候选目标对象集合、以及筛选后的所述第二候选目标对象集合,筛选出与所述无人驾驶车辆满足预设位置关系的候选目标对象作为具有用车意图的所述目标对象。
17.根据权利要求16所述的装置,其特征在于,所述分析模块,还用于:
分别确定所述第一候选目标对象集合中每一个第一候选目标对象的位置信息;以及分别确定所述第二候选目标对象集合中每一个第二候选目标对象的位置信息;
将所述第一候选目标对象集合中每一个第一候选目标对象的位置信息与所述第二候选目标对象集合中每一个第二候选目标对象的位置信息进行一一对比;
将位置差距在预设距离范围内的第一候选目标对象和第二候选目标对象作为所述相同候选目标对象。
18.根据权利要求16所述的装置,其特征在于,所述指定用车姿势为面对所述无人驾驶车辆且具有指定手势。
19.根据权利要求16所述的装置,其特征在于,当所述前视摄像头和所述环视摄像头采集的图像均为视频帧时,每一个所述第一候选目标对象和每一个所述第二候选目标对象所在的视频帧数至少为两帧。
20.根据权利要求16所述的装置,其特征在于,所述预设位置关系为距离最短。
21.根据权利要求16所述的装置,其特征在于,所述装置还包括:
第一训练模块,用于根据以下方法训练所述第一目标提取模型:
获取第一训练样本,所述第一训练样本包括第一样本图像以及所述第一样本图像关联的指定用车姿势;
将所述第一样本图像输入所述第一目标提取模型,得到所述第一目标提取模型输出的所述第一样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第一样本图像的所述指定用车姿势之间的损失,训练所述第一目标提取模型的参数。
22.根据权利要求16所述的装置,其特征在于,所述装置还包括:
第二训练模块,用于根据以下方法训练所述第二目标提取模型:
获取第二训练样本,所述第二训练样本包括第二样本图像以及所述第二样本图像关联的指定用车姿势;
将所述第二样本图像输入所述第二目标提取模型,得到所述第二目标提取模型输出的所述第二样本图像中的目标对象的预测姿势;
根据所述目标对象的所述预测姿势与所述第二样本图像的所述指定用车姿势之间的损失,训练所述第二目标提取模型的参数。
23.根据权利要求14所述的装置,其特征在于,所述第一控制模块,用于:
控制所述无人驾驶车辆行驶至所述目标对象的位置信息周围的指定范围内;
当检测到所述无人驾驶车辆位于所述目标对象的位置信息周围的指定范围内之后,通过语音交互确定所述目标对象是否乘车;
若确定所述目标对象乘车,则对所述目标对象进行接驾。
24.根据权利要求14所述的装置,其特征在于,所述确定模块,用于:
接收并识别所述目标对象的语音信息,确定所述目标对象的目的地;
通过所述无人驾驶车辆内置的显示屏展示所述目标对象的目的地,并在接收到所述目标对象对所述目的地确认指令后规划至少一条候选路线;
选择一条候选路线作为所述行驶路线。
25.根据权利要求24所述的装置,其特征在于,所述确定模块,还用于:
响应于所述目标对象对所述至少一条候选路线的选择指示,将选择的所述候选路线作为所述行驶路线。
26.根据权利要求14所述的装置,其特征在于,所述第二控制模块,还用于:
请求所述目标对象支付订单;
在确认所述目标对象支付完成后,提示所述目标对象对本次服务进行评价。
27.一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至13任一项所述方法的步骤。
28.一种计算机可读存储介质,其上存储有计算机程序指令,其特征在于,该计算机程序指令被处理器执行时实现权利要求1至13任一项所述方法的步骤。
技术总结