车辆防撞预警方法、装置、车载终端设备和存储介质与流程

    专利2022-07-08  116


    本申请属于人工智能技术领域,尤其涉及一种车辆防撞预警方法、装置、车载终端设备和存储介质。



    背景技术:

    随着车辆保有量的持续增加,在方便大众出行的同时也带来了巨大的安全隐患,层出不穷的交通事故严重威胁着群众的生命和财产安全。针对这个问题,很多车辆会在车载终端设备上安装车辆防撞预警系统,当司机驾驶车辆时该系统能够提供行车监测,危险预警等服务。

    具体的,通过车辆防撞预警系统,能够在车辆即将发生碰撞之前,根据距离和车速等数据向驾驶员发出声音或视觉上的警报,从而提醒可能发生的碰撞事件。然而,某些时候驾驶员可能已经意识到危险,此时防撞预警系统发出的警报反而会分散驾驶员的注意力,导致碰撞事故的发生。



    技术实现要素:

    有鉴于此,本申请提出一种车辆防撞预警方法、装置、车载终端设备和存储介质,能够根据驾驶员的状态制定合适的预警模式,进一步提高车辆驾驶的安全性。

    第一方面,本申请实施例提供了一种车辆防撞预警方法,包括:

    获取车辆驾驶员的状态数据和所述车辆的行驶数据;

    将所述状态数据和所述行驶数据输入预先训练完成的防撞预警模型,通过所述防撞预警模型预测所述车辆是否可能发生碰撞,所述防撞预警模型为以车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据作为训练集训练得到的神经网络模型;

    若所述车辆可能发生碰撞,则根据所述状态数据确定预警模式,并按照所述预警模式对所述车辆驾驶员进行预警。

    本申请实施例将车辆驾驶员的状态数据和车辆的行驶数据输入设计的防撞预警模型,能够预测车辆是否可能发生碰撞,而且当预测到车辆可能发生碰撞时,会根据驾驶员的状态确定对应的预警模式,然后按照确定的预警模式对车辆驾驶员进行预警,以进一步提高车辆驾驶的安全性。

    在本申请的一个实施例中,所述获取车辆驾驶员的状态数据可以包括:

    通过摄像头采集所述车辆驾驶员的头部图像;

    将所述头部图像输入预先训练完成的头部姿态估计模型,通过所述头部姿态估计模型获得所述车辆驾驶员的头部姿态数据,所述头部姿态估计模型通过检测头部图像中的人脸关键点以确定头部姿态数据;

    通过眼动仪采集所述车辆驾驶员的眼动轨迹数据。

    通过安装于车厢内部的摄像头,可以拍摄得到车辆驾驶员的头部图像,然后将获得的头部图像输入一个预先训练完成的头部姿态估计模型,该头部姿态估计模型可以通过检测头部图像中的人脸关键点以确定驾驶员的头部姿态数据。眼动仪是用于记录人在处理视觉信息时的眼动轨迹特征的设备,采用眼动仪可以采集车辆驾驶员的眼动轨迹数据,以更准确地确定车辆驾驶员的注视区域。

    进一步的,所述根据所述状态数据确定预警模式,可以包括:

    根据所述头部姿态数据和所述眼动轨迹数据确定所述车辆驾驶员的注视区域;

    根据所述注视区域以及所述防撞预警模型预测的车辆碰撞位置,确定对应的预警模式。

    经过研究表明,一个人对注视的预测来自于头部姿态和眼睛方向的组合。由于眼部注视点已经通过眼动仪进行了采集,在完成头部姿态的判断后可以结合眼部注视坐标数据完成更高精度的注视区域判断。在确定驾驶员的注视区域之后,可以根据模型预测的车辆碰撞位置与该注视区域之间的相对关系,确定对应的预警模式。

    更进一步的,根据所述头部姿态数据和所述眼动轨迹数据确定所述车辆驾驶员的注视区域,可以包括:

    根据所述头部姿态数据计算得到所述车辆驾驶员对于所述车辆前方的最大视野范围区域;

    结合所述眼动轨迹数据从所述最大视野范围区域中定位得到所述注视区域。

    基于头部姿态以及眼部关键点位置信息可以得到人脸模型的眼部注视大致范围,从而获得驾驶员的最大视野范围区域,结合眼动轨迹数据进行再定位可以计算得出该时刻驾驶员的注视区域。

    进一步的,根据所述注视区域以及所述防撞预警模型预测的碰撞位置,确定对应的预警模式,可以包括:

    若所述注视区域在预设时长内持续覆盖所述碰撞位置,则确定所述预警模式为第一模式;

    若所述注视区域在预设时长内在所述碰撞位置和其它位置之间来回切换,则确定所述预警模式为第二模式;

    若所述注视区域未涵盖所述碰撞位置,则确定所述预警模式为第三模式。

    根据注视区域和碰撞位置之间的位置关系,可以用于判断驾驶员是否已经意识到即将发生的碰撞危险以及碰撞位置,进而分别确定对应的预警模式,能够有效提高防撞预警的安全性与灵活性。

    更进一步的,按照所述预警模式对所述车辆驾驶员进行预警,可以包括:

    若所述预警模式为第一模式,则不输出任何形式的预警提示;

    若所述预警模式为第二模式,则通过投影仪向所述车辆的车前玻璃投影预设的预警信息;

    若所述预警模式为第三模式,则通过投影仪向所述车辆的车前玻璃投影预设的预警信息,并控制所述车辆的蜂鸣器播放警示音。

    第一模式是轻度预警模式,此时可以只在车载终端的显示屏上显示简单的预警信息,或者不输出任何形式的预警提示。第二模式是中度预警模式,此时可以通过车厢内设置的投影仪向车前玻璃投影预设的预警信息,用于指示可能碰撞的时间以及碰撞位置。第三模式是重度预警模式,此时可以通过车厢内设置的投影仪向车前玻璃投影预设的预警信息,并且控制指定的蜂鸣器播放警示音,以提醒驾驶员即将发生碰撞的危险。

    在本申请的一个实施例中,所述防撞预警模型可以通过以下方式训练得到:

    获取样本数据,所述样本数据包括车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据;

    将所述样本数据输入自动机器学习模块进行模型的设计和训练,得到所述防撞预警模型。

    在获取训练防撞预警模型的样本数据时,可以采用模拟器模拟真实驾驶环境,并设置不同的碰撞情景,如车辆追尾、行人横闯马路,侧边撞击等可能情况,同时记录不同情况下驾驶员的反应。当系统预计某后一时刻可能出现碰撞时,系统将记录发生该可能碰撞前一定时间段内驾驶员的注视坐标数据,以及该时间段内的行驶数据(车辆横纵向速度和加速度)、驾驶员的心率数据,判断该段时间内驾驶员的行车状态,包括注视区域与活跃程度、自身兴奋程度、行车速度等。接下来,将收集到的数据,输入自动机器学习(automl)模块进行模型设计和训练。

    第二方面,本申请实施例提供了一种车辆防撞预警装置,包括:

    数据获取模块,用于获取车辆驾驶员的状态数据和所述车辆的行驶数据;

    碰撞预测模块,用于将所述状态数据和所述行驶数据输入预先训练完成的防撞预警模型,通过所述防撞预警模型预测所述车辆是否可能发生碰撞,所述防撞预警模型为以车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据作为训练集训练得到的神经网络模型;

    预警模块,用于若所述车辆可能发生碰撞,则根据所述状态数据确定预警模式,并按照所述预警模式对所述车辆驾驶员进行预警。

    第三方面,本申请实施例提供了一种车载终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本申请实施例第一方面提出的车辆防撞预警方法的步骤。

    第四方面,本申请实施例提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本申请实施例第一方面提出的车辆防撞预警方法的步骤。

    第五方面,本申请实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行如本申请实施例第一方面所述的车辆防撞预警方法的步骤。

    上述第二方面至第五方面所能实现的有益效果,可以参照上述第一方面的相关说明。

    附图说明

    为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。

    图1是本申请实施例提供的一种车辆防撞预警方法的第一个实施例的流程图;

    图2是本申请实施例提供的一种车辆防撞预警方法的第二个实施例的流程图;

    图3是本申请实施例提供的一种车辆防撞预警装置的一个实施例的结构图;

    图4是本申请实施例提供的一种车载终端设备的示意图。

    具体实施方式

    以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。另外,在本申请说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

    本申请提出一种车辆防撞预警方法、装置、车载终端设备和存储介质,能够根据驾驶员的状态制定合适的预警模式,进一步提高车辆驾驶的安全性。应当理解,本申请各个实施例提出的车辆防撞预警方法的执行主体是各种类型的车载终端设备。

    请参阅图1,本申请实施例中一种车辆防撞预警方法的第一个实施例包括:

    101、获取车辆驾驶员的状态数据和所述车辆的行驶数据;

    首先,车载终端设备会获取车辆驾驶员的状态数据和车辆的行驶数据。其中,车辆驾驶员的状态数据可以包括头部姿态数据、眼动轨迹数据、手部动作数据、人体心率数据等多种数据;车辆的行驶数据可以包括车辆行驶速度、行驶方向、车辆位置、横纵加速数据、方向盘状态数据、车载红外测距数据等多种数据。

    具体的,车载终端设备可以通过对接车辆的电子控制单元(ecu),从而获取车辆的行驶数据,比如行驶速度和加速度等数据。另外,还可以通过设置于车厢内的摄像头等设备获取驾驶员头部姿态,通过眼动仪(用于记录人在处理视觉信息时的眼动轨迹特征的设备)获取眼动轨迹数据,通过可穿戴设备获取驾驶员的人体心率数据,等等。摄像头、眼动仪和可穿戴设备等各个不同设备获取到的数据,均发送至车载终端设备进行处理。

    102、将所述状态数据和所述行驶数据输入预先训练完成的防撞预警模型,通过所述防撞预警模型预测所述车辆是否可能发生碰撞;

    车载终端设备在获取到驾驶员状态数据和车辆的行驶数据之后,会将这部分数据输入一个预先训练完成的防撞预警模型,通过该模型输出车辆是否可能发生碰撞的结果。具体的,该防撞预警模型为以车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据作为训练集训练得到的神经网络模型,该模型可以通过以下方式训练得到:

    (1)获取样本数据,所述样本数据包括车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据;

    (2)将所述样本数据输入自动机器学习模块进行模型的设计和训练,得到所述防撞预警模型。

    在获取训练防撞预警模型的样本数据时,可以采用模拟器模拟真实驾驶环境,并设置不同的碰撞情景,如车辆追尾、行人横闯马路,侧边撞击等可能情况,同时记录不同情况下驾驶员的反应。当系统预计某后一时刻可能出现碰撞时,系统将记录发生该可能碰撞前一定时间段内驾驶员的注视坐标数据,以及该时间段内的行驶数据(车辆横纵向速度和加速度)、驾驶员的心率数据,判断该段时间内驾驶员的行车状态,包括注视区域与活跃程度、自身兴奋程度、行车速度等。具体的,可以采用车辆内部的多机位摄像头获取驾驶员头部或面部姿态图像、采用眼动仪获取驾驶员的眼动轨迹数据或者注视模式数据、采用腕部穿戴设备获取驾驶员心率数据,通过对接车辆ecu获取车辆的各类行驶数据,等等。

    接下来,将收集到的数据,输入自动机器学习(automl)模块进行模型设计和训练。传统防撞预警信号的释放大多是依靠某些既定的公式,通过带入行车的速度、红外检测的距离数据以及驾驶员的注视坐标数据,计算一个极限制动距离,并对比设定制动距离阈值完成警告释放的判断。本申请与此不同的是:可以加入多种不同数据,包括驾驶员的面部姿态(用于辅助判断注视区域)、注视点坐标(用于确定注视区域)、各注视坐标停留时间(用于确定关注程度)、心率(用于确认驾驶员兴奋度,大致与专注程度成正比)、以及行车速度、车距等数据。因此,本申请引入自动继续学习(automl)技术进行模型训练,从而解决单一机器学习算法难以适应多源异构数据的问题。样本数据在automl层中进行规范化处理,并以撞击是否被避免作为结果导向进行模型训练,通过对大规模的、多类型驾驶者的模拟训练数据进行收集,划分出训练集和测试集,从而完成该防撞预警模型的训练。

    103、若所述车辆可能发生碰撞,则根据所述状态数据确定预警模式,并按照所述预警模式对所述车辆驾驶员进行预警。

    通过该防撞预警模型,可以预测得到该车辆在一定时长内是否可能发生碰撞的结果。若该车辆不存在碰撞的危险,则车载终端设备无需进行预警。若预测该车辆存在碰撞的危险,则车载终端设备会根据驾驶员的状态数据确定对应的预警模式,并按照确定的预警模式对车辆驾驶员进行预警。例如,若检测到驾驶员已经注视着即将发生碰撞的位置,且驾驶员心率较高,则表明驾驶员已经意识到危险,此时可以采用较低程度的预警模式(例如危险指示灯亮、或者输出预警信息);若检测到驾驶员未观察到即将发生碰撞的位置,驾驶员心率平缓,或者驾驶员处于犯困的状态,则采用较高程度的预警模式(例如高分贝喇叭播放预警信息)。

    本申请实施例将车辆驾驶员的状态数据和车辆的行驶数据输入设计的防撞预警模型,能够预测车辆是否可能发生碰撞,而且当预测到车辆可能发生碰撞时,会根据驾驶员的状态确定对应的预警模式,然后按照确定的预警模式对车辆驾驶员进行预警,以进一步提高车辆驾驶的安全性。

    请参阅图2,本申请实施例中一种车辆防撞预警方法的第二个实施例包括:

    201、获取车辆驾驶员的状态数据和所述车辆的行驶数据;

    在本申请实施例中,所述获取车辆驾驶员的状态数据包括:

    (1)通过摄像头采集所述车辆驾驶员的头部图像;

    (2)将所述头部图像输入预先训练完成的头部姿态估计模型,通过所述头部姿态估计模型获得所述车辆驾驶员的头部姿态数据,所述头部姿态估计模型通过检测头部图像中的人脸关键点以确定头部姿态数据;

    (3)通过眼动仪采集所述车辆驾驶员的眼动轨迹数据。

    通过安装于车厢内部的摄像头,可以拍摄得到车辆驾驶员的头部图像,然后将获得的头部图像输入一个预先训练完成的头部姿态估计模型,该头部姿态估计模型可以通过检测头部图像中的人脸关键点以确定驾驶员的头部姿态数据。头部姿态从运动状态上可以分为相对静止和移动,移动可进一步细分为抬头、转头以及摇头等多种动作模式。其用途在这里也可以分为两方面,包括对驾驶员的疲劳状态检测(如长时间的头部静止状态并配合眨眼频率等判断是否为疲劳驾驶)以及辅助完成更高精度的视线追踪(用于确定驾驶员的注视区域)。

    头部姿态估计模型的构建主要通过对实时采集到头部图像中多个2d关键点进行检测(包括眼角、鼻尖、嘴角、下巴等关键点,其数量因算法而异,多检测点可以带来更高的精度,但也会增加计算量),并且基于人脸图像匹配拟合程度最高的3d人脸模型(现有算法模型中已有多种人脸模型可用于匹配拟合),将该3d人脸模型作为该驾驶员的头部姿态判断模型,再求解3d点和对应采集的2d点的转换关系,从而计算出俯仰角、偏航角和滚转角3个不同的欧拉角,他们分别对应抬头、转头以及摇头动作。例如,某一时段内模型发现偏航角有较大的变动,超过设定的变动阈值,则此时判断驾驶员有较大幅度的转头动作,对应的头部姿态为“转头运动中”。

    眼动仪是用于记录人在处理视觉信息时的眼动轨迹特征的设备,采用眼动仪可以采集车辆驾驶员的眼动轨迹数据,以更准确地确定车辆驾驶员的注视区域。在实际应用中,可以将眼动仪设置于车厢内部的指定位置,眼动仪在采集到车辆驾驶员的眼动轨迹数据之后,将这部分数据发送给车载终端设备,以进行后续的处理。

    202、将所述状态数据和所述行驶数据输入预先训练完成的防撞预警模型,通过所述防撞预警模型预测所述车辆是否可能发生碰撞;

    将包含头部姿态数据和眼动轨迹数据的状态数据,以及该车辆的行驶数据输入防撞预警模型,通过该模型预测车辆是否可能发生碰撞。关于该防撞预警模型的训练过程以及工作原理,可以参照上一个实施例的相关说明。

    203、若所述车辆可能发生碰撞,则根据所述头部姿态数据和所述眼动轨迹数据确定所述车辆驾驶员的注视区域;

    若预测该车辆可能发生碰撞,则车载终端设备会根据车辆驾驶员的头部姿态数据和眼动轨迹数据确定该车辆驾驶员当前的注视区域。经过研究表明,一个人对注视的预测来自于头部姿态和眼睛方向的组合。由于眼部注视点已经通过眼动仪进行了采集,在完成头部姿态的判断后可以结合眼部注视坐标数据完成更高精度的注视区域判断。

    进一步的,根据所述头部姿态数据和所述眼动轨迹数据确定所述车辆驾驶员的注视区域,可以包括:

    (1)根据所述头部姿态数据计算得到所述车辆驾驶员对于所述车辆前方的最大视野范围区域;

    (2)结合所述眼动轨迹数据从所述最大视野范围区域中定位得到所述注视区域。

    具体的,可以根据预先采集的真实场景下人眼视觉区域数据完成不同头部姿态对应的车前视野范围数据的计算模型,再基于头部姿态中计算得出的各偏转角度,即俯仰角、偏航角和滚转角,应用该计算模型进行计算得到当前头部姿态下驾驶员对于车辆前方(包括车前及后视镜等重点关注区域)的最大视野范围区域或者中心注视区域。基于头部姿态以及眼部关键点位置信息可以得到3d人脸模型的眼部注视大致范围,从而获得驾驶员的最大视野范围区域,结合眼动轨迹数据进行再定位可以计算得出该时刻驾驶员的注视区域。

    204、根据所述注视区域以及所述防撞预警模型预测的车辆碰撞位置,确定对应的预警模式;

    通过该防撞预警模型,不仅能够预测车辆是否可能发生碰撞,而且在预测车辆可能发生碰撞的时候,还能进一步预测得到车辆可能的碰撞位置。在确定驾驶员的注视区域之后,可以根据模型预测的车辆碰撞位置与该注视区域之间的相对关系,确定对应的预警模式。

    具体的,步骤204可以包括:

    (1)若所述注视区域在预设时长内持续覆盖所述碰撞位置,则确定所述预警模式为第一模式;

    (2)若所述注视区域在预设时长内在所述碰撞位置和其它位置之间来回切换,则确定所述预警模式为第二模式;

    (3)若所述注视区域未涵盖所述碰撞位置,则确定所述预警模式为第三模式。

    对于上述步骤(1),若该注视区域在预设时长内持续覆盖模型预测的碰撞位置,表明驾驶员在预警前其眼部注视点长时间集中在可能发生碰撞的位置,此时可判定驾驶员已经意识到碰撞的危险,且获知可能的碰撞位置,此时进入第一预警模式。由于驾驶员已经意识到危险,此时不宜进行重度预警,以避免令驾驶员分心,故第一预警模式可以为轻度预警的模式。另外,在进行预警模式判断时,还可以结合驾驶员心率以及车速等数据,比如,在检测到注视区域持续覆盖碰撞位置的情况下,进一步检测到驾驶员心率较高且车速降低,则判定进入第一预警模式。

    对于上述步骤(2),若该注视区域在预设时长内在所述碰撞位置和其它位置之间来回切换,表明驾驶员可能已经意识到危险,但未获知可能的碰撞位置,此时进入第二预警模式。第二预警模式可以为中度预警模式,在进行预警模式判断时,同样可以结合驾驶员心率以及车速等数据,比如若检测到驾驶员头部姿态频繁改变,驾驶员心率较高且车速降低,则判定进入第二预警模式。

    对于上述步骤(3),若所述注视区域未涵盖碰撞位置,则表明驾驶员还未意识到危险,此时进入第三预警模式。由于驾驶员未意识到危险,此时需要进行高度预警,故第三预警模式可以为重度预警的模式。另外,在进行预警模式判断时,同样可以结合驾驶员心率以及车速等数据,比如,若检测到驾驶员头部姿态基本不变,驾驶员心率平稳且车速未发生变化,则判定进入第三预警模式。

    205、按照所述预警模式对所述车辆驾驶员进行预警。

    在确定对应的预警模式后,即可按照对应的预警模式对车辆驾驶员进行预警。

    具体的,步骤205可以包括:

    (1)若所述预警模式为第一模式,则不输出任何形式的预警提示;

    (2)若所述预警模式为第二模式,则通过投影仪向所述车辆的车前玻璃投影预设的预警信息;

    (3)若所述预警模式为第三模式,则通过投影仪向所述车辆的车前玻璃投影预设的预警信息,并控制所述车辆的蜂鸣器播放警示音。

    第一模式是轻度预警模式,此时可以只在车载终端的显示屏上显示简单的预警信息,或者不输出任何形式的预警提示。第二模式是中度预警模式,此时可以通过车厢内设置的投影仪向车前玻璃投影预设的预警信息,用于指示可能碰撞的时间以及碰撞位置。第三模式是重度预警模式,此时可以通过车厢内设置的投影仪向车前玻璃投影预设的预警信息,并且控制指定的蜂鸣器播放警示音,以提醒驾驶员即将发生碰撞的危险。

    本申请实施例对传统的车辆防撞预警系统进行了改造,通过加入眼动检测仪收集驾驶员眼部活动数据、通过摄像设备收集面部姿态、通过穿戴设备收集生理数据等,并通过自动机器学习方法对收集的各类数据进行模型训练,实现更为智能化的车辆预警系统。该系统能够实现根据驾驶员的不同注视情况,对应发出适当的预警信息,有效避免因不适宜的预警引发的分心所导致的交通事故。

    应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本申请实施例的实施过程构成任何限定。

    对应于上文实施例所述的车辆防撞预警方法,图3示出了本申请实施例提供的一种车辆防撞预警装置的结构框图,为了便于说明,仅示出了与本申请实施例相关的部分。

    参照图3,该装置包括:

    数据获取模块301,用于获取车辆驾驶员的状态数据和所述车辆的行驶数据;

    碰撞预测模块302,用于将所述状态数据和所述行驶数据输入预先训练完成的防撞预警模型,通过所述防撞预警模型预测所述车辆是否可能发生碰撞,所述防撞预警模型为以车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据作为训练集训练得到的神经网络模型;

    预警模块303,用于若所述车辆可能发生碰撞,则根据所述状态数据确定预警模式,并按照所述预警模式对所述车辆驾驶员进行预警。

    进一步的,所述数据获取模块可以包括:

    头部图像获取单元,用于通过摄像头采集所述车辆驾驶员的头部图像;

    头部姿态估计单元,用于将所述头部图像输入预先训练完成的头部姿态估计模型,通过所述头部姿态估计模型获得所述车辆驾驶员的头部姿态数据,所述头部姿态估计模型通过检测头部图像中的人脸关键点以确定头部姿态数据;

    眼动轨迹获取单元,用于通过眼动仪采集所述车辆驾驶员的眼动轨迹数据。

    进一步的,所述预警模块可以包括:

    注视区域确定单元,用于根据所述头部姿态数据和所述眼动轨迹数据确定所述车辆驾驶员的注视区域;

    预警模式确定单元,用于根据所述注视区域以及所述防撞预警模型预测的车辆碰撞位置,确定对应的预警模式。

    更进一步的,所述注视区域确定单元可以包括:

    最大视野范围区域确定子单元,用于根据所述头部姿态数据计算得到所述车辆驾驶员对于所述车辆前方的最大视野范围区域;

    注视区域确定子单元,用于结合所述眼动轨迹数据从所述最大视野范围区域中定位得到所述注视区域。

    更进一步的,所述预警模式确定单元可以包括:

    第一模式确定子单元,用于若所述注视区域在预设时长内持续覆盖所述碰撞位置,则确定所述预警模式为第一模式;

    第二模式确定子单元,用于若所述注视区域预设时长内在所述碰撞位置和其它位置之间来回切换,则确定所述预警模式为第二模式;

    第三模式确定子单元,用于若所述注视区域未涵盖所述碰撞位置,则确定所述预警模式为第三模式。

    进一步的,所述预警模块可以包括:

    第一预警单元,用于若所述预警模式为第一模式,则不输出任何形式的预警提示;

    第二预警单元,用于若所述预警模式为第二模式,则通过投影仪向所述车辆的车前玻璃投影预设的预警信息;

    第三预警单元,用于若所述预警模式为第三模式,则通过投影仪向所述车辆的车前玻璃投影预设的预警信息,并控制所述车辆的蜂鸣器播放警示音。

    进一步的,所述车辆防撞预警装置还可以包括:

    样本数据获取模块,用于获取样本数据,所述样本数据包括车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据;

    预警模型训练模块,用于将所述样本数据输入自动机器学习模块进行模型的设计和训练,得到所述防撞预警模型。

    本申请实施例还提供一种计算机可读存储介质,所述计算机可读存储介质存储有计算机可读指令,所述计算机可读指令被处理器执行时实现如图1或图2表示的任意一种车辆防撞预警方法的步骤。

    本申请实施例还提供一种计算机程序产品,当该计算机程序产品在服务器上运行时,使得服务器执行实现如图1或图2表示的任意一种车辆防撞预警方法的步骤。

    本申请实施例还提供一种车载终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机可读指令,所述处理器执行所述计算机可读指令时实现如图1或图2表示的任意一种车辆防撞预警方法的步骤。

    图4是本申请一实施例提供的车载终端设备的示意图。如图4所示,该实施例的车载终端设备4包括:处理器40、存储器41以及存储在所述存储器41中并可在所述处理器40上运行的计算机可读指令42。所述处理器40执行所述计算机可读指令42时实现上述各个车辆防撞预警方法实施例中的步骤,例如图1所示的步骤101至103。或者,所述处理器40执行所述计算机可读指令42时实现上述各装置实施例中各模块/单元的功能,例如图3所示模块301至303的功能。

    示例性的,所述计算机可读指令42可以被分割成一个或多个模块/单元,所述一个或者多个模块/单元被存储在所述存储器41中,并由所述处理器40执行,以完成本申请。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机可读指令段,该指令段用于描述所述计算机可读指令42在所述车载终端设备4中的执行过程。

    所述车载终端设备4可以是智能手机、笔记本、掌上电脑及云端车载终端设备等计算设备。所述车载终端设备4可包括,但不仅限于,处理器40、存储器41。本领域技术人员可以理解,图4仅仅是车载终端设备4的示例,并不构成对车载终端设备4的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如所述车载终端设备4还可以包括输入输出设备、网络接入设备、总线等。

    所述处理器40可以是中央处理单元(centralprocessingunit,cpu),还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

    所述存储器41可以是所述车载终端设备4的内部存储单元,例如车载终端设备4的硬盘或内存。所述存储器41也可以是所述车载终端设备4的外部存储设备,例如所述车载终端设备4上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,所述存储器41还可以既包括所述车载终端设备4的内部存储单元也包括外部存储设备。所述存储器41用于存储所述计算机可读指令以及所述车载终端设备所需的其他程序和数据。所述存储器41还可以用于暂时地存储已经输出或者将要输出的数据。

    需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本申请方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。

    所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

    所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。

    在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。

    以上所述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。


    技术特征:

    1.一种车辆防撞预警方法,其特征在于,包括:

    获取车辆驾驶员的状态数据和所述车辆的行驶数据;

    将所述状态数据和所述行驶数据输入预先训练完成的防撞预警模型,通过所述防撞预警模型预测所述车辆是否可能发生碰撞,所述防撞预警模型为以车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据作为训练集训练得到的神经网络模型;

    若所述车辆可能发生碰撞,则根据所述状态数据确定预警模式,并按照所述预警模式对所述车辆驾驶员进行预警。

    2.如权利要求1所述的车辆防撞预警方法,其特征在于,所述获取车辆驾驶员的状态数据包括:

    通过摄像头采集所述车辆驾驶员的头部图像;

    将所述头部图像输入预先训练完成的头部姿态估计模型,通过所述头部姿态估计模型获得所述车辆驾驶员的头部姿态数据,所述头部姿态估计模型通过检测头部图像中的人脸关键点以确定头部姿态数据;

    通过眼动仪采集所述车辆驾驶员的眼动轨迹数据。

    3.如权利要求2所述的车辆防撞预警方法,其特征在于,所述根据所述状态数据确定预警模式,包括:

    根据所述头部姿态数据和所述眼动轨迹数据确定所述车辆驾驶员的注视区域;

    根据所述注视区域以及所述防撞预警模型预测的车辆碰撞位置,确定对应的预警模式。

    4.如权利要求3所述的车辆防撞预警方法,其特征在于,根据所述头部姿态数据和所述眼动轨迹数据确定所述车辆驾驶员的注视区域,包括:

    根据所述头部姿态数据计算得到所述车辆驾驶员对于所述车辆前方的最大视野范围区域;

    结合所述眼动轨迹数据从所述最大视野范围区域中定位得到所述注视区域。

    5.如权利要求3所述的车辆防撞预警方法,其特征在于,根据所述注视区域以及所述防撞预警模型预测的碰撞位置,确定对应的预警模式,包括:

    若所述注视区域在预设时长内持续覆盖所述碰撞位置,则确定所述预警模式为第一模式;

    若所述注视区域预设时长内在所述碰撞位置和其它位置之间来回切换,则确定所述预警模式为第二模式;

    若所述注视区域未涵盖所述碰撞位置,则确定所述预警模式为第三模式。

    6.如权利要求5所述的车辆防撞预警方法,其特征在于,按照所述预警模式对所述车辆驾驶员进行预警,包括:

    若所述预警模式为第一模式,则不输出任何形式的预警提示;

    若所述预警模式为第二模式,则通过投影仪向所述车辆的车前玻璃投影预设的预警信息;

    若所述预警模式为第三模式,则通过投影仪向所述车辆的车前玻璃投影预设的预警信息,并控制所述车辆的蜂鸣器播放警示音。

    7.如权利要求1至6任一项所述的车辆防撞预警方法,其特征在于,所述防撞预警模型通过以下方式训练得到:

    获取样本数据,所述样本数据包括车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据;

    将所述样本数据输入自动机器学习模块进行模型的设计和训练,得到所述防撞预警模型。

    8.一种车辆防撞预警装置,其特征在于,包括:

    数据获取模块,用于获取车辆驾驶员的状态数据和所述车辆的行驶数据;

    碰撞预测模块,用于将所述状态数据和所述行驶数据输入预先训练完成的防撞预警模型,通过所述防撞预警模型预测所述车辆是否可能发生碰撞,所述防撞预警模型为以车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据作为训练集训练得到的神经网络模型;

    预警模块,用于若所述车辆可能发生碰撞,则根据所述状态数据确定预警模式,并按照所述预警模式对所述车辆驾驶员进行预警。

    9.一种车载终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述的车辆防撞预警方法的步骤。

    10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述的车辆防撞预警方法的步骤。

    技术总结
    本申请适用于人工智能技术领域,提出一种车辆防撞预警方法、装置、车载终端设备和存储介质。该车辆防撞预警方法包括:获取车辆驾驶员的状态数据和所述车辆的行驶数据;将所述状态数据和所述行驶数据输入预先训练完成的防撞预警模型,通过所述防撞预警模型预测所述车辆是否可能发生碰撞,所述防撞预警模型为以车辆发生碰撞时对应的驾驶员状态数据以及车辆行驶数据作为训练集训练得到的神经网络模型;若所述车辆可能发生碰撞,则根据所述状态数据确定预警模式,并按照所述预警模式对所述车辆驾驶员进行预警。采用该车辆防撞预警方法,能够根据驾驶员的状态制定合适的预警模式,进一步提高车辆驾驶的安全性。

    技术研发人员:李佳琳;李昌昊;王健宗
    受保护的技术使用者:平安科技(深圳)有限公司
    技术研发日:2020.11.25
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-15256.html

    最新回复(0)