本发明涉及汽车,尤其涉及一种车内外异常识别方法、装置、介质及设备。
背景技术:
1、随着汽车技术的发展,许多车辆已经搭载了针对车内外异常情况的识别系统,例如车辆的哨兵模式。在现有技术中,通常在获取到各类传感器采集的数据之后,利用该数据结合异常识别算法(例如预先在小参数量的条件下训练好的神经网络模型)进行一次异常识别,并根据识别结果判断车内外是否存在异常情况。这使得现有技术中对于用来进行异常识别的数据要求较高,往往需要多传感器数据,并且在使用神经网络模型时,还要求该数据所代表的情况已包含在模型训练时的场景当中,从而存在识别率较低、容易出现误识别的问题。
技术实现思路
1、为了解决上述技术问题,本发明实施例提出了一种车内外异常识别方法、装置、介质及设备,能够提高车内外异常情况的识别准确度,减少误识别。
2、为了实现上述目的,本发明实施例提供了一种车内外异常识别方法,包括:
3、响应于检测到开启异常识别指令,获取车载摄像头数据;
4、对所述车载摄像头数据进行识别处理,得到第一识别结果;
5、在所述第一识别结果满足预设的第一异常条件的情况下,将所述车载摄像头数据输入至预先配置的大模型,得到所述大模型输出的第二识别结果;其中,所述第二识别结果用于指示是否存在车内外异常情况。
6、进一步的,所述车载摄像头数据包括车载摄像头拍摄到的车外全景视频;
7、所述对所述车载摄像头数据进行识别处理,得到第一识别结果,包括:
8、响应于在所述车外全景视频中检测到行人,对所述车外全景视频进行识别处理,得到所述行人相对于自车的第一距离。
9、进一步的,所述在所述第一识别结果满足预设的第一异常条件的情况下,将所述车载摄像头数据输入至预先配置的大模型,得到所述大模型输出的第二识别结果,包括:
10、若所述第一距离小于等于预设距离阈值的持续时间大于等于预设时间阈值,则判定为所述行人靠近车辆,并将所述车外全景视频输入至所述大模型,得到所述大模型输出的第三识别结果;其中,所述第三识别结果用于指示是否存在危险行为。
11、进一步的,所述方法还包括:
12、若不存在危险行为,则对待保存视频进行保存;其中,所述待保存视频为所述行人靠近车辆之前的预设第一时间段内以及之后的预设第二时间段内的车外全景视频;
13、若存在危险行为,则进行报警和/或保存所述待保存视频。
14、进一步的,所述车载摄像头数据包括若干车内图像;
15、所述对所述车载摄像头数据进行识别处理,得到第一识别结果,包括:
16、对所述若干车内图像进行识别处理;
17、若在任一车内图像中识别到预设有效目标,则基于所有识别到预设有效目标的目标车内图像确定第一识别结果。
18、进一步的,所述在所述第一识别结果满足预设的第一异常条件的情况下,将所述车载摄像头数据输入至预先配置的大模型,得到所述大模型输出的第二识别结果,包括:
19、若存在所述目标车内图像,则将所述目标车内图像输入至所述大模型,得到所述大模型输出的第四识别结果;其中,所述第四识别结果用于指示是否存在车内异常情况。
20、进一步的,所述方法还包括:
21、若不存在车内异常情况,则保存所述目标车内图像;
22、若存在车内异常情况,则进行报警。
23、进一步的,所述大模型包括:部署在云端的第一多模态大模型,或,部署在自车车端的第二多模态大模型。
24、进一步的,若所述大模型为部署在云端的第一多模态大模型,则所述方法还包括:
25、在所述将所述车载摄像头数据输入至预先配置的大模型之前,对所述车载摄像头数据进行脱敏处理,以形成新的车载摄像头数据。
26、进一步的,所述识别处理通过部署在自车车端的小模型进行;所述小模型基于小参数量的神经网络模型确定。
27、本发明实施例还提供了一种车内外异常识别装置,包括:
28、数据获取模块,用于响应于检测到开启异常识别指令,获取车载摄像头数据;
29、第一识别模块,用于对所述车载摄像头数据进行识别处理,得到第一识别结果;
30、第二识别模块,用于在所述第一识别结果满足预设的第一异常条件的情况下,将所述车载摄像头数据输入至预先配置的大模型,得到所述大模型输出的第二识别结果;其中,所述第二识别结果用于指示是否存在车内外异常情况。
31、本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述任一项所述的车内外异常识别方法的步骤。
32、本发明实施例还提供了一种计算机设备,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现上述任一项所述的车内外异常识别方法的步骤。
33、综上,本发明具有以下有益效果:
34、本发明实施例通过响应于检测到开启异常识别指令,获取车载摄像头数据;对所述车载摄像头数据进行识别处理,得到第一识别结果;在所述第一识别结果满足预设的第一异常条件的情况下,将所述车载摄像头数据输入至预先配置的大模型,得到所述大模型输出的第二识别结果;其中,所述第二识别结果用于指示是否存在车内外异常情况。采用本发明实施例,通过二次检测能够在准确识别到车内外是否存在异常情况的同时,避免频繁调用大模型而造成的算力浪费,且利用大模型还可以大幅提高异常识别的场景覆盖率。
1.一种车内外异常识别方法,其特征在于,包括:
2.如权利要求1所述的车内外异常识别方法,其特征在于,所述车载摄像头数据包括车载摄像头拍摄到的车外全景视频;
3.如权利要求2所述的车内外异常识别方法,其特征在于,所述在所述第一识别结果满足预设的第一异常条件的情况下,将所述车载摄像头数据输入至预先配置的大模型,得到所述大模型输出的第二识别结果,包括:
4.如权利要求3所述的车内外异常识别方法,其特征在于,所述方法还包括:
5.如权利要求1所述的车内外异常识别方法,其特征在于,所述车载摄像头数据包括若干车内图像;
6.如权利要求5所述的车内外异常识别方法,其特征在于,所述在所述第一识别结果满足预设的第一异常条件的情况下,将所述车载摄像头数据输入至预先配置的大模型,得到所述大模型输出的第二识别结果,包括:
7.如权利要求6所述的车内外异常识别方法,其特征在于,所述方法还包括:
8.如权利要求1-7任一项所述的车内外异常识别方法,其特征在于,所述大模型包括:部署在云端的第一多模态大模型,或,部署在自车车端的第二多模态大模型。
9.如权利要求8所述的车内外异常识别方法,其特征在于,若所述大模型为部署在云端的第一多模态大模型,则所述方法还包括:
10.如权利要求1-7任一项所述的车内外异常识别方法,其特征在于,所述识别处理通过部署在自车车端的小模型进行;所述小模型基于小参数量的神经网络模型确定。
11.一种车内外异常识别装置,其特征在于,包括:
12.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-10任一项所述的车内外异常识别方法。
13.一种计算机设备,其特征在于,包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序,所述处理器执行所述计算机程序时实现如权利要求1-10任一项所述的车内外异常识别方法。
