本技术涉及人工智能,尤其涉及一种交通信号灯的识别方法、装置以及设备。
背景技术:
1、随着城市交通规模的不断扩大,交通信号灯的检测与识别,成为智能驾驶领域的重要内容。
2、传统的交通信号灯的识别方法,主要通过颜色信息和形状信息,来对交通信号灯进行识别,导致对交通信号灯的识别,容易受到光照变化、遮挡等因素的干扰,进而影响了交通信号灯的识别精度。
3、除此之外,传统的交通信号灯的识别方法计算量较大,无法满足智能驾驶领域的实时性要求。
技术实现思路
1、本技术提供一种交通信号灯的识别方法、装置以及设备,用以解决传统的交通信号灯的识别方法,识别精度低、实时性差的问题。
2、第一方面,本技术提供一种交通信号灯的识别方法,包括:
3、获取实时采集的包含交通信号灯的待识别图像;
4、确定融合的图像处理算子,并为每个所述融合的图像处理算子分配对应的stream流;其中,所述融合的图像处理算子表征对各图像处理算子进行融合处理之后,得到的算子;所述图像处理算子表征用于图像识别处理的网络层;所述stream流表征融合的图像处理算子进行图像识别处理的处理进程;
5、基于所述stream流,调用对应的融合的图像处理算子,对所述待识别图像进行图像识别处理,得到图像识别结果;其中,所述图像识别结果表征所述交通信号灯的类别。
6、一个示例中,所述获取实时采集的包含交通信号灯的待识别图像,包括:
7、基于预先设置的脉冲信号,实时获取雷达传感器和摄像头传感器,分别采集到的包含交通信号灯的图像数据,得到所述待识别图像;其中,所述雷达传感器用于获取包含所述交通信号灯的三维的图像数据,所述摄像头传感器用于获取包含所述交通信号灯的二维的图像数据。
8、一个示例中,所述实时获取雷达传感器和摄像头传感器,分别采集到的包含交通信号灯的图像数据,得到所述待识别图像,包括:
9、实时获取雷达传感器和摄像头传感器,分别采集到的包含交通信号灯的图像数据,得到多个初始图像;其中,所述初始图像表征未进行预处理操作的图像;
10、对每个所述初始图像进行预处理操作,得到所述待识别图像;其中,所述预处理操作包括以下至少之一:调整图像尺寸、降噪处理、颜色空间转换处理。
11、一个示例中,所述确定融合的图像处理算子,包括:
12、基于预先设置的第一网络层和第二网络层,确定所述图像处理算子;其中,所述第一网络层表征对所述待识别图像进行特征提取处理的网络层;所述第二网络层表征对所述待识别图像所包含的交通信号灯进行分类处理的网络层;
13、按照预先设置的算子融合白名单,对各所述图像处理算子进行融合处理,得到所述融合的图像处理算子。
14、一个示例中,所述为每个所述融合的图像处理算子分配对应的stream流,包括:
15、从多个所述融合的图像处理算子中确定待分配算子;其中,所述待分配算子表征未分配对应的stream流的融合的图像处理算子;
16、基于所述待分配算子所包含的融合的图像处理算子的算子数量,以及所述待分配算子对应的前序算子对应的stream流,为所述待分配算子分配对应的stream流;其中,所述前序算子表征,与所述待分配算子相邻的,在所述待分配算子之前执行的融合的图像处理算子。
17、一个示例中,所述基于所述stream流,调用对应的融合的图像处理算子,对所述待识别图像进行图像识别处理,得到图像识别结果,包括:
18、在基于所述stream流,调用对应的融合的图像处理算子,对所述待识别图像进行图像识别处理的情况下,确定该图像识别处理过程所占用的显存资源;
19、若确定出所述占用的显存资源,超过预设资源阈值,则将所述融合的图像处理算子对应的第一处理精度,调整为第二处理精度;其中,所述第二处理精度对应的处理精度小于所述第一处理精度对应的处理精度;
20、调用所述对应的融合的图像处理算子,按照所述第二处理精度,对所述待识别图像进行图像识别处理,得到所述图像识别结果。
21、一个示例中,所述方法还包括:
22、在得到所述图像识别结果之后,将所述图像识别结果发送至自动驾驶系统,以使所述自动驾驶系统进行自动驾驶决策。
23、第二方面,本技术提供一种交通信号灯的识别装置,包括:
24、获取单元,用于获取实时采集的包含交通信号灯的待识别图像;
25、确定单元,用于确定融合的图像处理算子,并为每个所述融合的图像处理算子分配对应的stream流;其中,所述融合的图像处理算子表征对各图像处理算子进行融合处理之后,得到的算子;所述图像处理算子表征用于图像识别处理的网络层;所述stream流表征融合的图像处理算子进行图像识别处理的处理进程;
26、识别单元,用于基于所述stream流,调用对应的融合的图像处理算子,对所述待识别图像进行图像识别处理,得到图像识别结果;其中,所述图像识别结果表征所述交通信号灯的类别。
27、一个示例中,获取单元,包括:
28、数据采集模块,用于基于预先设置的脉冲信号,实时获取雷达传感器和摄像头传感器,分别采集到的包含交通信号灯的图像数据,得到所述待识别图像;其中,所述雷达传感器用于获取包含所述交通信号灯的三维的图像数据,所述摄像头传感器用于获取包含所述交通信号灯的二维的图像数据。
29、一个示例中,获取单元,包括:
30、预处理模块,用于实时获取雷达传感器和摄像头传感器,分别采集到的包含交通信号灯的图像数据,得到多个初始图像;其中,所述初始图像表征未进行预处理操作的图像;
31、对每个所述初始图像进行预处理操作,得到所述待识别图像;其中,所述预处理操作包括以下至少之一:调整图像尺寸、降噪处理、颜色空间转换处理。
32、一个示例中,确定单元,包括:
33、算子融合模块,用于基于预先设置的第一网络层和第二网络层,确定所述图像处理算子;其中,所述第一网络层表征对所述待识别图像进行特征提取处理的网络层;所述第二网络层表征对所述待识别图像所包含的交通信号灯进行分类处理的网络层;
34、按照预先设置的算子融合白名单,对各所述图像处理算子进行融合处理,得到所述融合的图像处理算子。
35、一个示例中,确定单元,包括:
36、分配模块,用于从多个所述融合的图像处理算子中确定待分配算子;其中,所述待分配算子表征未分配对应的stream流的融合的图像处理算子;
37、基于所述待分配算子所包含的融合的图像处理算子的算子数量,以及所述待分配算子对应的前序算子对应的stream流,为所述待分配算子分配对应的stream流;其中,所述前序算子表征,与所述待分配算子相邻的,在所述待分配算子之前执行的融合的图像处理算子。
38、一个示例中,识别单元,用于:
39、在基于所述stream流,调用对应的融合的图像处理算子,对所述待识别图像进行图像识别处理的情况下,确定该图像识别处理过程所占用的显存资源;
40、若确定出所述占用的显存资源,超过预设资源阈值,则将所述融合的图像处理算子对应的第一处理精度,调整为第二处理精度;其中,所述第二处理精度对应的处理精度小于所述第一处理精度对应的处理精度;
41、调用所述对应的融合的图像处理算子,按照所述第二处理精度,对所述待识别图像进行图像识别处理,得到所述图像识别结果。
42、一个示例中,该装置还用于:
43、在得到所述图像识别结果之后,将所述图像识别结果发送至自动驾驶系统,以使所述自动驾驶系统进行自动驾驶决策。
44、第三方面,本技术提供一种电子设备,包括:处理器,以及与所述处理器通信连接的存储器;
45、所述存储器存储计算机执行指令;
46、所述处理器执行所述存储器存储的计算机执行指令,以实现第一方面所述的方法。
47、第四方面,本技术提供一种计算机可读存储介质,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现第一方面所述的方法。
48、第五方面,本技术提供一种计算机程序产品,包括:计算机程序,该计算机程序被处理器执行时实现第一方面所述的方法。
49、本技术提供的交通信号灯的识别方法、装置以及设备,可以在获取实时采集的包含交通信号灯的待识别图像之后,先确定融合的图像处理算子,然后,通过为每个融合的图像处理算子分配的对应的stream流,调用对应的融合的图像处理算子,对待识别图像进行图像识别处理,得到表征交通信号灯的类别的图像识别结果。这种实施方式,可以通过stream流,调用融合的图像处理算子,来对待识别图像进行图像识别处理,不仅提高了交通信号灯的识别的效率和准确度,还可以通过stream流实现对待识别图像的并行处理,进而能够实时的对交通信号灯进行识别处理,能够满足智能驾驶领域的实时性要求。此时,在通过融合的图像处理算子,对待识别图像进行图像识别处理时,还可以使交通信号灯的识别不受天气条件和光照条件的影响,具有较强的鲁棒性。
1.一种交通信号灯的识别方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述获取实时采集的包含交通信号灯的待识别图像,包括:
3.根据权利要求2所述的方法,其特征在于,所述实时获取雷达传感器和摄像头传感器,分别采集到的包含交通信号灯的图像数据,得到所述待识别图像,包括:
4.根据权利要求1所述的方法,其特征在于,所述确定融合的图像处理算子,包括:
5.根据权利要求1所述的方法,其特征在于,所述为每个所述融合的图像处理算子分配对应的stream流,包括:
6.根据权利要求1所述的方法,其特征在于,所述基于所述stream流,调用对应的融合的图像处理算子,对所述待识别图像进行图像识别处理,得到图像识别结果,包括:
7.根据权利要求1-6中任一项所述的方法,其特征在于,所述方法还包括:
8.一种交通信号灯的识别装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:处理器,以及与所述处理器通信连接的存储器;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质中存储有计算机执行指令,所述计算机执行指令被处理器执行时用于实现如权利要求1至7中任一项所述的交通信号灯的识别方法。
11.一种计算机程序产品,其特征在于,包括计算机程序,该计算机程序被处理器执行时实现权利要求1至7中任一项所述的交通信号灯的识别方法。
