本申请属于数据处理领域,尤其涉及一种物体识别方法、装置、设备及存储介质。
背景技术:
在自动驾驶技术中,为实现自动驾驶车辆的安全行驶,需要实现自动驾驶车辆周围的物体识别。
为了得到自动驾驶车辆周围的物体识别结果,现阶段,如《第一本无人驾驶技术书_1.刘少山》中公开,通常会在自动驾驶车辆上安装摄像装置(如摄像头),直接基于摄像装置采集的图像数据,得到自动驾驶车辆周围的物体识别结果,如物体识别结果可以是自动驾驶车辆前方50米有行人。但是,这种物体识别方法的准确率较低。
技术实现要素:
本申请实施例提供一种物体识别方法、装置、设备及存储介质,能够提高物体识别方法的准确性。
第一方面,本申请实施例提供一种物体识别方法,包括:
获取自动驾驶车辆的图像数据,图像数据由摄像装置采集;
将图像数据转换为第一点云数据;
将第一点云数据输入第一预设识别模型,得到第一物体识别信息;
依据第一物体识别信息,确定自动驾驶车辆的物体识别结果。
在一些实施例中,方法还包括:
获取自动驾驶车辆的第二点云数据,第二点云数据由激光雷达采集;
将第二点云数据输入第二预设识别模型,得到第二物体识别信息;
依据第一物体识别信息,确定自动驾驶车辆的物体识别结果,包括:
基于第一物体识别信息和第二物体识别信息,融合得到自动驾驶车辆的物体识别结果。
在一些实施例中,将图像数据转换为第一点云数据,包括:
计算图像数据中每个像素的点云信息,点云信息包括深度信息、坐标信息和反射强度信息;
基于每个像素的点云信息将图像数据转换为第一点云数据。
在一些实施例中,将图像数据转换为第一点云数据之后,还包括:
基于预设校正参数校正第一点云数据,得到校正后的第一点云数据;
将第一点云数据输入第一预设识别模型,得到第一物体识别信息,包括:
将校正后的第一点云数据输入第一预设识别模型,得到第一物体识别信息。
在一些实施例中,预设校正参数包括缩放比例偏差、旋转变换偏差、中心偏移误差中的至少一个。
在一些实施例中,获取自动驾驶车辆的第二点云数据之后,方法还包括:
根据第一点云数据和第二点云数据,计算第一点云数据和第二点云数据的第一校正参数;
将第一校正参数更新为预设校正参数。
在一些实施例中,方法还包括:
对摄像装置和激光雷达进行时间同步。
在一些实施例中,方法还包括:
获取自动驾驶车辆在预设历史时段内的历史图像数据,以及历史图像数据对应的历史物体识别结果;
基于历史图像数据和历史物体识别结果训练第一预设模型,得到第一预设识别模型。
第二方面,提供了一种物体识别装置,包括:
数据获取模块,用于获取自动驾驶车辆的图像数据,图像数据由摄像装置采集;
转换模块,用于将图像数据转换为第一点云数据;
物体识别模块,用于将第一点云数据输入第一预设识别模型,得到第一物体识别信息;
确定模块,用于依据第一物体识别信息,确定自动驾驶车辆的物体识别结果。
第三方面,本发明实施例提供了一种物体识别设备,设备包括:处理器以及存储有计算机程序指令的存储器;
处理器执行计算机程序指令时实现如第一方面的物体识别方法。
第四方面,本发明实施例提供了一种计算机存储介质,计算机存储介质上存储有计算机程序指令,计算机程序指令被处理器执行时实现如第一方面的物体识别方法。
本申请实施例的物体识别方法、装置、设备及存储介质,通过将获取到的摄像装置采集的自动驾驶车辆的图像数据转换为第一点云数据,输入第一预设识别模型,得到自动驾驶车辆的第一物体识别信息,再依据第一物体识别信息确定物体识别结果。这样,将图像数据转换为第一点云数据,可以根据图像数据得到自动驾驶车辆周围的物体的三维信息,如此,基于包含有自动驾驶车辆周围的物体的三维信息的第一点云数据,得到物体识别结果,可以有效提高物体识别结果的准确性。
附图说明
为了更清楚地说明本申请实施例的技术方案,下面将对本申请实施例中所需要使用的附图作简单的介绍,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。
图1是本申请实施例提供的一种物体识别方法的流程示意图;
图2是本申请实施例提供的一种基于第二点云数据得到第二物体识别结果的流程示意图;
图3是本申请实施例提供的一种物体识别方法的流程示意图;
图4是本申请实施例提供的一种物体识别装置的结构示意图;
图5是本申请实施例提供的一种物体识别设备的结构示意图。
具体实施方式
下面将详细描述本申请的各个方面的特征和示例性实施例,为了使本申请的目的、技术方案及优点更加清楚明白,以下结合附图及具体实施例,对本申请进行进一步详细描述。应理解,此处所描述的具体实施例仅被配置为解释本申请,并不被配置为限定本申请。对于本领域技术人员来说,本申请可以在不需要这些具体细节中的一些细节的情况下实施。下面对实施例的描述仅仅是为了通过示出本申请的示例来提供对本申请更好的理解。
需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
在现有技术中,由于摄像装置成本低廉,技术相对比较成熟,故而,通常会根据摄像装置(如摄像头)采集的图像数据,分析得到自动驾驶车辆周围的物体识别结果。
具体的,可以通过深度学习基于摄像装置采集的图像数据,实现对自动驾驶车辆周围物体的识别。
但是,图像数据中通常用数值表示物体对应的各个像素点的灰度值,没有物体的三维信息,直接基于图像数据中各个像素点的灰度值分析得到的物体识别结果相较于基于三维信息得到的物体识别结果而言,准确性较低。
因此,为了解决现有技术存在的技术问题,本申请实施例提供了一种物体识别方法、装置、设备及存储介质,将获取到的摄像装置采集的自动驾驶车辆的图像数据转换为第一点云数据输入第一预设识别模型,得到自动驾驶车辆的物体识别结果。这样,将图像数据转换为第一点云数据,可以根据图像数据得到自动驾驶车辆周围的物体的三维信息,如此,基于第一点云数据得到物体识别结果,可以有效提高物体识别结果的准确性。
下面结合图1对本申请实施例提供的物体识别方法进行介绍。
图1示出了本申请实施例提供的一种物体识别方法的流程示意图,如图1所示,该方法可以包括以下步骤:
s110,获取自动驾驶车辆的图像数据。
其中,图像数据可以由摄像装置采集,摄像装置可以是摄像头、立体相机等。
具体的,自动驾驶车辆上设置的摄像装置可以采集自动驾驶车辆周围的物体的图像。然后,可以获取摄像装置采集的自动驾驶车辆周围的物体的图像,并解析该图像得到自动驾驶车辆的图像数据。
s120,将图像数据转换为第一点云数据。
其中,第一点云数据可以是图像数据转换得到的点云数据,也可以称为伪点云数据。
具体的,在获取到自动驾驶车辆的图像数据之后,可以对图像数据进行转换处理,得到图像数据对应的第一点云数据,即可以基于图像数据转换得到自动驾驶车辆周围的物体的三维信息,
s130,将第一点云数据输入第一预设识别模型,得到第一物体识别信息。
其中,第一预设识别模型可以是预先训练好的模型,该模型可以是神经网络模型,如卷积神经网络。第一预设识别模型可以用于基于第一点云数据得出自动驾驶车辆周围物体的第一物体识别信息。
第一物体识别信息可以是第一预设识别模型输出的识别结果,该识别结果可以是具体的物体信息,如可以是车辆前方30米有行人。
具体的,在将图像数据转换为第一点云数据之后,可以将该第一点云数据输入至预先训练好的第一预设识别模型。利用第一预设识别模型基于第一点云数据输出自动驾驶车辆周围物体的第一物体识别信息。
s140,依据第一物体识别信息,确定自动驾驶车辆的物体识别结果。
具体的,利用第一预设识别模型基于第一点云数据输出自动驾驶车辆周围物体的第一物体识别信息之后,可以依据该第一物体识别结果,确定自动驾驶车辆的物体识别结果,并可以输出该物体识别结果。如可以将第一物体识别结果确定为自动驾驶车辆的物体识别结果。
本申请实施例的物体识别方法、装置、电子设备及存储介质,通过将获取到的摄像装置采集的自动驾驶车辆的图像数据转换为第一点云数据,输入第一预设识别模型,得到自动驾驶车辆的第一物体识别信息,再依据第一物体识别信息确定物体识别结果。这样,将图像数据转换为第一点云数据,可以根据图像数据得到自动驾驶车辆周围的物体的三维信息,如此,基于包含有自动驾驶车辆周围的物体的三维信息的第一点云数据,得到物体识别结果,可以有效提高物体识别结果的准确性。
在一些实施例中,还可以获取激光雷达采集的第二点云数据,基于第一点云数据和第二点云数据得到物体识别结果。相应的,如图2所示,在上述图1所示的方法实施例的基础上,还可以包括如下步骤:
s210,获取自动驾驶车辆的第二点云数据;
其中,第二点云数据可以是由激光雷达采集的点云数据。
具体的,考虑到相对于摄像装置,激光雷达的有效探测范围更远、探测精度更高,其采集的点云数据能够提供详细且高精度的三维几何信息。故而,还可以为自动驾驶车辆安装激光雷达,利用激光雷达采集自动驾驶车辆周围的物体的第二点云数据,并获取激光雷达采集的第二点云数据。
s220,将第二点云数据输入第二预设识别模型,得到第二物体识别信息。
其中,第二预设识别模型可以是预先训练好的模型,该模型可以用于基于第二点云数据输出自动驾驶车辆周围物体的第二物体识别信息。该模型可以是神经网络模型,如卷积神经网络。
第二物体识别信息可以是第二预设识别模型输出的识别结果,该识别结果可以是具体的物体信息,如可以是车辆前方35米有行人。
具体的,在获取到激光雷达采集的第二点云数据之后,可以将该第二点云数据输入至第二预设模型,利用第二预设模型对第二点云数据进行分析,得到自动驾驶车辆周围物体的第二物体识别信息。
需要说明的是,图像数据转换成第一点云数据之后,第一点云数据的数据模式和第二点云数据的数据模式相同。故而,处理第一点云数据的第一预设识别模型可以与处理第二点云数据的第二预设识别模型的结构相同,但由于第一点云数据比第二点云数据更稠密,所以第一预设识别模型和第二预设识别模型的模型参数可能会存在差异。
可以理解的是,上述获取第二点云数据,基于第二点云数据得到第二物体识别信息的处理,可以在上述步骤s110-s130之前或者之后执行,或者,也可以与上述步骤s110-s130同时执行。
相应的,此时,上述步骤s140的具体实现方式可以为:
基于第一物体识别信息和第二物体识别信息,融合得到自动驾驶车辆的物体识别结果。
具体的,在利用第一预设识别模型基于第一点云数据分析得到第一物体识别结果,利用第二预设识别模型基于第二点云数据分析得到第二物体识别结果之后,可以利用数据融合技术对第一物体识别信息和第二物体识别信息进行融合处理得到自动驾驶车辆的物体识别结果。
如,可以采用加权融合的数据融合方式进行融合处理。即可以为第一物体识别信息和第二物体识别信息分别设置加权值。再结合第一物体识别信息和第一物体识别信息对应的加权值,以及第二物体识别信息和第二物体识别信息对应的加权值,进行融合处理,得到自动驾驶车辆的物体识别结果。
由于摄像装置采集图像数据的频率较高,因此由图像数据转换得到的第一点云数据的帧率也较高,第一点云数据比较稠密;激光雷达采集的第二点云数据的虽然帧率较低,第二点云数据比较稀疏,但第二点云数据携带的三维信息更加准确。故而,将图像数据转换为第一点云数据可以实现图像数据与第二点云数据的一致性,便于将第一点云数据与第二点云数据进行融合,充分发挥第一点云数据稠密和第二点云数据精度高的优势。
这样,在同时存在第一点云数据和第二点云数据时,基于第一点云数据得到的第一物体识别信息和基于第二点云数据得到的第二物体识别信息进行融合,得到自动驾驶车辆周围的物体对应的点云轮廓中的识别信息就更多,如此,可以进一步提高物体识别结果的准确性。
在一些实施例中,可以通过计算每个像素的点云信息将图像数据转换为第一点云数据。相应的,上述步骤s120的具体实现方式可以为:
计算图像数据中每个像素的点云信息;
基于每个像素的点云信息将图像数据转换为第一点云数据。
其中,每个像素的点云信息可以包括该像素点的深度信息、坐标信息和反射强度信息。深度信息可以是成像点对应的实际物体上的点到图像平面的距离,即深度信息为三维几何位置坐标中的一个分量。坐标信息可以为每个像素点的三维几何位置坐标,即空间几何坐标点信息。反射强度信息可以是每个像素点对应的反射强度,由于图像数据通常为rgb数字图像,不含有每个像素点的反射强度,故而,此处所描述的反射强度实际上是基于图像数据的rgb色彩模式的颜色信息转换得到的。
在将图像数据转换为第一点云数据时,可以计算图像数据中的每个像素的点云信息,如可以是图像数据中的每个像素点的深度信息、坐标信息和反射强度信息等。然后,可以基于前述计算得到的图像数据中每个像素的点云信息,对图像数据进行转换得到第一点云数据。
考虑到与激光雷达相比,虽然立体相机等摄像装置的有效探测距离较短,会导致距离摄像装置较远的像素点的深度信息精度较低,但是由于摄像装置采集图像数据的频率较高,因此可以降低对图像数据的深度信息的范围的约束。具体的,上述将图像数据转换为第一点云数据的具体实现方式可以如下:
如立体相机等摄像装置可以提供图像数据的空间信息,基于该空间信息并结合视差和摄像装置的焦距等信息,可以计算得到图像数据中的每个像素的深度信息及坐标信息。而且,考虑到图像数据中无法提供像素的反射强度信息,故而可以将图像数据每个像素的rgb色彩模式的颜色信息转换为灰度值,之后可以将灰度值转换为0-1之间的灰度值,并可以使同一物体的灰度值相同,再将该灰度值作为图像数据的像素的反射强度信息。
上述图像数据中的每个像素的深度信息、坐标信息、反射强度信息等点云信息,可以认为是该像素转换为点云数据对应的点云信息。这样,就可以将图像数据转换为在激光雷达坐标系下的第一点云数据,且转换得到的第一点云数据比激光雷达采集的第二点云数据更加稠密。这样,就实现了将图像数据转换为第一点云数据。
在一些实施例中,还可以对图像数据转换得到的第一点云数据进行校正,相应的,上述步骤s120之后还可以执行如下处理:
基于预设校正参数校正第一点云数据,得到校正后的第一点云数据;
相应的,上述步骤s130的具体实现方式可以为:
将校正后的第一点云数据输入第一预设识别模型,得到第一物体识别信息。
其中,预设校正参数可以包括缩放比例偏差、旋转变换偏差、中心偏移误差中的至少一个,缩放比例偏差可以是三维的缩放比例偏差。该预设校正参数可以是预先根据已有数据分析得出的校正参数。
具体的,在将图像数据转换为第一点云数据之后,可以获取包括缩放比例偏差、旋转变换偏差、中心偏移误差中的至少一个的预设校正参数,利用预设校正参数以距离第二点云数据的坐标系中心点近的,且在第二点云数据中物体的轮廓边界的三维位置信息和物体中心的三维位置信息作为基准点,对第一点云数据中相对应的物体的轮廓边界的三维位置信息和物体中心的三维位置信息进行校正,得到校正后的第一点云数据。可以理解的是,可以根据实际所使用的激光雷达的线束和采集图像数据的分辨率来确定基准点。
在得到校正后的第一点云数据之后,可以将校正后的第一点云数据输入到第一预设识别模型中,由第一预设识别模型基于校正后的第一点云数据输出第一物体识别信息。
这样,基于预设校正参数对第一点云数据进行校正,即对第一点云数据中每个像素点进行补偿,可以将第一点云数据和第二点云数据对齐。如此,可以提高基于图像数据转换得到的第一点云数据的准确性,进而可以提高物体识别结果的准确性和精度。
在一些实施例中,为提高预设校正参数的准确性和精度,还可以更新预设校正参数,相应的,在上述步骤s210之后,还可以执行如下步骤:
根据第一点云数据和第二点云数据,计算第一点云数据和第二点云数据的第一校正参数;
将第一校正参数更新为预设校正参数。
其中,第一校正参数是根据第一点云数据和第二点云数据计算出的校正参数,该第一校正参数可以包括缩放比例偏差、旋转变换偏差、中心偏移误差中的至少一个。
可以理解的是,上述更新预设校正参数的过程可以是在每次获取第二点云数据之后都执行,也可以周期性的执行。
这样,根据实际获取到的第一点云数据和第二点云数据更新预设校正参数,可以提高预设校正参数的准确性,从而可以提高校正后的第一点云数据的准确性,进而可以进一步提高物体识别结果的准确性。
在一些实施例中,在上述方法实施例执行之前,还可以执行如下步骤:
对摄像装置和激光雷达进行时间同步。
具体的,可以使用全球定位系统(globalpositioningsystem,gps)的秒脉冲(pulsepersecond,pps)时间源为激光雷达和摄像头进行时间同步。
这样,对摄像装置和激光雷达进行时间同步,可以使得获取的图像数据和第二点云数据是相同时刻的数据,从而可以保证第一点云数据和第二点云数据为同一时刻的数据。如此,可以保证基于第一点云数据和第二点云数据确定出的物体识别信息为同一时刻的物体识别信息,进而可以进一步提高基于第一物体识别信息和第二物体识别信息得到的物体识别结果的准确性。
在一些实施例中,在执行上述方法实施例提供的方法之前,还可以执行如下处理:
获取自动驾驶车辆在预设历史时段内的历史图像数据,以及历史图像数据对应的历史物体识别结果;
基于历史图像数据和历史物体识别结果训练第一预设模型,得到第一预设识别模型。
其中,预设历史时段可以为预设的任一历史时段,如可以设置为距离当前时刻最近的时段,如可以是距离当前时刻30分钟。
历史图像数据可以为摄像装置在预设历史时段内采集的自动驾驶车辆周围的物体的图像数据。
第一预设模型可以为预先构建的模型,该模型可以是神经网络,如可以是卷积神经网络,该模型的具体结构可以根据实际情况进行设置。
具体的,在物体识别方法执行之前,可以构建一个第一预设模型,并可以获取任一自动驾驶车辆在预设历史时段内的历史图像数据,以及每个时刻的历史图像数据对应的历史物体识别结果,再基于历史图像数据和历史物体识别结果训练第一预设模型,并检测训练后的第一预设模型的准确率。在训练后的第一预设模型的准确率满足预设条件的情况下,将训练后的模型确定为第一预设识别模型。前述预设条件可以是物体识别结果的准确率大于预设阈值,该预设阈值可以根据实际情况进行设定,如可以是98%。
这样,预先训练第一预设模型,无需在每次进行物体识别时再进行训练,可以提高物体识别方法的识别效率。而且,将准确率达到预设阈值的训练后的第一预设模型确定为第一预设识别模型,可以进一步保证物体识别结果的准确率,提高物体识别方法的准确性。
可以理解的是,在执行上述方法实施例提供的方法之前,还可以执行如下处理:
获取自动驾驶车辆在预设历史时段内的历史第二点云数据,以及历史第二点云数据对应的历史物体识别结果;
基于第二点云数据和历史物体识别结果训练第二预设模型,得到第二预设识别模型。
其中,第二预设模型可以为预先构建的模型,如可以是卷积神经网络模型,该模型的具体结构可以根据实际情况进行设置。
可以理解的是,上述训练得到第二预设模型的具体实现方法和技术效果,与上述训练得到第一预设模型的具体实现方法以及技术效果类似,为简洁起见,再次不再赘述。
参见图3,图3是本申请实施例提供的一种物体识别方法的流程示意图,如图3所示,该物体识别方法可以包括如下步骤:
s310,获取摄像装置采集的图像数据。
s320,将图像数据转换为第一点云数据。
s330,基于预设校正参数校正第一点云数据,得到校正后的第一点云数据。
s340,将校正后的第一点云数据,输入第一预设识别模型,得到第一物体识别结果。
以及,s350,获取激光雷达采集的第二点云数据。
s360,将第二点云数据输入第二预设识别模型,得到第二物体识别信息。
之后,执行如下步骤:
s370,基于第一物体识别信息和第二物体识别信息,融合得到自动驾驶车辆的物体识别结果。
图3所示的物体识别方法与上述各方法实施例的具体实现原理和技术效果类似,为简洁起见,在此不再赘述。
以上为本申请实施例提供的一种物体识别方法,基于上述物体识别方法,本申请实施例还提供了一种物体识别装置,下面将对物体识别装置进行详细说明。
图4是本申请实施例提供的一种物体识别装置的结构示意图。如图4所示,该物体识别装置400可以包括:
数据获取模块410,可以用于获取自动驾驶车辆的图像数据,图像数据由摄像装置采集;
转换模块420,可以用于将图像数据转换为第一点云数据;
物体识别模块430,可以将第一点云数据输入第一预设识别模型,得到第一物体识别信息;
确定模块440,可以依据第一物体识别信息,确定自动驾驶车辆的物体识别结果。
在一些实施例中,物体识别装置400还可以包括:
第一获取模块,可以用于获取自动驾驶车辆的第二点云数据,第二点云数据由激光雷达采集;
物体识别模块430,可以用于基于第一物体识别信息和第二物体识别信息,融合得到自动驾驶车辆的物体识别结果。
在一些实施例中,转换模块420,可以包括:
第一计算单元,可以用于计算图像数据中每个像素的点云信息,点云信息包括深度信息、坐标信息和反射强度信息;
转换单元,可以用于基于每个像素的点云信息将图像数据转换为第一点云数据。
在一些实施例中,物体识别装置400还可以包括:
校正模块,可以用于基于预设校正参数校正第一点云数据,得到校正后的第一点云数据;
物体识别模块430,可以用于将校正后的第一点云数据输入第一预设识别模型,得到第一物体识别信息。
在一些实施例中,预设校正参数包括缩放比例偏差、旋转变换偏差、中心偏移误差中的至少一个。
在一些实施例中,物体识别装置400还可以包括:
第二计算单元,可以用于根据第一点云数据和第二点云数据,计算第一点云数据和第二点云数据的第一校正参数;
更新单元,可以用于将第一校正参数更新为预设校正参数。。
在一些实施例中,物体识别装置400还可以包括:
同步模块,可以用于对摄像装置和激光雷达进行时间同步。
在一些实施例中,物体识别装置400还可以包括:
第二获取模块,可以用于获取自动驾驶车辆在预设历史时段内的历史图像数据,以及历史图像数据对应的历史物体识别结果;
训练模块,可以用于基于历史图像数据和历史物体识别结果训练第一预设模型,得到第一预设识别模型。
上述物体识别装置可以用于执行上述各方法实施例提供的方法,其实现原理和效果类似,为简洁起见,在此不再赘述。
以上为本申请实施例提供的物体识别方法和装置,基于上述物体识别方法和装置,本申请还提供了一种物体识别设备,具体参见以下实施例。
图5示出了本申请实施例提供的物体识别设备的硬件结构示意图。
该物体识别设备可以包括处理器501以及存储有计算机程序指令的存储器502。
具体地,上述处理器501可以包括中央处理器(centralprocessingunit,cpu),或者特定集成电路(applicationspecificintegratedcircuit,asic),或者可以被配置成实施本发明实施例的一个或多个集成电路。
存储器502可以包括用于数据或指令的大容量存储器。举例来说而非限制,存储器502可包括硬盘驱动器(harddiskdrive,hdd)、软盘驱动器、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus,usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下,存储器502可包括可移除或不可移除(或固定)的介质。在合适的情况下,存储器502可在综合网关容灾设备的内部或外部。在特定实施例中,存储器502是非易失性固态存储器。
存储器可包括只读存储器(rom),随机存取存储器(ram),磁盘存储介质设备,光存储介质设备,闪存设备,电气、光学或其他物理/有形的存储器存储设备。因此,通常,存储器包括一个或多个编码有包括计算机可执行指令的软件的有形(非暂态)计算机可读存储介质(例如,存储器设备),并且当该软件被执行(例如,由一个或多个处理器)时,其可操作来执行参考根据本公开的一方面的方法所描述的操作。
处理器501通过读取并执行存储器502中存储的计算机程序指令,以实现上述实施例中的任意一种物体识别方法。
在一个示例中,物体识别设备还可包括通信接口503和总线510。其中,如图5所示,处理器501、存储器502、通信接口503通过总线510连接并完成相互间的通信。
通信接口503,主要用于实现本申请实施例中各模块、装置、单元和/或设备之间的通信。
总线510包括硬件、软件或两者,将物体识别设备的部件彼此耦接在一起。举例来说而非限制,总线可包括加速图形端口(acceleratedgraphicsport,agp)或其他图形总线、增强工业标准架构(extendedindustrystandardarchitecture,eisa)总线、前端总线(frontsidebus,fsb)、超传输(hypertransport,ht)互连、工业标准架构(industrystandardarchitecture,isa)总线、无限带宽互连、低引脚数(lpc)总线、存储器总线、微信道架构(mca)总线、外围组件互连(pci)总线、pci-express(pci-x)总线、串行高级技术附件(sata)总线、视频电子标准协会局部(vlb)总线或其他合适的总线或者两个或更多个以上这些的组合。在合适的情况下,总线510可包括一个或多个总线。尽管本申请实施例描述和示出了特定的总线,但本申请考虑任何合适的总线或互连。
另外,结合上述实施例中的物体识别方法,本申请实施例可提供一种计算机存储介质来实现。该计算机存储介质上存储有计算机程序指令;该计算机程序指令被处理器执行时实现上述实施例中的任意一种物体识别方法。
需要明确的是,本申请并不局限于上文所描述并在图中示出的特定配置和处理。为了简明起见,这里省略了对已知方法的详细描述。在上述实施例中,描述和示出了若干具体的步骤作为示例。但是,本申请的方法过程并不限于所描述和示出的具体步骤,本领域的技术人员可以在领会本申请的精神后,作出各种改变、修改和添加,或者改变步骤之间的顺序。
以上所述的结构框图中所示的功能块可以实现为硬件、软件、固件或者它们的组合。当以硬件方式实现时,其可以例如是电子电路、专用集成电路(applicationspecificintegratedcircuit,asic)、适当的固件、插件、功能卡等等。当以软件方式实现时,本申请的元素是被用于执行所需任务的程序或者代码段。程序或者代码段可以存储在机器可读介质中,或者通过载波中携带的数据信号在传输介质或者通信链路上传送。“机器可读介质”可以包括能够存储或传输信息的任何介质。机器可读介质的例子包括电子电路、半导体存储器设备、rom、闪存、可擦除rom(erom)、软盘、cd-rom、光盘、硬盘、光纤介质、射频(radiofrequency,rf)链路,等等。代码段可以经由诸如因特网、内联网等的计算机网络被下载。
还需要说明的是,本申请中提及的示例性实施例,基于一系列的步骤或者装置描述一些方法或系统。但是,本申请不局限于上述步骤的顺序,也就是说,可以按照实施例中提及的顺序执行步骤,也可以不同于实施例中的顺序,或者若干步骤同时执行。
上面参考根据本公开的实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各方面。应当理解,流程图和/或框图中的每个方框以及流程图和/或框图中各方框的组合可以由计算机程序指令实现。这些计算机程序指令可被提供给通用计算机、专用计算机、或其它可编程数据处理装置的处理器,以产生一种机器,使得经由计算机或其它可编程数据处理装置的处理器执行的这些指令使能对流程图和/或框图的一个或多个方框中指定的功能/动作的实现。这种处理器可以是但不限于是通用处理器、专用处理器、特殊应用处理器或者现场可编程逻辑电路。还可理解,框图和/或流程图中的每个方框以及框图和/或流程图中的方框的组合,也可以由执行指定的功能或动作的专用硬件来实现,或可由专用硬件和计算机指令的组合来实现。
以上所述,仅为本申请的具体实施方式,所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,上述描述的系统、模块和单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。应理解,本申请的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本申请揭露的技术范围内,可轻易想到各种等效的修改或替换,这些修改或替换都应涵盖在本申请的保护范围之内。
1.一种物体识别方法,其特征在于,包括:
获取自动驾驶车辆的图像数据,所述图像数据由摄像装置采集;
将所述图像数据转换为第一点云数据;
将所述第一点云数据输入第一预设识别模型,得到第一物体识别信息;
依据所述第一物体识别信息,确定所述自动驾驶车辆的物体识别结果。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取自动驾驶车辆的第二点云数据,所述第二点云数据由激光雷达采集;
将所述第二点云数据输入第二预设识别模型,得到第二物体识别信息;
所述依据所述第一物体识别信息,确定所述自动驾驶车辆的物体识别结果,包括:
基于所述第一物体识别信息和所述第二物体识别信息,融合得到所述自动驾驶车辆的物体识别结果。
3.根据权利要求1所述的方法,其特征在于,所述将所述图像数据转换为第一点云数据,包括:
计算所述图像数据中每个像素的点云信息,所述点云信息包括深度信息、坐标信息和反射强度信息;
基于所述每个像素的点云信息将所述图像数据转换为第一点云数据。
4.根据权利要求1所述的方法,其特征在于,所述将所述图像数据转换为第一点云数据之后,还包括:
基于预设校正参数校正所述第一点云数据,得到校正后的第一点云数据;
所述将所述第一点云数据输入第一预设识别模型,得到第一物体识别信息,包括:
将所述校正后的第一点云数据输入所述第一预设识别模型,得到所述第一物体识别信息。
5.根据权利要求4所述的方法,其特征在于,所述预设校正参数包括缩放比例偏差、旋转变换偏差、中心偏移误差中的至少一个。
6.根据权利要求2所述的方法,其特征在于,所述获取自动驾驶车辆的第二点云数据之后,所述方法还包括:
根据所述第一点云数据和所述第二点云数据,计算所述第一点云数据和所述第二点云数据的第一校正参数;
将所述第一校正参数更新为预设校正参数。
7.根据权利要求2所述的方法,其特征在于,所述方法还包括:
对所述摄像装置和所述激光雷达进行时间同步。
8.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取自动驾驶车辆在预设历史时段内的历史图像数据,以及所述历史图像数据对应的历史物体识别结果;
基于所述历史图像数据和历史物体识别结果训练第一预设模型,得到所述第一预设识别模型。
9.一种物体识别装置,其特征在于,包括:
数据获取模块,用于获取自动驾驶车辆的图像数据,所述图像数据由摄像装置采集;
转换模块,用于将所述图像数据转换为第一点云数据;
物体识别模块,用于将所述第一点云数据输入第一预设识别模型,得到第一物体识别信息;
确定模块,用于依据所述第一物体识别信息,确定所述自动驾驶车辆的物体识别结果。
10.一种物体识别设备,其特征在于,所述设备包括:处理器以及存储有计算机程序指令的存储器;
所述处理器执行所述计算机程序指令时实现如权利要求1-8任意一项所述的物体识别方法。
11.一种存储介质,其特征在于,所述存储介质上存储有计算机程序指令,所述计算机程序指令被处理器执行时实现如权利要求1-8任意一项所述的物体识别方法。
技术总结