本发明涉及计算机,尤其涉及一种标注方法、装置、电子设备和存储介质。
背景技术:
1、近年来,3d目标检测作为自动驾驶领域的基础任务取得了重大突破。通过结合视觉和激光雷达等传感器,不断涌现出各种检测模型,并在公开数据集如nuscenes和waymo上展现出良好的性能。然而,3d目标检测算法取得成功的一个关键因素在于高质量的人工标注数据,但是人工标注的成本非常高昂,且标注效率较低,标注精度也难以保证,这限制了基于数据驱动的自动驾驶大模型的发展。因此,如何生成高质量的标注成为了越来越热门的研究热点。
技术实现思路
1、本发明提供一种标注方法、装置、电子设备和存储介质,用以解决现有技术中图像标注存在的效率较低、精度难以保证的问题。
2、本发明提供一种标注方法,包括:
3、获取连续拍摄的多帧图像和所述多帧图像对应的多帧点云;
4、基于所述多帧图像和所述多帧点云进行目标检测,得到多个检测目标;
5、对所述多个检测目标进行目标追踪,得到追踪结果;
6、基于所述多个检测目标在所述多帧图像中的语义特征、所述多帧点云的点云特征以及所述追踪结果,对所述多个检测目标进行目标优化,得到所述多帧图像的标注结果。
7、根据本发明提供的一种标注方法,所述基于所述多个检测目标在所述多帧图像中的语义特征、所述多帧点云的点云特征以及所述追踪结果,对所述多个检测目标进行目标优化,得到所述多帧图像的标注结果,包括:
8、提取任一检测目标在对应图像中的语义特征,并将提取所得的语义特征和所述图像对应的点云的点云特征进行融合,得到第一融合特征;
9、基于所述追踪结果进行特征提取,得到空间运动特征;
10、将所述第一融合特征和所述空间运动特征进行融合,得到第二融合特征;
11、基于所述第二融合特征,对所述任一检测目标进行目标优化,得到所述任一检测目标对应图像的标注结果。
12、根据本发明提供的一种标注方法,所述提取任一检测目标在对应图像中的语义特征,包括:
13、基于相机的内外参,将所述任一检测目标投影到对应的图像上,并确定投影后图像的感兴趣区域;
14、基于所述感兴趣区域进行语义特征提取,得到所述任一检测目标在对应图像中的语义特征。
15、根据本发明提供的一种标注方法,所述基于所述多帧图像和所述多帧点云进行目标检测,得到多个检测目标,包括:
16、对所述多帧图像和所述多帧点云分别进行特征提取,得到多帧图像特征和多帧点云特征;
17、应用可变形注意力机制,将所述多帧图像特征和所述多帧点云特征进行对应融合,得到多个第三融合特征;
18、基于所述多个第三融合特征进行目标检测,得到多个检测目标。
19、根据本发明提供的一种标注方法,所述对所述多帧图像和所述多帧点云分别进行特征提取,得到多帧图像特征和多帧点云特征,包括:
20、将所述多帧图像的位置编码分别替换为所述多帧图像对应的多帧点云的点云位置编码,并对替换后的所述多帧图像进行增强处理,得到增强后的多帧图像;
21、对所述增强后的多帧图像进行特征提取,得到所述多帧图像特征;
22、对所述多帧点云进行增强处理,并对增强后的多帧点云进行特征提取,得到所述多帧点云特征。
23、根据本发明提供的一种标注方法,所述对所述多个检测目标进行目标追踪,得到追踪结果,包括:
24、对所述多个检测目标进行双向追踪,得到正向轨迹和反向轨迹;
25、将所述正向轨迹和所述反向轨迹进行合并,得到所述追踪结果。
26、根据本发明提供的一种标注方法,所述目标检测、所述目标追踪以及所述目标优化基于标注模型实现,所述标注模型的训练步骤包括:
27、获取无标签训练数据,所述无标签训练数据包括多帧训练图像和所述多帧训练图像对应的多帧训练点云;
28、基于初始标注模型,对所述无标签训练数据进行标注,得到伪标签训练数据;
29、将所述伪标签训练数据和所述无标签训练数据进行合并,并基于合并后的训练数据对所述初始标注模型进行迭代训练,得到所述标注模型。
30、本发明还提供一种标注装置,包括:
31、获取单元,用于获取连续拍摄的多帧图像和所述多帧图像对应的多帧点云;
32、检测单元,用于基于所述多帧图像和所述多帧点云进行目标检测,得到多个检测目标;
33、追踪单元,用于对所述多个检测目标进行目标追踪,得到追踪结果;
34、优化单元,用于基于所述多个检测目标在所述多帧图像中的语义特征、所述多帧点云的点云特征以及所述追踪结果,对所述多个检测目标进行目标优化,得到所述多帧图像的标注结果。
35、本发明还提供一种电子设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述程序时实现如上述任一种所述标注方法。
36、本发明还提供一种非暂态计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述任一种所述标注方法。
37、本发明还提供一种计算机程序产品,包括计算机程序,所述计算机程序被处理器执行时实现如上述任一种所述标注方法。
38、本发明提供的标注方法、装置、电子设备和存储介质,通过获取连续拍摄的多帧图像和多帧图像对应的多帧点云,可以同时基于多帧图像和多帧点云进行目标检测,获得更全面、准确的目标检测结果,通过对多个检测目标进行目标追踪,可以进一步增强目标检测的准确性和稳定性,通过基于多个检测目标在多帧图像中的语义特征、多帧点云的点云特征以及追踪结果,对检测目标进行优化,可以更准确地对目标进行标注,从而提高标注结果的一致性和鲁棒性。本发明通过多模态信息融合、目标检测、目标追踪和目标优化,实现了对多帧图像的自动标注,不仅可以节省大量的人力成本和时间,提高标注效率,而且标注结果准确性高。
1.一种标注方法,其特征在于,包括:
2.根据权利要求1所述的标注方法,其特征在于,所述基于所述多个检测目标在所述多帧图像中的语义特征、所述多帧点云的点云特征以及所述追踪结果,对所述多个检测目标进行目标优化,得到所述多帧图像的标注结果,包括:
3.根据权利要求2所述的标注方法,其特征在于,所述提取任一检测目标在对应图像中的语义特征,包括:
4.根据权利要求1所述的标注方法,其特征在于,所述基于所述多帧图像和所述多帧点云进行目标检测,得到多个检测目标,包括:
5.根据权利要求4所述的标注方法,其特征在于,所述对所述多帧图像和所述多帧点云分别进行特征提取,得到多帧图像特征和多帧点云特征,包括:
6.根据权利要求1至5任一项所述的标注方法,其特征在于,所述对所述多个检测目标进行目标追踪,得到追踪结果,包括:
7.根据权利要求1至5任一项所述的标注方法,其特征在于,所述目标检测、所述目标追踪以及所述目标优化基于标注模型实现,所述标注模型的训练步骤包括:
8.一种标注装置,其特征在于,包括:
9.一种电子设备,包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述程序时实现如权利要求1至7任一项所述标注方法。
10.一种非暂态计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7任一项所述标注方法。