基于场景图像的感知方法、装置、设备及介质与流程

    专利2025-02-28  8


    本公开涉及自动驾驶,尤其涉及一种基于场景图像的感知方法、装置、设备及介质。


    背景技术:

    1、无人驾驶汽车也称为无人车、自动驾驶汽车,是指车辆能够依据自身对周围环境条件的感知、理解,自行进行运动控制,且能达到人类驾驶员驾驶水平。无人车通过多种车载传感器(如摄像头、激光雷达、毫米波雷达、全球定位系统(global positioning system,gps)、惯性传感器等)来识别车辆所处的周边环境和状态,并根据所获得的环境信息自主做出分析和判断,从而自主地控制车辆运动,最终实现无人驾驶。由于车辆运行场景的复杂性,网络需要对场景进行多种问题的处理分析,比如低矮障碍物识别,三维物体检测,车尾灯识别等。

    2、相关技术中,针对每个感知任务都独立训练网络,且多个网络直接共享完全一致的骨干网络。这种方式下,会增加感知所需的运算资源,且相同的骨干网络不能很好的提取不同感知任务之间差异性的特征,从而导致感知效率较低,感知性能不高。


    技术实现思路

    1、本公开旨在至少在一定程度上解决相关技术中的技术问题之一。

    2、为此,本公开在于提出一种基于场景图像的感知方法、装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质,以及计算机程序产品,能够有效减少感知所需的运算资源,提升感知效率和感知性能。

    3、本公开第一方面实施例提出的基于场景图像的感知方法,包括:获取场景图像;确定多个目标感知类型,其中,每个目标感知类型用于描述对应的目标感知任务;根据多个目标感知类型,从场景图像中确定不同目标感知任务间的共享语义特征;根据每个目标感知类型,从场景图像中确定与相应目标感知任务对应的私有语义特征;根据每个目标感知任务的私有语义特征和共享语义特征,确定每个目标感知任务的融合特征;根据融合特征,确定与每个目标感知任务对应的感知结果。

    4、本公开第二方面实施例提出的基于场景图像的感知装置,包括:获取模块,用于获取场景图像;第一确定模块,用于确定多个目标感知类型,其中,每个目标感知类型用于描述对应的目标感知任务;第二确定模块,用于根据多个目标感知类型,从场景图像中确定不同目标感知任务间的共享语义特征;第三确定模块,用于根据每个目标感知类型,从场景图像中确定与相应目标感知任务对应的私有语义特征;第四确定模块,用于根据每个目标感知任务的私有语义特征和共享语义特征,确定每个目标感知任务的融合特征;感知模块,用于根据融合特征,确定与每个目标感知任务对应的感知结果。

    5、本公开第三方面实施例提出的电子设备,包括:存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如本公开第一方面实施例提出的基于场景图像的感知方法。

    6、本公开第四方面实施例提出了一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本公开第一方面实施例提出的基于场景图像的感知方法。

    7、本公开第五方面实施例提出了一种计算机程序产品,当计算机程序产品中的指令由处理器执行时,执行如本公开第一方面实施例提出的基于场景图像的感知方法。

    8、本公开提供的基于场景图像的感知方法、装置、电子设备、存储有计算机指令的非瞬时计算机可读存储介质,以及计算机程序产品,通过获取场景图像,确定多个目标感知类型,其中,每个目标感知类型用于描述对应的目标感知任务,并根据多个目标感知类型,从场景图像中确定不同目标感知任务间的共享语义特征,根据每个目标感知类型,从场景图像中确定与相应目标感知任务对应的私有语义特征,根据每个目标感知任务的私有语义特征和共享语义特征,确定每个目标感知任务的融合特征,以及根据融合特征,确定与每个目标感知任务对应的感知结果。能够有效减少感知所需的运算资源,提升感知效率和感知性能。

    9、本公开附加的方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本公开的实践了解到。



    技术特征:

    1.一种基于场景图像的感知方法,其特征在于,所述方法包括:

    2.如权利要求1所述的方法,其特征在于,所述确定多个目标感知类型,包括:

    3.如权利要求1所述的方法,其特征在于,所述根据所述多个目标感知类型,从所述场景图像中确定不同所述目标感知任务间的共享语义特征,包括:

    4.如权利要求3所述的方法,其特征在于,所述共享语义特征提取模型包括:多个共享特征提取子模型,不同所述共享特征提取子模型依次相连接;

    5.如权利要求4所述的方法,其特征在于,所述从所述多个候选语义特征中选择部分候选语义特征,包括:

    6.如权利要求1所述的方法,其特征在于,所述根据每个所述目标感知类型,从所述场景图像中确定与相应所述目标感知任务对应的私有语义特征,包括:

    7.如权利要求6所述的方法,其特征在于,所述目标私有特征提取模型包括:多个私有特征提取子模型,不同所述私有特征提取子模型依次相连接,每个所述私有特征提取子模型均包含卷积单元、批正则化单元,以及激活单元;

    8.如权利要求1所述的方法,其特征在于,所述根据每个所述目标感知任务的私有语义特征和所述共享语义特征,确定每个所述目标感知任务的融合特征,包括:

    9.如权利要求8所述的方法,其特征在于,所述融合所述目标共享语义特征和每个所述目标感知任务的私有语义特征,得到每个所述目标感知任务的融合特征,包括:

    10.一种基于场景图像的感知装置,其特征在于,所述装置包括:

    11.一种电子设备,其特征在于,包括:

    12.一种存储有计算机指令的非瞬时计算机可读存储介质,其特征在于,其中,所述计算机指令用于使所述计算机执行权利要求1-9中任一项所述的方法。

    13.一种计算机程序产品,其特征在于,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述方法的步骤。


    技术总结
    本公开提出一种基于场景图像的感知方法、装置、设备及介质,该基于场景图像的感知方法包括:获取场景图像;确定多个目标感知类型,其中,每个目标感知类型用于描述对应的目标感知任务;根据多个目标感知类型,从场景图像中确定不同目标感知任务间的共享语义特征;根据每个目标感知类型,从场景图像中确定与相应目标感知任务对应的私有语义特征;根据每个目标感知任务的私有语义特征和共享语义特征,确定每个目标感知任务的融合特征;根据融合特征,确定与每个目标感知任务对应的感知结果。通过本公开,能够有效减少感知所需的运算资源,提升感知效率和感知性能。

    技术研发人员:刘亚婧
    受保护的技术使用者:北京京东远升科技有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-83571.html

    最新回复(0)