全天候自动驾驶的场景识别方法及系统

    专利2026-06-09  6


    本发明涉及自动驾驶视觉感知,具体为全天候自动驾驶的场景识别方法及系统。


    背景技术:

    1、本部分的陈述仅仅是提供了与本发明相关的背景技术信息,不必然构成在先技术。

    2、自动驾驶需要车辆能够对所处的场景实现精确的识别和感知,通常依赖激光雷达方案、视觉方案或两者结合,视觉方案由于其成本更低,因此现有技术通常利用视觉方式(例如摄像头)获取的图像信息经过算法处理后,得到场景信息用于自动驾驶。从图像中识别场景信息,现有技术提出了一系列算法,例如监督深度估计:使用地面真实深度图作为监督,受监督的深度学习网络能够从输入图像中提取特征,并学习深度和rgb值之间的关系,从而识别出场景信息。

    3、夜晚的光照条件通常较差,道路、车辆和行人等目标的可见度降低。这可能导致算法难以准确地感知和识别场景中的物体,从而影响深度估计的准确性。为了应对这一问题,现有技术使用生成对抗网络(generative ad versarial networks,gans)将夜间特征调整为白天特征,或是通过图像增强和基于gans的正则化来减少夜间的不规则性。

    4、这类算法虽然能够在不同的场景中分别解决深度估计问题,并且取得较好的效果,但是这些模型往往结构复杂、臃肿,导致计算时间较长,需要依赖算力强大的硬件,难以配置在自动驾驶的边缘设备中。

    5、与此同时,现有技术中的模型大多只能应用于单一的白天或夜晚下的场景识别,缺少能够适用于全天候的模型。


    技术实现思路

    1、为了解决上述背景技术中存在的技术问题,本发明提供全天候自动驾驶的场景识别方法及系统,给出一种轻量级、高效的深度估计模型,既能够在全天候条件下使用,又适合在边缘设备上运行。这种模型应该能够有效地利用图像信息,提高深度估计的准确性和稳定性,同时保持模型简洁、高效。

    2、为了实现上述目的,本发明采用如下技术方案:

    3、本发明的第一个方面提供全天候自动驾驶的场景识别方法,包括以下步骤:

    4、获取驾驶环境的图像信息,基于训练完毕的识别模型划分为白天场景和夜晚场景,当图像信息为夜晚时进行图像增强,利用白天场景的图像和增强后的夜晚场景图像进行深度估计,以实现场景识别;

    5、其中,识别模型在训练期间,获取原始的白天场景图像,基于循环生成对抗网络生成夜晚的场景图像,并与原始白天场景图像混合形成全天数据集,全天数据集利用分类决策器区分白天场景图像和夜晚场景图像,白天场景图像利用深度估计模型实现场景识别,夜晚场景图像经图像增强处理后利用深度估计模型实现场景识别。

    6、进一步的,获取原始的白天场景图像,基于循环生成对抗网络生成夜晚的场景图像,具体为:

    7、lgan(g,d,a,b)=eb[(d(b)-1)2]+ea[d(g(a))2];

    8、lcyc=e[||gb(ga(a))-a||1]+eb[||ga(gb(b))-b||1];

    9、lcyclegan=lgan(ga,db,a,b)+lgan(gb,da,b,a)+λlcyc;

    10、循环生成对抗网络包括生成器(ga,da)和鉴别器(gb,db),其中a域和b域之间的翻译器是ga:a→b和gb:b→a,da被训练来区分真实图像a和翻译图像gb(b),db被训练来区分图像b和ga(a),使用对抗损失和循环一致性损失进行训练,通过激励ga和gb互为逆映射,使得gb(ga(a))≈a和ga(gb(b))≈b。

    11、进一步的,全天数据集利用分类决策器区分白天场景图像和夜晚场景图像,具体为:

    12、获取输入图像xv,提取视觉特征zv=g(xv),利用线性层将图像特征连接到词并嵌入空间,利用投影矩阵w,将视觉特征zv转换为语言嵌入标记hq,形成图像-文本对用于训练。

    13、进一步的,分类决策器的训练过程,包括以下步骤:

    14、对于每个图像xv,生成多轮对话数据其中t是总轮数;

    15、生成的多轮对话数据形成序列,序列的答案视为分类决策器的响应,通过计算生成目标答案xa的概率,确定在当前预测标记xi之前的所有轮次中的指令标记和应答标记。

    16、进一步的,第t轮的指令视为:

    17、

    18、其中,xv为输入图像,为生成的多轮对话数据。

    19、进一步的,对于长度为l的序列,通过下式计算生成目标答案xa的概率:

    20、

    21、其中,θ是可训练参数,xinstruct,<i和xa,<i分别是在当前预测标记xi之前的所有轮次中的指令标记和应答标记。

    22、进一步的,深度估计模型为混合cnn和transformer架构,通过加和操作隐式执行替代连接,引入线性注意力替代交叉协方差注意力。

    23、本发明的第二个方面提供全天候自动驾驶的场景识别系统,包括:

    24、场景识别模块,被配置为:获取驾驶环境的图像信息,基于训练完毕的识别模型划分为白天场景和夜晚场景,当图像信息为夜晚时进行图像增强,利用白天场景的图像和增强后的夜晚场景图像进行深度估计,以实现场景识别;

    25、其中,识别模型在训练期间,获取原始的白天场景图像,基于循环生成对抗网络生成夜晚的场景图像,并与原始白天场景图像混合形成全天数据集,全天数据集利用分类决策器区分白天场景图像和夜晚场景图像,白天场景图像利用深度估计模型实现场景识别,夜晚场景图像经图像增强处理后利用深度估计模型实现场景识别。

    26、本发明的第三个方面提供一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现上述全天候自动驾驶的场景识别方法中的步骤。

    27、本发明的第四个方面提供一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现上述全天候自动驾驶的场景识别方法中的步骤。

    28、与现有技术相比,以上一个或多个技术方案存在以下有益效果:

    29、利用光照条件良好的白天场景信息生成对应的夜晚场景信息,经混合后得到全天候的数据集,生成的数据集的地面真值与原白天场景信息是一致的,便于验证和测试,也能够是简化后续深度估计模型的结构,进而减少计算成本,模型训练完毕后能够通过快速区分白天和夜晚场景,对白天场景快速深度估计,对夜晚场景进行图像增强后再深度估计,实现全天候的驾驶场景识别,有利于将算法部署在边缘设备中。



    技术特征:

    1.全天候自动驾驶的场景识别方法,其特征在于,包括以下步骤:

    2.如权利要求1所述的全天候自动驾驶的场景识别方法,其特征在于,获取原始的白天场景图像,基于循环生成对抗网络生成夜晚的场景图像,具体为:

    3.如权利要求1所述的全天候自动驾驶的场景识别方法,其特征在于,全天数据集利用分类决策器区分白天场景图像和夜晚场景图像,具体为:

    4.如权利要求1所述的全天候自动驾驶的场景识别方法,其特征在于,分类决策器的训练过程,包括以下步骤:

    5.如权利要求4所述的全天候自动驾驶的场景识别方法,其特征在于,第t轮的指令视为:

    6.如权利要求4所述的全天候自动驾驶的场景识别方法,其特征在于,对于长度为l的序列,通过下式计算生成目标答案xa的概率:

    7.如权利要求1所述的全天候自动驾驶的场景识别方法,其特征在于,深度估计模型为混合cnn和transformer架构,通过加和操作隐式执行替代连接,引入线性注意力替代交叉协方差注意力。

    8.全天候自动驾驶的场景识别系统,其特征在于,包括:

    9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-7任一项所述全天候自动驾驶的场景识别方法中的步骤。

    10.一种计算机设备,其特征在于,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,处理器执行程序时实现如权利要求1-7任一项所述全天候自动驾驶的场景识别方法中的步骤。


    技术总结
    本发明涉及全天候自动驾驶的场景识别方法及系统,获取驾驶环境的图像信息,基于训练完毕的识别模型划分为白天场景和夜晚场景,当图像信息为夜晚时进行图像增强,利用白天场景的图像和增强后的夜晚场景图像进行深度估计,以实现场景识别;识别模型在训练期间,获取原始的白天场景图像,基于循环生成对抗网络生成夜晚的场景图像,并与原始白天场景图像混合形成全天数据集,全天数据集利用分类决策器区分白天场景图像和夜晚场景图像,白天场景图像利用深度估计模型实现场景识别,夜晚场景图像经图像增强处理后利用深度估计模型实现场景识别。

    技术研发人员:陈鹤,米文峰,孙宁,武毅男,吴庆祥
    受保护的技术使用者:河北工业大学
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-97582.html

    最新回复(0)