本发明涉及智能汽车领域,具体而言,涉及一种基于单目摄像头的车道线检测的方法及系统。
背景技术:
1、近年来,智能驾驶行业蓬勃发展,市场竞争激烈。对于各车企和供应商而言,他们关注并研究的焦点是成本低廉、性能卓越的智能驾驶解决方案。在这个背景下,单目视觉感知逐渐受到行业认可,市场验证了它在驾驶安全领域的作用。
2、然而,现有技术存在一些缺点,需要解决。例如,在专利公开号为cn116385463a的专利中公开了传统的图像二值分割处理方法,无法有效区分车道线与非车道线区域,尤其在面对光线和天气等图像特征变化时。在专利公开号为cn116229406a的专利中公开了复杂的transformer模型结构,对硬件部署要求较高,且需要大量训练数据,相较于传统的cnn模型。在专利公开号为cn115909241a的专利中公开了使用单张前视图像进行车道线检测,但在将原始图像尺寸缩放到模型输入尺寸时,会丢失远处车道线信息,从而导致远处车道线的识别效果下降。在专利公开号为cn116092026a的专利中公开了多帧图像合并检测形式,但要准确投影到同一3d信息空间,需要精确的相机内外参,且增加了3d信息处理的复杂度。
3、由此可知,现有技术中依然存在单目前视摄像头图像进行车道线识别时,远距离车道线无法准确召回的问题。
技术实现思路
1、本发明实施例提供了一种基于单目摄像头的车道线检测的方法及系统。
2、根据本发明的一个实施例,提供了一种基于单目摄像头的车道线检测的方法,其特征在于,所述方法包括:通过单目摄像头获取前方车道的当前帧的原始图像,将所述原始图像通过裁剪点裁剪得到裁剪图像;分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征;基于裁剪点对所述原图特征进行roialign运算得到区域特征,将所述裁剪图特征和所述区域特征进行特征融合得到融合特征;对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量,所述车道线向量用于聚类检测到的车道线的点是否属于同一条车道线,所述车道线位置信息用于表征车道线的位置,所述预测裁剪点用作下一帧的图像处理。
3、可选的,在将所述原始图像通过裁剪点裁剪得到裁剪图像中,所述裁剪点为上一帧的图像处理得到的预测裁剪点。
4、可选的,在初始帧的图像处理中,所述裁剪点为预设点。
5、可选的,在分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征中,通过卷积网络的卷积层对所述原始图像和所述裁剪图像进行特征提取。
6、可选的,将所述裁剪图特征和所述区域特征进行特征融合得到融合特征包括:将所述区域特征的尺寸调整到与所述裁剪图特征相一致,再通过通道维度拼接形成所述融合特征。
7、可选的,对所述原图特征和所述融合特征进行共享特征处理包括:使用共享权重的卷积层对所述原图特征和所述融合特征进行卷积操作。
8、可选的,对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量包括:对所述原图特征和所述融合特征进行共享特征处理得到原图向量和裁剪图向量,再对所述原图向量和所述裁剪图向量进行特征联合训练得到所述车道线向量。
9、根据本发明的另一个实施例,提供了一种基于单目摄像头的车道线检测的系统,包括单目摄像头和控制器,其中,所述单目摄像头用于获取前方车道的当前帧的原始图像;所述控制器将所述原始图像通过裁剪点裁剪得到裁剪图像;分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征;基于裁剪点对所述原图特征进行roialign运算得到区域特征,将所述裁剪图特征和所述区域特征进行特征融合得到融合特征;对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量,所述车道线向量用于聚类检测到的车道线的点是否属于同一条车道线,所述车道线位置信息用于表征车道线的位置,所述预测裁剪点用作下一帧的图像处理。
10、根据本发明的又一个实施例,还提供了一种存储介质,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行上述任一项方法实施例中的步骤。
11、根据本发明的又一个实施例,还提供了一种电子装置,包括存储器和处理器,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行上述任一项方法实施例中的步骤。
12、通过本发明,基于单目摄像头的车道线检测方法来实现车道线的智能识别。首先,通过单目摄像头获取前方车道的当前帧的原始图像。随后利用裁剪点,对原始图像进行裁剪,得到裁剪图像。接下来,分别对原始图像和裁剪图像进行特征提取,得到原图特征和裁剪图特征。为了充分利用裁剪图像中的信息,通过roialign运算基于裁剪点对原图特征进行处理,得到区域特征。然后,将裁剪图特征和区域特征进行特征融合,这一融合特征在后续处理中将有助于改善对远端车道线的识别,弥补由于缩放导致的图像细节丢失的问题。接着,对原图特征和融合特征进行共享特征处理,通过共享权重的卷积层进行卷积操作,得到车道线位置信息、预测裁剪点和车道线向量。车道线位置信息对车道线位置的描述、预测裁剪点对下一帧图像处理车道线向量用于聚类检测到的车道线的点是否属于同一条车道线。本发明,可以对远端车道线识别提升,通过将原图特征与裁剪图特征在感兴趣区域融合,能够改善单帧图像在车道线远端无法召回的问题。裁剪图特征的使用相当于使用长焦镜头获取的图像,使模型具有更好的远端车道线识别能力。本发明技术方案的实现,仅需一个前视摄像头采集模型所需的输入图像,相比多摄像头方案,硬件要求更为简单,无需相机的内外参。
1.一种基于单目摄像头的车道线检测的方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,在将所述原始图像通过裁剪点裁剪得到裁剪图像中,所述裁剪点为上一帧的图像处理得到的预测裁剪点。
3.根据权利要求2所述的方法,其特征在于,在初始帧的图像处理中,所述裁剪点为预设点。
4.根据权利要求1所述的方法,其特征在于,在分别对所述原始图像和所述裁剪图像进行特征提取得到原图特征和裁剪图特征中,通过卷积网络的卷积层对所述原始图像和所述裁剪图像进行特征提取。
5.根据权利要求1所述的方法,其特征在于,将所述裁剪图特征和所述区域特征进行特征融合得到融合特征包括:将所述区域特征的尺寸调整到与所述裁剪图特征相一致,再通过通道维度拼接形成所述融合特征。
6.根据权利要求1所述的方法,其特征在于,对所述原图特征和所述融合特征进行共享特征处理包括:使用共享权重的卷积层对所述原图特征和所述融合特征进行卷积操作。
7.根据权利要求1所述的方法,其特征在于,对所述原图特征和所述融合特征进行共享特征处理得到车道线位置信息、预测裁剪点和车道线向量包括:对所述原图特征和所述融合特征进行共享特征处理得到原图向量和裁剪图向量,再对所述原图向量和所述裁剪图向量进行特征联合训练得到所述车道线向量。
8.一种基于单目摄像头的车道线检测的系统,其特征在于,包括单目摄像头和控制器,其中,
9.一种存储介质,其特征在于,所述存储介质中存储有计算机程序,其中,所述计算机程序被设置为运行时执行权利要求1至7任一项中所述的方法。
10.一种电子装置,包括存储器和处理器,其特征在于,所述存储器中存储有计算机程序,所述处理器被设置为运行所述计算机程序以执行权利要求1至7任一项中所述的方法。
