本技术涉及图像处理,尤其涉及一种生成包括道路分割信息的栅格地图方法及相关装置。
背景技术:
1、生成占据栅格地图是自动驾驶、机器人导航等领域中关键的感知任务之一。占据栅格地图通常是一个网格化的表示,其中每个网格表示地图上的一个区域,并用来表示该区域是否被占据。激光雷达是生成高质量占据栅格地图的重要传感器。现代激光雷达提供高密度、高精度的距离信息,使得生成详细的栅格地图成为可能。但利用激光雷达获取场景点云信息存在着成本高、标注困难、场景覆盖不全等一系列问题。
2、现有的栅格地图生成方法在处理同一平面上但结构不同的两部分时可能面临难以准确区分的挑战。这问题在传统方法中尤为显著,特别是对于地平面上的道路和草坪等结构,因为它们被认为是同一平面的地面。传统栅格地图生成方法往往难以捕捉到地面上不同结构的细微差别,导致对这些结构的区分性能不佳。这一问题主要源于传统栅格地图生成方法过于简化,将同一平面上不同的地物视为相似的栅格。由于这些方法通常仅考虑地物的几何信息,而忽略了它们的语义信息,因此无法有效地区分拥有相似几何形状但不同语义属性的区域,导致生成的栅格地图准确性不高。
技术实现思路
1、本技术提供了一种生成包括道路分割信息的栅格地图方法及相关装置,用于改善现有技术存在同一地面平面上不同结构难以准确区分,导致生成的栅格地图准确性不高的技术问题。
2、有鉴于此,本技术第一方面提供了一种生成包括道路分割信息的栅格地图方法,包括:
3、根据目标设备上双目相机采集的彩色图像获取深度图像,并根据所述深度图像生成原始点云数据;
4、根据所述深度图像获取表面法向信息,根据所述彩色图像和所述表面法向信息进行语义分割,获取所述彩色图像中的道路可通行区域;
5、提取所述彩色图像中的道路可通行区域的二维轮廓点;
6、根据相机参数和所述深度图像将所述二维轮廓点转换为世界坐标系下的三维轮廓点;
7、对所述三维轮廓点进行边缘连接,得到道路轮廓,并根据所述道路轮廓确定所述原始点云数据中处于所述道路轮廓内的点云,得到三维道路点云区域;
8、从所述原始点云数据中去除所述三维道路点云区域,基于剩余点云投影生成栅格地图。
9、可选的,所述根据所述彩色图像和所述表面法向信息进行语义分割,获取所述彩色图像中的道路可通行区域,包括:
10、通过第一编码器对所述彩色图像进行特征提取,得到第一特征;
11、通过第二编码器对所述表面法向信息进行特征提取,得到第二特征;
12、对所述第一特征和所述第二特征进行特征融合,并通过解码器对得到的融合特征进行特征提取,得到解码特征图;
13、通过激活函数层对所述解码特征图进行特征映射,得到概率图;
14、通过所述概率图获取所述彩色图像中的道路可通行区域。
15、可选的,所述提取所述彩色图像中的道路可通行区域的二维轮廓点,之后还包括:
16、判断所述二维轮廓点的数量是否超过预置数量阈值,若是,则对所述二维轮廓点进行降采样。
17、可选的,所述根据相机参数和所述深度图像将所述二维轮廓点转换为世界坐标系下的三维轮廓点,包括:
18、根据相机光心的像素坐标、相机的焦距和所述深度图像将所述二维轮廓点转换为相机坐标系下的归一化坐标;
19、基于所述深度图像将所述二维轮廓点在相机坐标系下的归一化坐标转换为相机坐标系下的三维坐标;
20、将所述二维轮廓点在相机坐标系下的三维坐标转换为齐次坐标形式,得到所述二维轮廓点在相机坐标系下的齐次坐标;
21、根据相机的外参将所述二维轮廓点在相机坐标系下的齐次坐标转换为世界坐标系下的三维坐标,得到世界坐标系下的三维轮廓点。
22、可选的,所述对所述三维轮廓点进行边缘连接,得到道路轮廓,包括:
23、将所述三维轮廓点中z坐标值不在阈值范围内的点进行删除,得到筛选后的三维轮廓点;
24、将筛选后的三维轮廓点按照在所述彩色图像中的位置进行排序,得到排序后三维轮廓点;
25、在所述排序后三维轮廓点中确定各轮廓点的相邻轮廓点,将所述排序后三维轮廓点中各轮廓点与对应的相邻轮廓点连接成线段或曲线;
26、通过距离阈值对连接的线段或曲线进行整合,并将连接的轮廓点基于顺时针或逆时针方向形成封闭的轮廓,得到道路轮廓。
27、可选的,所述根据所述道路轮廓确定所述原始点云数据中处于所述道路轮廓内的点云,得到三维道路点云区域,包括:
28、对所述原始点云数据中的各点云生成一条射线,计算各点云的射线与所述道路轮廓的交点数量;
29、判断各点云对应的交点数量是否为奇数,若是,则判定该点云为处于所述道路轮廓内的点云,若否,则判定该点云为处于所述道路轮廓外的点云;
30、结合所述道路轮廓和所述道路轮廓内的点云得到三维道路点云区域。
31、可选的,所述从所述原始点云数据中去除所述三维道路点云区域,基于剩余点云投影生成栅格地图,包括:
32、从所述原始点云数据中去除所述三维道路点云区域,得到剩余点云;
33、去除所述剩余点云中高度大于高度阈值的点云,得到目标点云;
34、对所述目标点云进行体素滤波,得到滤波后点云;
35、对所述滤波后点云进行投影,生成栅格地图。
36、本技术第二方面提供了一种生成包括道路分割信息的栅格地图装置,包括:
37、获取单元,用于根据目标设备上双目相机采集的彩色图像获取深度图像,并根据所述深度图像生成原始点云数据;
38、分割单元,用于根据所述深度图像获取表面法向信息,根据所述彩色图像和所述表面法向信息进行语义分割,获取所述彩色图像中的道路可通行区域;
39、提取单元,用于提取所述彩色图像中的道路可通行区域的二维轮廓点;
40、转换单元,用于根据相机参数和所述深度图像将所述二维轮廓点转换为世界坐标系下的三维轮廓点;
41、连接单元,用于对所述三维轮廓点进行边缘连接,得到道路轮廓,并根据所述道路轮廓确定所述原始点云数据中处于所述道路轮廓内的点云,得到三维道路点云区域;
42、投影单元,用于从所述原始点云数据中去除所述三维道路点云区域,基于剩余点云投影生成栅格地图。
43、本技术第三方面提供了一种电子设备,所述设备包括处理器以及存储器;
44、所述存储器用于存储程序代码,并将所述程序代码传输给所述处理器;
45、所述处理器用于根据所述程序代码中的指令执行第一方面任一种所述的生成包括道路分割信息的栅格地图方法。
46、本技术第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质用于存储程序代码,所述程序代码被处理器执行时实现第一方面任一种所述的生成包括道路分割信息的栅格地图方法。
47、从以上技术方案可以看出,本技术具有以下优点:
48、本技术提供了一种生成包括道路分割信息的栅格地图方法,包括:根据目标设备上双目相机采集的彩色图像获取深度图像,并根据深度图像生成原始点云数据;根据深度图像获取表面法向信息,根据彩色图像和表面法向信息进行语义分割,获取彩色图像中的道路可通行区域;提取彩色图像中的道路可通行区域的二维轮廓点;根据相机参数和深度图像将二维轮廓点转换为世界坐标系下的三维轮廓点;对三维轮廓点进行边缘连接,得到道路轮廓,并根据道路轮廓确定原始点云数据中处于道路轮廓内的点云,得到三维道路点云区域;从原始点云数据中去除三维道路点云区域,基于剩余点云投影生成栅格地图。
49、本技术中,通过双目相机采集的彩色图像获取深度图像,进而生成原始点云数据,通过彩色图像和基于深度图像获取的表面法向信息进行语义分割,获取道路可通行区域,进而获取三维道路点云区域,实现了在生成栅格地图前提前分割出了道路可通行区域,有效解决了同一地面平面上不同结构难以准确区分的问题,从而提高了栅格地图的准确性。
1.一种生成包括道路分割信息的栅格地图方法,其特征在于,包括:
2.根据权利要求1所述的生成包括道路分割信息的栅格地图方法,其特征在于,所述根据所述彩色图像和所述表面法向信息进行语义分割,获取所述彩色图像中的道路可通行区域,包括:
3.根据权利要求1所述的生成包括道路分割信息的栅格地图方法,其特征在于,所述提取所述彩色图像中的道路可通行区域的二维轮廓点,之后还包括:
4.根据权利要求1所述的生成包括道路分割信息的栅格地图方法,其特征在于,所述根据相机参数和所述深度图像将所述二维轮廓点转换为世界坐标系下的三维轮廓点,包括:
5.根据权利要求1所述的生成包括道路分割信息的栅格地图方法,其特征在于,所述对所述三维轮廓点进行边缘连接,得到道路轮廓,包括:
6.根据权利要求1所述的生成包括道路分割信息的栅格地图方法,其特征在于,所述根据所述道路轮廓确定所述原始点云数据中处于所述道路轮廓内的点云,得到三维道路点云区域,包括:
7.根据权利要求1所述的生成包括道路分割信息的栅格地图方法,其特征在于,所述从所述原始点云数据中去除所述三维道路点云区域,基于剩余点云投影生成栅格地图,包括:
8.一种生成包括道路分割信息的栅格地图装置,其特征在于,包括:
9.一种电子设备,其特征在于,所述设备包括处理器以及存储器;
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质用于存储程序代码,所述程序代码被处理器执行时实现权利要求1-7任一项所述的生成包括道路分割信息的栅格地图方法。
