本发明涉及地图构建,具体是涉及一种室内地图的构建方法、设备及存储介质。
背景技术:
1、扫地机器人、讲解机器人等高度依赖室内导航定位的设备依托于室内导航实现其作业,而室内导航包括室内模型构建、室内精确定位、室内路径规划,各环节紧密相关,缺一不可。其中,室内精确定位和室内路径规划又依托于室内地图的构建。现有技术多采用slam技术构建室内地图,slam技术是在机器人上设置激光传感器和视觉传感器,通过这两个传感器采集室内图像,再基于室内图像构建室内地图,而上述通过在机器人上设置传感器获得室内图像,属于低位图像(在低处拍摄到的室内图像),低位图像不能包括室内的全部物体,因此通过室内的低位图像构建的室内难以涵盖室内的所有物体的位置信息,即通过低位图像构建的室内地图准确性较差。而室内的高位图像(位于室内高处的摄像机拍摄的室内全景图像)虽然能够涵盖室内的全部物体,但是其分辨率却很低,通过低分辨率的高位图像构建的室内地图其准确性依然很低。
2、综上所述,现有技术构建出的室内地图准确性较低。
3、因此,现有技术还有待改进和提高。
技术实现思路
1、为解决上述技术问题,本发明提供了一种室内地图的构建方法、设备及存储介质,解决了现有技术构建出的室内地图准确性较低的问题。
2、为实现上述目的,本发明采用了以下技术方案:
3、第一方面,本发明提供一种室内地图的构建方法,其中,包括:
4、对室内的原始图像应用已训练的超分辨率重建模型,得到预处理图像,所述预处理图像的分辨率大于所述原始图像的分辨率;
5、对所述预处理图像应用已训练的语义分割模型,得到从所述预处理图像中分割出的语义分割图像;
6、依据所述语义分割图像和相机的位置,确定室内地图,所述室内地图用于映射所述语义分割图像的各个像素点在室内所对应的坐标系中的位置,所述相机用于采集所述原始图像。
7、在一种实现方式中,所述已训练的超分辨率重建模型的训练方式,包括:
8、对各个原始样本图像分别进行下采样,得到各个采样图像,所述采样图像的分辨率小于所述原始样本图像的分辨率;
9、确定各个所述采样图像的均值图像;
10、对每个所述采样图像和所述均值图像应用待训练的超分辨率重建模型,得到待训练的超分辨率重建模型输出的分辨率增强图像;
11、确定由所述原始样本图像与所述分辨率增强图像构成的第一损失函数;
12、依据所述第一损失函数,调整待训练的超分辨率重建模型的参数,得到已训练的超分辨率重建模型。
13、在一种实现方式中,所述语义分割模型所对应的第二损失函数的构建方式,包括:
14、从各个语义预测分割图像中筛选出吻合于语义真实分割图像的图像,记为语义预测真分割图像,所述语义预测分割图像为将原始训练图像输入至所述语义分割模型而得到的预测图像,所述语义真实分割图像为从所述原始训练图像进行语义分割得到的真实图像;
15、从各个语义预测分割图像中去除所述语义预测真分割图像,得到语义预测假分割图像;
16、依据所述语义预测真分割图像的数量与所述语义真实分割图像的数量的比值、所述语义预测假分割图像的数量与所述语义预测分割图像的数量的比值、所述语义预测假分割图像的数量与所述语义真实分割图像的数量,构建第二损失函数。
17、在一种实现方式中,所述依据所述语义分割图像和相机的位置,确定室内地图,所述室内地图用于映射所述语义分割图像的各个像素点在室内所对应的坐标系中的位置,所述相机用于采集所述原始图像,包括:
18、依据所述相机在室内所在的外部坐标系中的位置,建立所述相机内部的内部坐标系与所述外部坐标系的坐标映射关系;
19、依据所述原始图像的各个像素在所述内部坐标系上的坐标和所述坐标映射关系,得到所述原始图像的各个像素在所述外部坐标系上的坐标;
20、依据所述语义分割图像在所述原始图像上的位置和所述原始图像的各个像素在所述外部坐标系上的坐标,确定室内地图。
21、在一种实现方式中,所述依据所述语义分割图像在所述原始图像上的位置和所述原始图像的各个像素在所述外部坐标系上的坐标,确定室内地图,包括:
22、在所述原始图像上绘制若干个栅格,每个所述栅格内包含相同的像素数量;
23、依据所述语义分割图像所对应的栅格在所述原始图像上的位置和所述栅格内的各个像素在所述外部坐标系上的坐标,确定室内地图。
24、在一种实现方式中,所述语义分割模型包括:
25、压缩模块,用于压缩所述预处理图像的尺寸;
26、扩张卷积模块,输入端与所述压缩模块的输出端电连接;
27、图像合并模块,输入端与所述扩张卷积模块的输出端电连接,用于对所述扩张卷积模块输出的各个图像特征进行合并;
28、注意力模块,输入端与所述图像合并模块的输出端电连接,用于增强所述图像合并模块输出的图像特征;
29、1x1卷积模块,输入端与所述注意力模块的输出端电连接;
30、解码模块,输入端分别与所述压缩模块的输出端和所述解码模块的输出端电连接,用于提取所述预处理图像中待分割图像的特征;
31、预测模块,输入端与所述解码模块的输出端电连接,用于基于待分割图像的特征从所述预处理图像分割出语义分割图像。
32、在一种实现方式中,所述超分辨率重建模型,包括:
33、深度残差模块,用于提取所述原始图像的特征;
34、子像素卷积模块,用于放大所述深度残差模块提取的特征。
35、在一种实现方式中,所述原始图像为位于所述室内设定高度的相机拍摄的室内全景图像。
36、第二方面,本发明实施例还提供一种终端设备,其中,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的室内地图的构建程序,所述处理器执行所述室内地图的构建程序时,实现上述所述的室内地图的构建方法的步骤。
37、第三方面,本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有室内地图的构建程序,所述室内地图的构建程序被处理器执行时,实现上述所述的室内地图的构建方法的步骤。
38、有益效果:本发明首先对室内的原始图像应用已训练的超分辨率重建模型,得到预处理图像,以提升图像分辨率。然后对预处理图像应用已训练的语义分割模型,得到从预处理图像中分割出的语义分割图像(语义即室内各个物体的名称)。最后依据语义分割图像和相机的位置,确定室内地图。由于本发明先提升图像的分辨率,因此即使本发明的原始图像是高位图像(该图像涵盖室内的所有物体,但是分辨率低),基于原始图像也能够准确分割出语义分割图像,进而基于精准的语义分割图像获得准确的室内地图。综上所述,本发明结合超分辨率重建模型和语义分割模型,允许原始图像是室内高位图像,从而能够提升基于原始图像获得的室内地图的准确性。
1.一种室内地图的构建方法,其特征在于,包括:
2.如权利要求1所述的室内地图的构建方法,其特征在于,所述已训练的超分辨率重建模型的训练方式,包括:
3.如权利要求1所述的室内地图的构建方法,其特征在于,所述语义分割模型所对应的第二损失函数的构建方式,包括:
4.如权利要求1所述的室内地图的构建方法,其特征在于,所述依据所述语义分割图像和相机的位置,确定室内地图,所述室内地图用于映射所述语义分割图像的各个像素点在室内所对应的坐标系中的位置,所述相机用于采集所述原始图像,包括:
5.如权利要求4所述的室内地图的构建方法,其特征在于,所述依据所述语义分割图像在所述原始图像上的位置和所述原始图像的各个像素在所述外部坐标系上的坐标,确定室内地图,包括:
6.如权利要求1所述的室内地图的构建方法,其特征在于,所述语义分割模型包括:
7.如权利要求1所述的室内地图的构建方法,其特征在于,所述超分辨率重建模型,包括:
8.如权利要求1-7任一项所述的室内地图的构建方法,其特征在于:所述原始图像为位于所述室内设定高度的相机拍摄的室内全景图像。
9.一种终端设备,其特征在于,所述终端设备包括存储器、处理器及存储在所述存储器中并可在所述处理器上运行的室内地图的构建程序,所述处理器执行所述室内地图的构建程序时,实现如权利要求1-8任一项所述的室内地图的构建方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有室内地图的构建程序,所述室内地图的构建程序被处理器执行时,实现如权利要求1-8任一项所述的室内地图的构建方法的步骤。