本发明涉及环境建模，具体涉及一种改进的地形物理特性推断框架的实现方法。
背景技术：
1、利用视觉建立具有三维空间信息、地形类型信息以及物理特性信息的多信息稠密地图对于工作于野外环境的移动机器人是非常重要的。for example,三维空间信息为移动机器人提供环境的几何特征，包括距离、坡度、高程等，能够帮助机器人避障和导航。地形类型作为语义信息可以帮助机器人进行更好的决策，比如远离危险的水坑、更谨慎地通过雪地等。物理特性比如摩擦特性可以帮助腿式机器人实现更好的身体平衡和在不同地形上行走更安全。通过刚度信息，他们可以调整更有利的腿部刚度以适应地形。根据物理特性信息，轮式机器人可以避免车轮过度打滑和下沉，这能节约能源、提高安全性并减少里程表误差。三维信息、地形类型和物理特性的组合有助于建立更好的环境模型，该模型可用于生成多元成本地图，并引导移动机器人进行更好的运动规划和身体控制。
2、考虑到具有三维信息、地形类型信息以及物理特性信息的多信息稠密地图对于移动机器人的重要性，研究者们为此开展了多个方面的研究。
3、在基于视觉的三维建图方面完成了很多工作。由于双目视觉的易用性和在室外的不受限制，而常成为在户外环境中视觉传感器的首选。一些研究人员使用双目相机为地面移动机器人比如地面无人车辆(ugv)，足式机器人建立稠密三维地图，从而帮助机器人自主导航。在一些面向室内场景中的工作中，rgb-d相机也常用来帮助机器人感知环境的三维信息。为降低硬件成本和传感器尺寸，一些基于单目视觉的三维重建方法也被提了出来。
4、上述研究不仅实现了对周围环境进行稠密建图，还致力于在地图中加入语义信息。这些工作大多通过将语义分割获取的像素级预测通过位姿变换投影到全局地图中，从而建立三维语义地图。语义地图可以为机器人自主运动和智能决策提供可依赖的信息。但是，这些研究都具有局限性。他们都是面向结构化环境的。而且进行语义建图的对象也都是具有特定形状或特定拓扑结构的物体，比如车，沙发，电脑等，而不是以纹理信息为特征的地形。事实上，地形的辨识要比这些物体要困难的多。
5、在图像的地形的辨识方面，学者们也贡献了大量的工作。在起初的研究中，设计了朴素的地形图像特征(比如颜色特征，形状)，然后基于传统决策模型(比如随机森林，svm)推断地形类别。鉴于深度学习在图像感知领域的优秀表现，一些学者开始建立大规模图像数据集，并设计了神经网络对图像按照地形进行分类。上述方法为视觉感知地形创造了良好的开端。这些方法都是面向地形分类任务，分类结果都是图像级的。但是，地形的边界信息是很重要的，可以为移动机器人的运动规划提供精确的工作空间，有助于机器人选择最优路径，达到最优状态。因此，有些学者提供了带有像素级地形标签的语义分割数据集，比如cocostuff、minc和pascal context。然而，这些数据集不是专门为地形分割建立的，有很多弊端，而且没有涉及到物理特性信息。目前对于地形分割和物理特性推断的最新的研究是专利申请号为cn202210784426.5的两阶段推断框架，该专利建立了面向野外地形的图像数据集，实现了从rgb图像中来预测地形、摩擦特性和刚度特性。但是该专利因为其高时间成本只是停留在了2d图像感知层面，不能直接用于移动机器人的实时感知任务中。
6、另外，现有技术中还通过基于多基线立体视觉系统对野外环境三维信息和地形类型的获取。但是该研究侧重于对特定的ugv进行导航时的综合可穿越性成本的分析，并没有对地形辨识进行深入研究，且不涉及对地面物理特性的估计。它仅基于一些简单特征比如颜色，以及传统分类算法对地形进行分类。
技术实现思路
1、本发明的目的在于提供一种改进的地形物理特性推断框架的实现方法及其系统，该方法和系统可以提高光照鲁棒性、降低时间成本、提升地形丰富度等方面，通过视觉获取野外地形的众多信息能够为移动机器人的安全性和适应性提供保障。
2、为解决上述问题，本发明所采用的技术方案如下：
3、一种改进的地形物理特性推断框架的实现方法，该方法包括以下步骤：建立用于地形分割的地形数据集，对地形数据集加入光照变化；构建基于terrainnet网络的地形语义分割网络，用来分割出rgb图像信息中不同的地面类型；以地形标签、光学特性和表面结构特性为输入，构建生成器，并以输出摩擦特性预测作为虚假值，以相应的摩擦等级和刚度等级作为输出值，建立从地面类型到物理特性的映射关系数据集；其中，以基线算法输出的摩擦特性预测作为真实值，以生成器输出的虚假值和地形语义分割网络的rgb图像组成的虚假样本对输入到判别器中，由判别器输出对应标签。
4、根据本发明提供的一种改进的地形物理特性推断框架的实现方法，若所述对地形数据集加入光照变化，包括：
5、进行随机颜色抖动，用于模拟真实世界的光照变化；其中，设置多条颜色抖动路线，每条颜色抖动路线包括亮度抖动、对比度抖动、饱和度抖动、色调抖动四个操作，每条路线的颜色抖动操作的顺序不同。
6、根据本发明提供的一种改进的地形物理特性推断框架的实现方法，所述以基线算法输出的摩擦特性预测作为真实值，包括：
7、构建terrainnet网络，提取图像光学特征和表面结构特征，基于提取到的图像光学特征和表面结构特征建立决策机制，以离散的方式描述摩擦特性和刚度特性，使用likert量表来判断数据集种不同状态下每个地形的摩擦和刚度等级；
8、以语义特征、光学特征和表面结构特征作为输入向量，以相应的摩擦特性预测作为输出的真实值。
9、根据本发明提供的一种改进的地形物理特性推断框架的实现方法，所述由判别器输出对应标签，包括：
10、由生成器输出的虚假值和地形语义分割网络的rgb图像组成的虚假样本对输入到判别器中，对应的输出标签为0，由决策机制输出的真实值和terrainnet网络的rgb图像组成真实样本对输入到判别器中，对应的输出标签为1。
11、根据本发明提供的一种改进的地形物理特性推断框架的实现方法，在生成器中，使用将多类交叉熵损失与判别器损失相结合的损失函数，表示为公式(1)：
12、lg＝lmce(iphy_fake,iphy_gt)+λ*[lbce(d(i,iphy_gt),1)+lbce(d(i,iphy_fake),0)] (1)
13、其中，lmce表示多类交叉熵损失，lbce表示二类交叉熵损失，i表示输入的rgb图像，iphy_fake表示由生成器输出的摩擦预测，iphy_gt表示由基线算法输出的摩擦预测；
14、公式(1)的第二项用于衡量判别器的鉴别真伪的能力，即判别器的损失函数如公式(2)所示：
15、ld＝lbce(d(i,iphy_gt),1)+lbce(d(i,iphy_fake),0) (2)。
16、根据本发明提供的一种改进的地形物理特性推断框架的实现方法，将采集到的雪地图像添加进地形数据集，并使用迁移学习技术让网络在小数量的雪数据的条件下适应目标雪环；其中，地形数据集的训练集和测试集的比例是4:1，包括有草地、土地、岩石、冰、水、柏油马路、雪地和背景等超级类别，并拥有草地、普通土地、疏松土地、泥地、枯草或落叶覆盖的土地、光滑岩石、平整岩石、粗糙表面岩石、干净冰面、脏冰面、水、干燥柏油马路、湿润柏油马路、雪地和背景等子类别。
17、根据本发明提供的一种改进的地形物理特性推断框架的实现方法，在地形语义分割网络中，将原terrainnet网络中的33个基本残差块按conv2_x、conv3_x、conv4_x、conv5_x分为4组，分别命名为block 1、block 2、block 3，使用长跳远连接将从block 1输出的特征图作为输入传递给其后面的每个block，并对其他block执行相同的操作，以通过接收浅层block的特征图来获得浅层的精细特征，并将浅层的精细特征传播到深层。
18、根据本发明提供的一种改进的地形物理特性推断框架的实现方法，在数据训练方面，针对地形语义分割网络善于学习地形纹理的特点设计有迁移学习方法，在迁移学习过程中，使用原数据集上的预训练权重来初始化网络，并将转置卷积层的权重随机初始化；冻结住浅层的权重，然后以预训练权重作为深层网络初始值，并只用雪地新数据对深层进行再训练；以这种方式，帮助网络尽快学习雪地的特征和驶离局部最低点；然后，再解冻浅层网络，用包含新数据的整个地形数据集对完整网络进行简单的微调。
19、根据本发明提供的一种改进的地形物理特性推断框架的实现方法，在确定在迁移学习中固定权重的层们，首先将地形语义分割网络在原数据集上进行训练并达到最佳状态；然后，对地形语义分割网络的每层的卷积核学到的内容进行可视化；
20、在进行迁移学习时，固定住block 3的第12个残差块之前的层的权重，并用雪地新数据对深层进行再训练。然后，再解冻浅层网络，用包含新数据的整个地形数据集对完整网络进行训练。
21、一种改进的地形物理特性推断框架的实现系统，其特征在于，包括：
22、数据集单元，建立用于地形分割的地形数据集，对地形数据集加入光照变化；
23、网络单元，构建基于terrainnet网络的地形语义分割网络，用来分割出rgb图像信息中不同的地面类型；
24、映射单元，以地形标签、光学特性和表面结构特性为输入，构建生成器，并以输出摩擦特性预测作为虚假值，以相应的摩擦等级作为输出值，建立从地面类型到物理特性的映射；
25、其中，以基线算法输出的摩擦特性预测作为真实值，以生成器输出的虚假值和地形语义分割网络的rgb图像组成的虚假样本对输入到判别器中，由判别器输出对应标签。
26、由此可见，相对于现有技术，本发明具有以下有益效果：
27、1、本发明对目前最先进的地形与物理特性推断算法进行大幅的改进，提出了一种光照鲁棒的、低时间成本的地形和物理特性推断方法，并引入了新的地形—雪，不仅提高了光照鲁棒性，增添了新的地形，而且大幅提高了算法的速度，大幅降低了原有算法的时间成本，满足了实时性要求，使得将其应用于实时建图任务成为可能。
28、2、本发明对基线算法的第一阶段和第二阶段均进行了加速，在保证terrainnet的基本架构不变的同时，广泛使用了瓶颈层和非对称卷积等轻量化技术，新的地形分割网络称为fast-terrainnet；对于高时间成本的第二阶段，本发明采用了一种基于gan的方式巧妙地替换掉了原来的决策机制。这种方式不仅避免了由于块操作而带来的时间代价，而且通过对抗训练提高了预测与真值之间的高阶一致性。
29、3、本发明对网络的每层的卷积核学到的内容进行了可视化的分析，采用了根据卷积核的输出不断优化输入图像的方式，获取最能反映该卷积核功能的重建图像。通过可视化，确定网络中从浅层通用特征到深层特定特征的过渡层位置，从而确定在迁移学习的时候对前多少层的权重进行固定。
30、下面结合附图和具体实施方式对本发明作进一步详细说明。
1.一种改进的地形物理特性推断框架的实现方法，其特征在于，该方法包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，所述对地形数据集加入光照变化，包括：
3.根据权利要求1所述的方法，其特征在于，所述以基线算法输出的摩擦特性预测作为真实值，包括：
4.根据权利要求1所述的方法，其特征在于，所述由判别器输出对应标签，包括：
5.根据权利要求4所述的方法，其特征在于：
6.根据权利要求1所述的方法，其特征在于，还执行：
7.根据权利要求1所述的方法，其特征在于，：
8.根据权利要求7所述的方法，其特征在于：
9.根据权利要求8所述的方法，其特征在于，还执行：
10.一种改进的地形物理特性推断框架的实现系统，其特征在于，包括：
