本发明属于土木工程技术领域，尤其涉及一种基于多视角深度学习的路面宏观纹理重建方法。
背景技术：
路面宏观纹理的三维重建是路面性能评估的重要环节；现阶段，三维路面宏观纹理模型主要用于路面排水性能、抗滑性能、耐久性的预测，也用于车辆油耗、胎噪、震动的分析。良好的路面宏观纹理是高质量路面不可或缺的性能。
准确高效的路面宏观纹理三维重建是路面性能评估的关键点之一。目前针对路面宏观纹理三维重建的方法主要包括手持式格栅扫描仪测量法和阵列式红外激光扫描法。然而这些测试法操作繁琐，技术要求高，而且检测效率低，检测过程需要封闭交通，从而严重影响了路面性能评估的效率，进行影响公路通行效率，不利于我国的路面检测大范围推广。
多视角的路面图像可以准确的表征路面宏观纹理；然而由于路面材料和图像采集条件的复杂性和多样性，多视角的路面图像很难直接用于路面宏观纹理三维重建。
技术实现要素：
针对现有沥青路面宏观纹理重建方法的不足，本发明提供了一种基于多视角深度学习的路面宏观纹理重建方法，将深度学习技术和多视角融合技术应用于路面宏观纹理重建，利用多视角路面图像建立路面宏观纹理三维模型，大大提高了沥青路面宏观纹理检测的效率，有利于提高路面性能检测工程的效率。
为了解决上述技术问题，本发明通过以下技术方案予以实现：
一种基于多视角深度学习的路面宏观纹理重建方法，包括：
建立路面信息数据集d＝{d1,…,dn}，n是路面信息数据集中的样本数量；
根据路面信息数据集建立基于单视角路面图像的深度学习结构s；
根据深度学习结构s建立多视角融合单元mu；
根据路面信息数据集d和梯度下降算法进行深度学习结构s和多视角融合单元mu的端对端训练，得到多视角深度学习结构；
采用训练完成的多视角深度学习结构生成待检测沥青路面区域的宏观纹理模型。
进一步地，路面信息数据集d中任一路面信息数据样本di包括一个路面宏观纹理三维点云数据包yi和一个路面多视角图像数据包xi，路面多视角图像数据包xi和路面宏观纹理三维点云数据包yi所表征的路面区域相同，i＝1,…,n且n>2000；
路面宏观纹理三维点云数据包
路面多视角图像数据包
进一步地，深度学习结构s用于实现xi中任意一个视角路面图像xij和yi的映射，i＝1,…,n，j＝1,…,car(xi)，即
进一步地，深度学习结构s映射xi中全部单一视角图像的路面宏观纹理三维点云数据
进一步地，多视角融合单元mu用于融合基于不同路面视角图像的路面宏观纹理重建模型；
多视角融合单元mu通过如下公式获得多视角融合的路面宏观纹理重建模型的概率分布集合
上述公式将基于多视角图像数据包xi的第j个和第j-1个视角的路面宏观纹理重建模型的概率分布进行了融合，从而逐步实现全部基于单一视角路面图像的路面宏观纹理重建模型的融合；
其中，式(3a)定义了基于xi第1个视角的路面宏观纹理重建模型任一空间网格的概率分布，
进一步地，深度学习结构s由编码器a、特征映射单元f、解码器d和决策器dm组成；
编码器a的输入是xi中第j个视角采集到的路面区域图像xij，编码器a的输出是xij的特征矩阵a(xij)；编码器a的输入和输出之间包括若干个卷积层，xij依次通过这些卷积层，从而获得输出a(xij)；
特征映射单元f的输入是编码器a的输出a(xij)，特征映射单元f的输出是xij的特征矩阵a(xij)对应的特征向量f(xij)；特征映射单元f的输入和输出之间包括一个全连接层，全连接层的神经元数量是特征向量的基car(f(xij))；在特征映射单元f中，xij的特征矩阵a(xij)通过全连接层获得输出f(xij)；
解码器d的输入是特征映射单元f的输出f(xij)，解码器d的输出是解码后的特征向量
决策器dm的输入是
进一步地，根据路面信息数据集d和梯度下降算法进行深度学习结构s和多视角融合单元mu的端对端训练过程如下：
(1)随机选取路面信息数据集d中一组路面信息数据样本di，i＝1,…,n；di包括一个路面宏观纹理三维点云数据包yi和一个yi对应路面区域的多视角图像数据包xi；
(2)使用深度学习结构s和多视角融合单元mu计算获得基于xi中全部car(xi)个视角的路面宏观纹理三维点云数据
(3)使用如下公式计算
式中：
(4)由于多视角融合单元mu中不存在需要调节的权值和偏值，仅采用如下公式将误差传递至深度学习结构s的决策器dm
重复上述流程(1)至(4)，直到
与现有技术相比，本发明至少具有以下有益效果：
(1)本发明利用多视角路面图像重建了三维路面宏观纹理模型，使得三维路面宏观纹理的测量不再依赖于3d红外扫描仪，有利于提高路面宏观纹理数据的采集，对于提高路面病害和性能检测的效率具有积极的意义。
(2)本发明采用了深度学习技术和路面图像进行三维路面宏观纹理模型重建，避免了载具震动和路面材料对数据准确性的负面影响。
(3)本发明结合概率融合技术和深度学习技术实现了不同视角的三维路面宏观纹理模型的融合，从而提高了最终模型的准确性和鲁棒性。
为使本发明的上述目的、特征和优点能更明显易懂，下文特举较佳实施例，并配合所附附图，作详细说明如下。
附图说明
为了更清楚地说明本发明具体实施方式中的技术方案，下面将对具体实施方式描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明采用的多视角深度学习示意图；
图2为本发明自主开发的路面图像采集设备示意图；
图3为本发明采用的基于单视角路面图像的深度学习结构s；
图4为本发明实施例中多视角深度学习训练过程中
图5为本发明实施例中基于多视角图像的路面宏观纹理三维模型的示例；
图6为本发明实施例中使用测试集计算得到的iou结果。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
深度学习技术是一种高效的图像处理和特征表达技术，目前已经开发出多个模型并应用于各个领域，比如深度学习网络可用于对图像深度特征进行提取并分析。多模型融合技术是依据多个相关模型的概率分布，将它们组合成一个更加准确的新模型的技术，例如将基于不同视角的三维模型进行融合。因此，结合深度学习技术和多模型融合技术，提出多视角深度学习技术，利用多视角路面图像，重建三维路面宏观纹理模型，对于准确高效地评估路面性能具有重要意义。
本实施例提供一种基于多视角深度学习的沥青路面宏观纹理重建方法，具体的，本实施例采用的多视角深度学习框架示意图如图1所示，具体包括以下步骤：
步骤1，采集建立路面信息数据集d＝{d1,…,dn}，n是数据集中的样本数量，具体实施例中n＝812；路面信息数据集d中任一路面信息数据样本di包括一个路面宏观纹理三维点云数据包yi和一个路面多视角图像数据包xi。路面多视角图像数据包xi和路面宏观纹理三维点云数据包yi所表征的路面区域相同，i＝1,…,n且n>2000。
其中，路面宏观纹理三维点云数据包
其中，路面多视角图像数据包
步骤2，参考图3，根据路面信息数据集建立基于单视角路面图像的深度学习结构s，用于实现xi中任意一个视角路面图像xij和yi的映射，i＝1,…,n，j＝1,…,car(xi)，即
其中，编码器a的输入是xi中任意一个视角路面图像，例如第j个视角采集到的路面区域图像xij，编码器a的输出是xij的特征矩阵a(xij)；编码器a的输入和输出之间包括若干个卷积层，xij依次通过这些卷积层，从而获得输出a(xij)；本实施例中卷积层数量为8。
其中，特征映射单元f的输入是编码器a的输出a(xij)，输出是xij的特征矩阵a(xij)对应的特征向量f(xij)；特征映射单元f的输入和输出之间包括一个全连接层，全连接层的神经元数量是特征向量的基car(f(xij))，本实施例中神经元数量是256；在特征映射单元f中，xij的特征矩阵a(xij)通过全连接层获得输出f(xij)。
其中，解码器d的输入是特征映射单元f的输出f(xij)，解码器d的输出是解码后的特征向量
表1路面宏观纹理重建模型s的各结构层参数
其中，决策器dm的输入是
式中：relu(x)＝max(0,x)是整流函数；
其中，上述编码器a卷积层、特征映射单元f全连接层、解码器d转置卷积层、决策器dm非线性映射层和softmax层中的权重和偏值在步骤2中随机赋值，赋值范围[0,1]；上述权重和偏值参数在步骤4中将通过梯度下降算法进行调整。
步骤3，根据深度学习结构s建立多视角融合单元mu，用于融合基于不同路面视角图像的路面宏观纹理重建模型。对于路面信息数据集d的第i个路面信息数据样本di(i＝1,…,n)，其包括一个路面宏观纹理三维点云数据包
上述公式将基于多视角图像数据包xi的第j个和第j-1个视角的路面宏观纹理重建模型的概率分布进行了融合，从而逐步实现全部car(xi)个基于单一视角路面图像的路面宏观纹理重建模型的融合。
其中，式(3a)定义了基于xi第1个视角的路面宏观纹理重建模型任一空间网格的概率分布，
其中，式(3b)和式(3c)定义了融合xi中基于第j个和第j-1个视角的路面宏观纹理重建模型任一空间网格的概率分布的方法；例如，使用式(3b)，将第2个视角的路面宏观纹理重建模型第l个空间网格的不存在路面宏观纹理的概率
其中，式(3d)定义了未正则化概率
步骤4，采用路面信息数据集d和梯度下降算法进行深度学习结构s和多视角融合单元mu的端对端训练，从而实现深度学习结构s四个结构的权值和偏值的调整；端对端训练过程如下：
(1)随机选取路面信息数据集d中一组路面信息数据样本，以di(i＝1,…,n)为例；n＝812；di(i＝1,…,n)包括一个路面宏观纹理三维点云数据包yi和一个yi对应路面区域的多视角图像数据包xi；
(2)使用深度学习结构s和多视角融合单元mu计算获得基于xi中全部car(xi)个视角的路面宏观纹理三维点云数据
(3)使用如下公式计算
式中：
(4)由于多视角融合单元mu中不存在需要调节的权值和偏值，仅采用如下公式将误差传递至深度学习结构s的决策器dm
(5)误差在深度学习结构s中编码器a卷积层、特征映射单元f全连接层、解码器d转置卷积层、决策器dm的传递分别与传统卷积神经网络中的卷积层、传统卷积神经网络中的全连接层、传统全卷积神经网络的转置卷积层、传统softmax层的误差传递方法相同；采用上述传递的误差，深度学习结构s中编码器a卷积层、特征映射单元f全连接层、解码器d转置卷积层、决策器dm的权值和偏值调整分别与传统卷积神经网络中的卷积层、传统卷积神经网络中的全连接层、传统全卷积神经网络的转置卷积层、传统softmax层的权值和偏值调整相同；
(6)重复上述流程(1)-(5)，直到
步骤5，给定待测量沥青路面区域的多视角路面图像，将每个视角的图像分别输入训练完成的深度学习结构s，获得一组若干个基于单一视角的待测量沥青路面区域的宏观纹理模型，模型数量与视角数相同；每个基于单一视角的待测量沥青路面区域的宏观纹理模型的表达形式是其全部空间网格不存在和存在路面宏观纹理的概率；将这组若干个宏观纹理模型输入多视角融合单元mu，输出了基于多视角的路面宏观纹理三维模型，其表达形式是其全部空间网格不存在和存在路面宏观纹理的正则化概率，从而实现路面宏观纹理模型重建；例如某个空间网格存在路面宏观纹理的正则化概率大于不存在路面宏观纹理的正则化概率，则判定该空间网格存在路面宏观纹理，反之则不存在。图5所示为18个定待测量沥青路面区域的宏观纹理重建结果。
步骤6，为验证本发明方法的准确性和稳定性，本实施例对本发明方法进行了验证：
(1)采集测试数据集d’＝{d’1,…,d’n’}，n’是测试数据集中的样本数量；测试数据集d’中任一路面信息数据样本d’i'(i'＝1,…,n’且n’＝300)包括一个路面宏观纹理三维点云数据包y’i和一个路面多视角图像数据包x’i。路面多视角图像数据包x’i和路面宏观纹理三维点云数据包y’i所表征的路面区域相同。路面宏观纹理三维点云数据包y’i通过手持式3d扫描仪扫描路面区域获得，扫描分辨率范围是50-70dpi。
(2)采用步骤5重建测试数据集中300个路面区域的宏观纹理模型，并采用公式(6)计算基于本方法重建的路面宏观纹理模型和基于三维扫描仪重建的路面宏观纹理模型的iou值
式中：vi',l.kk和
(3)参考图6进行本发明方法准确性和稳定性分析；图5为采用(1)中所述测试集计算得到的iou结果，iou测试值均大于0.65，说明本发明方法和基于70dpi及以下分辨率三维扫描仪重建的路面宏观纹理模型基本一致，凸显出无需高精度设备的辅助下即可高效准确地进行路面宏观纹理模型重建的优势。此外，本发明方法iou测试值在不同类型沥青路面基本保持一致，包括ac-13、ac-16、sbs改性ac-16、sma-13路面，这说明本发明方法在不同路面环境具有良好的稳定性。综上，本发明提出的基于多视角深度学习技术的路面宏观纹理重建方法具有良好的准确性和稳定性。
最后应说明的是：以上所述实施例，仅为本发明的具体实施方式，用以说明本发明的技术方案，而非对其限制，本发明的保护范围并不局限于此，尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，其依然可以对前述实施例所记载的技术方案进行修改或可轻易想到变化，或者对其中部分技术特征进行等同替换；而这些修改、变化或者替换，并不使相应技术方案的本质脱离本发明实施例技术方案的精神和范围，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应所述以权利要求的保护范围为准。
1.一种基于多视角深度学习的路面宏观纹理重建方法，其特征在于，包括：
建立路面信息数据集d＝{d1,…,dn}，n是路面信息数据集中的样本数量；
根据路面信息数据集建立基于单视角路面图像的深度学习结构s；
根据深度学习结构s建立多视角融合单元mu；
根据路面信息数据集d和梯度下降算法进行深度学习结构s和多视角融合单元mu的端对端训练，得到多视角深度学习结构；
采用训练完成的多视角深度学习结构生成待检测沥青路面区域的宏观纹理模型。
2.根据权利要求1所述的一种基于多视角深度学习的路面宏观纹理重建方法，其特征在于，路面信息数据集d中任一路面信息数据样本di包括一个路面宏观纹理三维点云数据包yi和一个路面多视角图像数据包xi，路面多视角图像数据包xi和路面宏观纹理三维点云数据包yi所表征的路面区域相同，i＝1,…,n且n>2000；
路面宏观纹理三维点云数据包
路面多视角图像数据包
3.根据权利要求2所述的一种基于多视角深度学习的路面宏观纹理重建方法，其特征在于，深度学习结构s用于实现xi中任意一个视角路面图像xij和yi的映射，i＝1,…,n，j＝1,…,car(xi)，即
4.根据权利要求3所述的一种基于多视角深度学习的路面宏观纹理重建方法，其特征在于，深度学习结构s映射xi中全部单一视角图像的路面宏观纹理三维点云数据
5.根据权利要求4所述的一种基于多视角深度学习的路面宏观纹理重建方法，其特征在于，多视角融合单元mu用于融合基于不同路面视角图像的路面宏观纹理重建模型；
多视角融合单元mu通过如下公式获得多视角融合的路面宏观纹理重建模型的概率分布集合
上述公式将基于多视角图像数据包xi的第j个和第j-1个视角的路面宏观纹理重建模型的概率分布进行了融合，从而逐步实现全部基于单一视角路面图像的路面宏观纹理重建模型的融合；
其中，式(3a)定义了基于xi第1个视角的路面宏观纹理重建模型任一空间网格的概率分布，
6.根据权利要求5所述的一种基于多视角深度学习的路面宏观纹理重建方法，其特征在于，深度学习结构s由编码器a、特征映射单元f、解码器d和决策器dm组成；
编码器a的输入是xi中第j个视角采集到的路面区域图像xij，编码器a的输出是xij的特征矩阵a(xij)；编码器a的输入和输出之间包括若干个卷积层，xij依次通过这些卷积层，从而获得输出a(xij)；
特征映射单元f的输入是编码器a的输出a(xij)，特征映射单元f的输出是xij的特征矩阵a(xij)对应的特征向量f(xij)；特征映射单元f的输入和输出之间包括一个全连接层，全连接层的神经元数量是特征向量的基car(f(xij))；在特征映射单元f中，xij的特征矩阵a(xij)通过全连接层获得输出f(xij)；
解码器d的输入是特征映射单元f的输出f(xij)，解码器d的输出是解码后的特征向量
决策器dm的输入是
7.根据权利要求6所述的一种基于多视角深度学习的路面宏观纹理重建方法，其特征在于，根据路面信息数据集d和梯度下降算法进行深度学习结构s和多视角融合单元mu的端对端训练过程如下：
(1)随机选取路面信息数据集d中一组路面信息数据样本di，i＝1,…,n；di包括一个路面宏观纹理三维点云数据包yi和一个yi对应路面区域的多视角图像数据包xi；
(2)使用深度学习结构s和多视角融合单元mu计算获得基于xi中全部car(xi)个视角的路面宏观纹理三维点云数据
(3)使用如下公式计算
式中：
(4)由于多视角融合单元mu中不存在需要调节的权值和偏值，仅采用如下公式将误差传递至深度学习结构s的决策器dm
重复上述流程(1)至(4)，直到
