本发明属于隧道检测技术领域，具体涉及一种基于双深度学习模型的隧道掉块或渗水检测及测量方法。
背景技术：
交通是国家发展的命脉，而交通建设的生产安全和运营安全就成为永恒的主题。隧道作为交通建设的重要组成部分，定期对隧道展开病害检测，早发现早预防能够对交通安全起到尤为重要的保障。
目前，基于深度学习的方法已成为检测领域的重要手段，这些方法往往应用于光线较好的自然环境下，且检测目标一般都比较明显，然而，面对隧道的复杂环境，检测效果就会相对降低，且目前的深度学习检测方法只有检测功能，对于进一步挖掘检测目标的信息还不完善。
基于图像处理的方法能够挖掘检测目标的信息，如计算目标面积、周长等，但图像处理方法易受噪声干扰，无法很好的挖掘复杂环境下检测目标的信息。
技术实现要素：
针对上述现有的图像处理方法易受噪声干扰的技术问题，本发明提供了一种检测准确率高、检测速度快、检测范围广的基于双深度学习模型的隧道掉块或渗水检测及测量方法。
为了解决上述技术问题，本发明采用的技术方案为：
基于双深度学习模型的隧道掉块或渗水检测及测量方法，包括下列步骤：
s1、采集隧道图像；
s2、创建基于深度学习用于目标检测的训练集；
s3、创建基于深度学习用于语义分割的训练集；
s4、训练目标检测模型；
s5、训练语义分割模型；
s6、使用训练好的目标检测模型对输入的待检测图像进行检测判断是否有掉块或渗水；
s7、将有掉块或渗水的图像输入到训练好的语义分割模型中进行图像分割；
s8、根据目标检测与语义分割模型预测图像类别、掉块或渗水位于图像中的坐标、掉块或渗水面积信息；
根据s7语义分割出的图像通过opencv库获取连通域，即掉块或渗水，并利用opencv库中icvprlabelcolor函数扫描图像，统计连通域中像素点个数，记作n，所述n为图像像素级面积；
计算近似实际掉块或渗水的面积，计算公式如下：
s＝α2*n
所述α表示图像中单像素值与实际相机到隧道壁距离的比值系数，所述α的取值为0.2mm/pixel；
s9、将模型预测的结果进行输出和保存，若预测结果中有掉块或渗水，则保存掉块或渗水图像名称、掉块或渗水位于图像中的坐标、掉块或渗水的面积；若预测结果中无掉块或渗水，则不保存。
所述s1中采用采集装置进行采集隧道图像，所述采集装置包括相机采集单元、系统控制单元、数据存储单元，所述系统控制单元包括嵌入式工控机、独立电池、tcp通信，所述数据存储单元包括2个4t的固态硬盘，所述相机采集单元通过tcp通信与系统控制单元中的嵌入式工控机进行连接，所述独立电池通过与嵌入式工控机连接，提供整个系统的供电，所述数据存储单元中的固态硬盘与嵌入式工控机连接，由嵌入式工控机控制数据的存储。
所述s2中创建基于深度学习用于目标检测的训练集的方法为：包括下列步骤：
s2.1、隧道图像处理：将采集到的图像通过滑动窗口的方式进行裁剪，裁剪出的图像大小均为416x416像素，并从所有采集并裁剪的图像中选出3万张掉块或渗水图像和3万张非掉块或渗水图像；
s2.2、通过lableme图像标注工具，将选出的掉块或渗水图像画框及填写类别，完成用于目标检测的标注工作，创建目标检测训练集结束。
所述s3中创建基于深度学习用于语义分割的训练集的方法为：包括下列步骤：
s3.1、隧道图像处理：将采集到的图像通过滑动窗口的方式进行裁剪，裁剪出的图像大小均为416x416像素，并从所有采集并裁剪的图像中选出3万张掉块或渗水图像和3万张非掉块或渗水图像；
s3.2、使用photoshop软件分别打开选出的掉块或渗水图像，利用软件的快速选择工具选出掉块或渗水区域，并将此区域记为cd，而非掉块或渗水区域记为cempty；
s3.3、将选出的cd区域颜色填充为白色，而cempty区域颜色填充为黑色；
s3.4、图像颜色填充完之后选择另存为，命名及格式与颜色填充前的图像保持一致；
s3.5、所有掉块或渗水图像填充完后，创建用于语义分割的训练集结束。
所述s4中训练目标检测模型的方法为：包括下列步骤：
s4.1、搭建用于目标检测的卷积神经网络结构：目标检测的卷积神经网络通过改进的yolov3结构来实现，在yolov3基础上增加一个level4大尺度输出，用于检测小掉块或渗水信息，增加的大尺度特征由level3输出通道的特征信息与特征提取网络darknet-53网络的浅层信息进行特征融合构成的；
s4.2、目标检测网络模型训练策略：目标检测网络模型使用随机梯度下降法进行优化求导，更新网络模型的参数，并使用批正则化加速网络训练过程；
s4.3、选择目标检测深度学习库：使用tensorflow网络框架实现上述用于目标检测的卷积神经网络结构，并根据创建的目标检测的训练集和选择的训练策略进行训练。
所述s5中训练语义分割模型的方法为：包括下列步骤：
s5.1、搭建用于语义分割的卷积神经网络结构：语义分割的卷积神经网络通过设计了一个7层的全卷积网络实现，分别由4个卷积层和3个反卷积层构成，卷积层l1～l4的卷积核大小(宽，高，通道数)依次为(7，7，32)，(5，5，64)，(3，3，128)，(1，1，128)；反卷积层l5～l7大小依次为(3，3，64)，(5，5，32)，(7，7，1)；设计的语义分割网络使用的激活函数为矫正线性单元，使用的损失函数loss为：
所述x表示人工标注的分割图像，所述y表示通过模型预测的分割图像；
s5.2、语义分割网络模型训练策略：语义分割网络模型使用随机梯度下降法进行优化求导，更新网络模型的参数，并使用批正则化加速网络训练过程；
s5.3、选择语义分割深度学习库：使用tensorflow网络框架实现上述用于语义分割的卷积神经网络结构，并根据创建的语义分割的训练集和选择的训练策略进行训练。
所述s6中检测判断是否有掉块或渗水的方法为：包括下列步骤：
s6.1、选择一张待检测的隧道图像，通过滑动窗口的方式将图像分割成416x416像素大小；
s6.2、将分割好的待检测图像输入到训练好的目标检测模型中，对待检测图像进行推理预测，输出预测结果并保存掉块或渗水位置坐标。
所述s7中图像分割的方法为：将s6预测结果有掉块或渗水的图像输入到训练好的语义分割模型中，对输入的图像进行推理，输出预测结果并保存。
本发明与现有技术相比，具有的有益效果是：
本发明采用深度学习算法与图像处理技术对隧道表面的掉块病害进行自动检测，与单纯图像处理技术相比，本发明检测准确率高，检测速度快；与纯深度学习算法相比，本发明除具有深度学习算法的优点外，还能进一步挖掘掉块或渗水面积信息。
附图说明
图1为本发明的工作流程图；
图2为本发明采集装置的结构示意图；
图3为本发明改进的yolov3网络结构图；
图4为本发明语义分割网络结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
基于双深度学习模型的隧道掉块或渗水检测及测量方法，如图1所示，包括下列步骤：
步骤1、采集隧道图像；
步骤2、创建基于深度学习用于目标检测的训练集；
步骤3、创建基于深度学习用于语义分割的训练集；
步骤4、训练目标检测模型；
步骤5、训练语义分割模型；
步骤6、使用训练好的目标检测模型对输入的待检测图像进行检测判断是否有掉块或渗水；
步骤7、将有掉块或渗水的图像输入到训练好的语义分割模型中进行图像分割；
步骤8、根据目标检测与语义分割模型预测图像类别、掉块或渗水位于图像中的坐标、掉块或渗水面积信息；
根据步骤7语义分割出的图像通过opencv库获取连通域，即掉块或渗水，并利用opencv库中icvprlabelcolor函数扫描图像，统计连通域中像素点个数，记作n，n为图像像素级面积；
计算近似实际掉块或渗水的面积，计算公式如下：
s＝α2*n
其中α表示图像中单像素值与实际相机到隧道壁距离的比值系数，α的取值为0.2mm/pixel；
步骤9、将模型预测的结果进行输出和保存，若预测结果中有掉块或渗水，则保存掉块或渗水图像名称、掉块或渗水位于图像中的坐标、掉块或渗水的面积；若预测结果中无掉块或渗水，则不保存。
进一步，如图2所示，步骤1中采用采集装置进行采集隧道图像，采集装置包括相机采集单元、系统控制单元、数据存储单元，系统控制单元包括嵌入式工控机、独立电池、tcp通信，数据存储单元包括2个4t的固态硬盘，相机采集单元通过tcp通信与系统控制单元中的嵌入式工控机进行连接，独立电池通过与嵌入式工控机连接，提供整个系统的供电，数据存储单元中的固态硬盘与嵌入式工控机连接，由嵌入式工控机控制数据的存储。
进一步，步骤2中创建基于深度学习用于目标检测的训练集的方法为：包括下列步骤：
步骤2.1、隧道图像处理：将采集到的图像通过滑动窗口的方式进行裁剪，裁剪出的图像大小均为416x416像素，并从所有采集并裁剪的图像中选出3万张掉块或渗水图像和3万张非掉块或渗水图像；
步骤2.2、通过lableme图像标注工具，将选出的掉块或渗水图像画框及填写类别，完成用于目标检测的标注工作，创建目标检测训练集结束。
进一步，步骤3中创建基于深度学习用于语义分割的训练集的方法为：包括下列步骤：
步骤3.1、隧道图像处理：将采集到的图像通过滑动窗口的方式进行裁剪，裁剪出的图像大小均为416x416像素，并从所有采集并裁剪的图像中选出3万张掉块或渗水图像和3万张非掉块或渗水图像；
步骤3.2、使用photoshop软件分别打开选出的掉块或渗水图像，利用软件的快速选择工具选出掉块或渗水区域，并将此区域记为cd，而非掉块或渗水区域记为cempty；
步骤3.3、将选出的cd区域颜色填充为白色，而cempty区域颜色填充为黑色；
步骤3.4、图像颜色填充完之后选择另存为，命名及格式与颜色填充前的图像保持一致；
步骤3.5、所有掉块或渗水图像填充完后，创建用于语义分割的训练集结束。
进一步，如图3所示，步骤4中训练目标检测模型的方法为：包括下列步骤：
步骤4.1、搭建用于目标检测的卷积神经网络结构：目标检测的卷积神经网络通过改进的yolov3结构来实现，在yolov3基础上增加一个level4大尺度输出，用于检测小掉块或渗水信息，增加的大尺度特征由level3输出通道的特征信息与特征提取网络darknet-53网络的浅层信息进行特征融合构成的；
步骤4.2、目标检测网络模型训练策略：目标检测网络模型使用随机梯度下降法进行优化求导，更新网络模型的参数，并使用批正则化加速网络训练过程；
步骤4.3、选择目标检测深度学习库：使用tensorflow网络框架实现上述用于目标检测的卷积神经网络结构，并根据创建的目标检测的训练集和选择的训练策略进行训练。
进一步，如图4所示，步骤5中训练语义分割模型的方法为：包括下列步骤：
步骤5.1、搭建用于语义分割的卷积神经网络结构：语义分割的卷积神经网络通过设计了一个7层的全卷积网络实现，分别由4个卷积层和3个反卷积层构成，卷积层l1～l4的卷积核大小(宽，高，通道数)依次为(7，7，32)，(5，5，64)，(3，3，128)，(1，1，128)；反卷积层l5～l7大小依次为(3，3，64)，(5，5，32)，(7，7，1)；设计的语义分割网络使用的激活函数为矫正线性单元，使用的损失函数loss为：
其中：x表示人工标注的分割图像，y表示通过模型预测的分割图像；
步骤5.2、语义分割网络模型训练策略：语义分割网络模型使用随机梯度下降法进行优化求导，更新网络模型的参数，并使用批正则化加速网络训练过程；
步骤5.3、选择语义分割深度学习库：使用tensorflow网络框架实现上述用于语义分割的卷积神经网络结构，并根据创建的语义分割的训练集和选择的训练策略进行训练。
进一步，步骤6中检测判断是否有掉块或渗水的方法为：包括下列步骤：
步骤6.1、选择一张待检测的隧道图像，通过滑动窗口的方式将图像分割成416x416像素大小；
步骤6.2、将分割好的待检测图像输入到训练好的目标检测模型中，对待检测图像进行推理预测，输出预测结果并保存掉块或渗水位置坐标。
进一步，步骤7中图像分割的方法为：将步骤6预测结果有掉块或渗水的图像输入到训练好的语义分割模型中，对输入的图像进行推理，输出预测结果并保存。
上面仅对本发明的较佳实施例作了详细说明，但是本发明并不限于上述实施例，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化，各种变化均应包含在本发明的保护范围之内。
1.基于双深度学习模型的隧道掉块或渗水检测及测量方法，其特征在于：包括下列步骤：
s1、采集隧道图像；
s2、创建基于深度学习用于目标检测的训练集；
s3、创建基于深度学习用于语义分割的训练集；
s4、训练目标检测模型；
s5、训练语义分割模型；
s6、使用训练好的目标检测模型对输入的待检测图像进行检测判断是否有掉块或渗水；
s7、将有掉块或渗水的图像输入到训练好的语义分割模型中进行图像分割；
s8、根据目标检测与语义分割模型预测图像类别、掉块或渗水位于图像中的坐标、掉块或渗水面积信息；
根据s7语义分割出的图像通过opencv库获取连通域，即掉块或渗水，并利用opencv库中icvprlabelcolor函数扫描图像，统计连通域中像素点个数，记作n，所述n为图像像素级面积；
计算近似实际掉块或渗水的面积，计算公式如下：
s＝α2*n
所述α表示图像中单像素值与实际相机到隧道壁距离的比值系数，所述α的取值为0.2mm/pixel；
s9、将模型预测的结果进行输出和保存，若预测结果中有掉块或渗水，则保存掉块或渗水图像名称、掉块或渗水位于图像中的坐标、掉块或渗水的面积；若预测结果中无掉块或渗水，则不保存。
2.根据权利要求1所述的基于双深度学习模型的隧道掉块或渗水检测及测量方法，其特征在于：所述s1中采用采集装置进行采集隧道图像，所述采集装置包括相机采集单元、系统控制单元、数据存储单元，所述系统控制单元包括嵌入式工控机、独立电池、tcp通信，所述数据存储单元包括2个4t的固态硬盘，所述相机采集单元通过tcp通信与系统控制单元中的嵌入式工控机进行连接，所述独立电池通过与嵌入式工控机连接，提供整个系统的供电，所述数据存储单元中的固态硬盘与嵌入式工控机连接，由嵌入式工控机控制数据的存储。
3.根据权利要求1所述的基于双深度学习模型的隧道掉块或渗水检测及测量方法，其特征在于：所述s2中创建基于深度学习用于目标检测的训练集的方法为：包括下列步骤：
s2.1、隧道图像处理：将采集到的图像通过滑动窗口的方式进行裁剪，裁剪出的图像大小均为416x416像素，并从所有采集并裁剪的图像中选出3万张掉块或渗水图像和3万张非掉块或渗水图像；
s2.2、通过lableme图像标注工具，将选出的掉块或渗水图像画框及填写类别，完成用于目标检测的标注工作，创建目标检测训练集结束。
4.根据权利要求1所述的基于双深度学习模型的隧道掉块或渗水检测及测量方法，其特征在于：所述s3中创建基于深度学习用于语义分割的训练集的方法为：包括下列步骤：
s3.1、隧道图像处理：将采集到的图像通过滑动窗口的方式进行裁剪，裁剪出的图像大小均为416x416像素，并从所有采集并裁剪的图像中选出3万张掉块或渗水图像和3万张非掉块或渗水图像；
s3.2、使用photoshop软件分别打开选出的掉块或渗水图像，利用软件的快速选择工具选出掉块或渗水区域，并将此区域记为cd，而非掉块或渗水区域记为cempty；
s3.3、将选出的cd区域颜色填充为白色，而cempty区域颜色填充为黑色；
s3.4、图像颜色填充完之后选择另存为，命名及格式与颜色填充前的图像保持一致；
s3.5、所有掉块或渗水图像填充完后，创建用于语义分割的训练集结束。
5.根据权利要求1所述的基于双深度学习模型的隧道掉块或渗水检测及测量方法，其特征在于：所述s4中训练目标检测模型的方法为：包括下列步骤：
s4.1、搭建用于目标检测的卷积神经网络结构：目标检测的卷积神经网络通过改进的yolov3结构来实现，在yolov3基础上增加一个level4大尺度输出，用于检测小掉块或渗水信息，增加的大尺度特征由level3输出通道的特征信息与特征提取网络darknet-53网络的浅层信息进行特征融合构成的；
s4.2、目标检测网络模型训练策略：目标检测网络模型使用随机梯度下降法进行优化求导，更新网络模型的参数，并使用批正则化加速网络训练过程；
s4.3、选择目标检测深度学习库：使用tensorflow网络框架实现上述用于目标检测的卷积神经网络结构，并根据创建的目标检测的训练集和选择的训练策略进行训练。
6.根据权利要求1所述的基于双深度学习模型的隧道掉块或渗水检测及测量方法，其特征在于：所述s5中训练语义分割模型的方法为：包括下列步骤：
s5.1、搭建用于语义分割的卷积神经网络结构：语义分割的卷积神经网络通过设计了一个7层的全卷积网络实现，分别由4个卷积层和3个反卷积层构成，卷积层l1～l4的卷积核大小(宽，高，通道数)依次为(7，7，32)，(5，5，64)，(3，3，128)，(1，1，128)；反卷积层l5～l7大小依次为(3，3，64)，(5，5，32)，(7，7，1)；设计的语义分割网络使用的激活函数为矫正线性单元，使用的损失函数loss为：
所述x表示人工标注的分割图像，所述y表示通过模型预测的分割图像；
s5.2、语义分割网络模型训练策略：语义分割网络模型使用随机梯度下降法进行优化求导，更新网络模型的参数，并使用批正则化加速网络训练过程；
s5.3、选择语义分割深度学习库：使用tensorflow网络框架实现上述用于语义分割的卷积神经网络结构，并根据创建的语义分割的训练集和选择的训练策略进行训练。
7.根据权利要求1所述的基于双深度学习模型的隧道掉块或渗水检测及测量方法，其特征在于：所述s6中检测判断是否有掉块或渗水的方法为：包括下列步骤：
s6.1、选择一张待检测的隧道图像，通过滑动窗口的方式将图像分割成416x416像素大小；
s6.2、将分割好的待检测图像输入到训练好的目标检测模型中，对待检测图像进行推理预测，输出预测结果并保存掉块或渗水位置坐标。
8.根据权利要求1所述的基于双深度学习模型的隧道掉块或渗水检测及测量方法，其特征在于：所述s7中图像分割的方法为：将s6预测结果有掉块或渗水的图像输入到训练好的语义分割模型中，对输入的图像进行推理，输出预测结果并保存。
技术总结