本发明属于水工隧洞缺陷检测，具体涉及一种基于多任务约束深度学习的水工隧洞缺陷检测方法。
背景技术：
1、具有输(引)水、泄水等功能的水工隧洞是水利水电枢纽工程的重要建筑物型式之一，特别是地质条件恶劣、水力条件复杂的长距离水工隧洞，水工隧洞在保障水利水电枢纽工程安全运行、综合利用效益充分发挥上具有重要的作用。但是，长期运行后隧洞衬砌结构受复杂环境条件影响易产生裂缝、冲蚀、剥落等病害缺陷，如不及时检测发现并加以修补，会造成隧洞破损垮塌、渗漏严重等事故，威胁工程的安全稳定运行。因此，迫切需要研究长距离水工隧洞缺陷检测及修补加固等安全保障技术。
2、传统检测手段通常依靠人工目视和测量仪器相结合的方式进行巡检，存在工作量大、耗时耗力、可靠性低、人员安全风险高等实际问题。随着无人装备技术以及摄影测量遥感技术的发展，高清影像获取及数字图像处理技术日益成熟，基于经典图像处理和深度学习的水工隧洞缺陷检测方法已成为水工隧洞安全保障的重要技术手段。就基于经典图像处理的方法而言，它依赖于人工设计的分类算法，对于可人工定义和设计的特定场景的检测任务的检测精度更高，但具有泛化性弱、鲁棒性差、调参过程复杂等问题。
3、而基于深度学习的方法可通过数据学习获得更加丰富的图像特征和更高的检测准确率，如yolo，centernet，r-cnn和faster r-cnn等算法，识别精度和效率得到大幅提高，同时迁移能力和泛化能力更强。但就目前而言，基于深度学习的裂缝检测方法在大型水工隧洞工程实际场景中的应用仍存在不足，主要原因如下：(1)由于隧洞缺陷影像较少，数据集建设工作不全面，模型训练时导致模型学习到裂缝出现的位置、与其他目标的关系等裂缝无关的“片面信息”，最终导致模型泛化性不高，直接用大坝裂缝或其他混凝土裂缝缺陷数据集训练得到的深度学习模型检测精度不高；(2)隧洞缺陷数据种类多样性不足，相关研究中仅有部分隧洞裂缝数据集，仍欠缺渗水、破损、掉块、冲蚀、剥落、塌方、析钙等数据库，欠缺隧洞其他缺陷类型深度学习算法；(3)水工隧洞属于长距离、无照明的密闭空间，隧洞混凝土衬砌运行环境阴暗潮湿，混凝土表面背景纹理复杂，裂缝大多比较细小，裂缝与周边混凝土的差异不明显，实际应用中需要建立大量隧洞缺陷测试数据、模型训练时间更长、难度更大、检测效率更低。
技术实现思路
1、针对现有技术的不足，本发明目的在于提供一种基于多任务约束深度学习的水工隧洞缺陷检测方法。本发明通过提出多任务约束的特征金字塔模块，在目标检测的定位、分类约束基础上，增加特征到影像恢复的约束，从而解决了现有技术因部分水工隧洞缺陷样本稀少而引发的特征提取不鲁棒的问题，克服现有数字图像处理裂缝检测技术检测效率和精度的不足，在实现隧洞衬砌裂缝、渗水、掉块、冲蚀、剥落、塌方、析钙等缺陷同时识别的基础上，进一步提高了缺陷检测的鲁棒性和识别精度。
2、为解决上述技术问题，本发明通过下述技术方案实现：
3、一种基于多任务约束深度学习的水工隧洞缺陷检测方法，包括如下步骤：
4、s1：通过无人机、无人车等无人装备携带照明及高清图像采集设备拍摄获取隧洞衬砌混凝土缺陷，并构建缺陷数据集；
5、s2：通过像素级标注软件对水工隧洞缺陷数据集进行标注，并按比例将水工隧洞缺陷数据集划分为训练集、测试集；
6、s3：构建初始多任务约束faster r-cnn模型，设置初始参数待后续迭代更新；
7、s4：利用训练集样本，迭代更新多任务约束的faster r-cnn模型，并通过计算损失函数来调整模型参数；
8、s5：每步迭代更新多任务约束faster r-cnn模型后，利用测试集对更新的训练模型进行测试，得到识别准确率达到预设值的水工隧洞缺陷检测模型后即可停止迭代；
9、s6：利用获得的水工隧洞缺陷检测模型对无人装备新获取的水工隧洞图像进行识别，得到缺陷检测结果。
10、优选地，步骤s1中由于长距离隧洞一般内部无照明系统且光线黑暗，采用无人装备进行图像采集时，需同时配备大功率照明系统，将黑暗光线环境调整为日光条件，确保采集到的图像清晰完整。经大量隧洞现场试验，提出所需最小光照总功率经验公式，光照总功率p＝d×ξ，d为隧洞直径(设宽度与高度近似相等)，ξ为比例系数，可取30～40。同时缺陷数据集应覆盖水工隧洞各类缺陷，包括裂缝、渗水、破损、掉块、冲蚀、剥落、塌方、析钙等，以便水工隧洞缺陷检测模型可同时、高精度地识别各类缺陷，以满足隧洞巡检实际需求。
11、优选地，步骤s2中在数据集数量较小时，数据集中训练集和测试集的比例可设置为1:1～4:1，应用中可根据实际样本数量选择合适的比例。
12、优选地，步骤s3中faster r-cnn模型的具体构建过程为：
13、通过在目标检测的定位、分类约束基础上，对经典faster r-cnn增加深度特征编解码目标分类约束，构建多任务约束的faster r-cnn训练模型，其中深度特征编解码约束由4个反池化层、4个卷积层组成，用于将faster r-cnn提取的多尺度特征还原恢复为原始输入图像，迫使网络学习图像的语义信息(包括检测目标的类别、覆盖区域和周围环境信息)，避免由于样本稀缺造成的网络学习不充分问题。
14、由于隧洞缺陷影像较少，模型泛化性不高，检测精度和效率低等问题，步骤3在经典faster r-cnn模型中增加多任务约束特征金字塔模块，引入了图像恢复或图像信息重建约束，迫使模型学习训练数据集的“全面语义信息”，及增加目标检测的定位约束、分类约束以及深度特征编解码约束，避免由于数据集不全面而仅学习缺陷片面知识，提升缺陷检测精度。传统的faster r-cnn模型主要包括特征金字塔网络、区域提议网络和头部网络三个部分，将resnet50和特征金字塔网络结合组成特征提取模块，对于输入图像，使用resnet50提取出特征图，送入特征金字塔网络，输出含有定位信息和语义信息的特征图集合。多任务约束的特征提取模型与经典faster r-cnn特征金字塔网络相比，多了一个图像复原分支，最终的损失函数也增加了编解码恢复总损失。
15、优选地，步骤s4中损失函数的计算公式如下，在传统损失函数中增加编解码恢复总损失项lde：
16、l＝lrbbox+lclass+lde
17、其中，l为总损失，lrbbox为目标定位损失，lclass为目标分类损失，lde为多图像复原损失，用于衡量特征金字塔提取图像表达的能力，lde可通过公式lde＝‖i-i′‖2计算得到，i为原影像，i′为解码器恢复得来的影像，‖i-i′‖2为i与i′之间的均方差。
18、优选地，步骤s4中增加编解码恢复总损失项lde为依据网络检测方法的需求提出，其进行图像复原的原理在于利用faster r-cnn主干网络提取深度特征，进行原始数据的恢复。通过构建lde损失函数项，迫使faster r-cnn主干网络学习图像i中全部信息，否则无法恢复得到i。lde损失项越小说明主干网络学习图像i的信息越全面。引入图像恢复损失能够较好的迫使网络学习图像所有深度特征，避免目标检测任务由于特定目标稀缺造成的泛化能力差的缺点。
19、本发明与现有技术相比，具有以下优点及有益效果：
20、(1)本发明构建隧洞典型缺陷数据集，数据集样本数量、数据多样性、缺陷图像清晰度均较完善，基于该样本建立的深度学习算法具有较高的泛化性和精度；(2)在经典faster r-cnn模型的基础上增加多任务约束的特征金字塔模块，在目标检测的定位、分类约束基础上，增加特征到影像恢复的约束，及增加目标检测的定位约束、分类约束以及深度特征编解码约束，从而解决了现有技术因部分水工隧洞缺陷样本稀少而引发的特征提取不鲁棒的问题，可直接在少量的缺陷数据集上训练，仍能获得优异的检测性能；(3)建立的水工隧洞缺陷检测模型可同时识别渗水、破损、掉块、冲蚀、剥落、塌方、析钙等各类异常，避免因缺陷未及时发现和恶化导致隧洞结构失稳破坏和堵塞，确保工程安全。
1.一种基于多任务约束深度学习的水工隧洞缺陷检测方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于多任务约束深度学习的水工隧洞缺陷检测方法，其特征在于，步骤s1中采用无人装备进行图像采集时，需同时配备大功率照明系统，将黑暗光线环境调整为日光条件；所需最小光照总功率经验公式，光照总功率p＝d×ξ，d为隧洞直径，ξ为比例系数，取30～40；缺陷数据集应覆盖水工隧洞各类缺陷，包括裂缝、渗水、破损、掉块、冲蚀、剥落、塌方和析钙。
3.根据权利要求1所述的基于多任务约束深度学习的水工隧洞缺陷检测方法，其特征在于，在缺陷数据集数量较小时，缺陷数据集中训练集和测试集的比例设置为1:1～4:1。
4.根据权利要求1所述的基于多任务约束深度学习的水工隧洞缺陷检测方法，其特征在于，步骤s3中faster r-cnn模型的具体构建过程为：
5.根据权利要求1所述的基于多任务约束深度学习的水工隧洞缺陷检测方法，其特征在于，在传统损失函数中增加编解码恢复总损失项lde，步骤s4中损失函数的计算公式如下：
