本发明涉及土木工程与人工智能交互技术领域,特别是一种基于注意力正则化机制的桥梁支座病害识别方法。
背景技术:
随着近年来我国基础设施建设的快速发展,土木行业发展迅速,大量的桥梁建设完毕,桥梁支座是桥梁受力的重要构件,在长期的服役过程中会出现老化、开裂等病害,影响其正常使用功能。人们一直依靠日常和定期性检查、抽样性和临时检查等手段来获取结构的相关信息。然而目前桥梁表观检测主要依赖于人工检测,这种方法效率低下、耗时长、成本高,且人工检测方法受环境及检测人员职业技术素养等因素影响较大,检测结果存在不确定性。
基于深度学习的图像处理技术快速发展,并在各行业得到广泛的应用,然而深度学习模型往往需要大量的标注数据进行训练才能达到较高的精度。在实际工程中,一些病害图像数据难以获取。支座作为桥梁的连接构件,在获取支座图像时难以避免的会出现不少背景信息,影响到模型的识别结果。因此迫切的需要在有限的数据集,复杂场景下提高模型识别精度的方法。
技术实现要素:
本发明所要解决的技术问题是克服现有技术的不足而提供一种基于注意力正则化机制的桥梁支座病害识别方法,能够自动识别桥梁支座病害,提高识别的精确度。
本发明为解决上述技术问题采用以下技术方案:
根据本发明提出的一种基于注意力正则化机制的桥梁支座病害识别方法,包括以下步骤:
步骤s1、获取桥梁支座图像,桥梁支座图像包括支座不同的状态;
步骤s2、根据桥梁支座不同的状态标注桥梁支座图像,标注桥梁支座图像包括标注支座图像的类别标签信息和空间位置标签;
步骤s3、设计适应于注意力机制正则化机制的卷积神经网络模型的损失函数,损失函数包括类别损失项和注意力正则化项;
步骤s4、设计适应于注意力机制正则化机制的卷积神经网络模型,步骤s1中获取的支座图像输入至卷积神经网络模型,经卷积、池化运算、非线性激活函数运算,卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量,该向量的维度与支座病害的类别数相匹配,卷积神经网络模型中采用步骤s3中设计的损失函数衡量步骤s2中的支座图像的类别标签信息和空间位置标签和卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量之间的差异;
步骤s5、利用步骤s3中设计的损失函数,选择可微分的优化算法迭代训练步骤s4中设计的卷积神经网络模型,利用步骤s2中图像的类别标签信息和空间位置标签进行训练,以减小步骤s4中的差异为目标优化网络模型,获得用于自动识别桥梁支座病害的模型,根据该网络模型进行桥梁支座病害的识别。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s1中,获取的桥梁支座图像包括支座服役过程中遇到的各种病害。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s1中,获取的桥梁支座图像中仅包含1个支座,获取的桥梁支座图像的分辨率应在800×600以上。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s2中,支座图像的空间位置标签由图像坐标系下的坐标表示,并通过矩形框进行描述,矩形框由左上角点坐标和右下角点的坐标表示。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s3中,损失函数中的类别损失项和注意力正则化项按一定的比例融合相加;
l=lc α·la
其中,l为损失函数,lc为类别损失、选用交叉熵,la为注意力正则化项、选用均方误差,α为比例因子。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s3中,损失函数的注意力正则化项为支座的空间位置信息的预测值与真实值间的均方误差。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s4中,卷积神经网络模型的输出向量中表征支座病害类别状态的部分与步骤s2中支座图像的类别标签信息对应。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s4中,卷积神经网络模型的特征提取层具有表示特征的能力。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s4中,卷积神经网络模型的输出向量中表征支座的空间位置信息的部分包含4个数值元素,与步骤s2中标注的空间位置标签对应。
作为本发明所述的一种基于注意力正则化机制的桥梁支座病害识别方法进一步优化方案,步骤s5中,迭代训练卷积神经网络模型的方法选用梯度下降算法。
本发明采用以上技术方案与现有技术相比,具有以下技术效果:
本发明能够在数据量有限的前提下,通过人工标注支座位置信息,设计损失函数,建立注意力正则化机制,能够有效的提高模型的识别精度,从而能够自动识别桥梁支座病害,提高识别的精确度。
附图说明
图1为本发明的流程图。
图2为支座空间信息标注示意图。
图3为注意力机制网络示意图。
图4为vgg-16网络示意图。
具体实施方式
为了使本发明的目的、技术方案和优点更加清楚,下面将结合附图及具体实施例对本发明进行详细描述。
如图1所示,本发明的一种基于注意力正则化机制的桥梁支座病害识别方法。包括如下步骤:
s1:获取桥梁支座图像,桥梁支座图像包括支座不同的状态;
s2:根据桥梁支座不同的状态标注桥梁支座图像,标注桥梁支座图像包括标注支座图像的类别标签信息和空间位置标签,图2所示为支座空间位置标注示意图;
s3:设计适应于注意力机制正则化机制的卷积神经网络模型的损失函数,损失函数包括类别损失项和注意力正则化项;
s4:设计适应于注意力机制正则化机制的卷积神经网络模型,步骤s1中获取的支座图像输入至卷积神经网络模型,经卷积、池化运算、非线性激活函数运算,卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量,该向量的维度与支座病害的类别数相匹配,卷积神经网络模型中采用步骤s3中设计的损失函数衡量步骤s2中的支座图像的类别标签信息和空间位置标签和设计模型输出向量之间的差异,图3为该注意力机制网络示意图;
s5:利用步骤s3中设计的损失函数,选择可微分的优化算法迭代训练步骤s4中设计的卷积神经网络模型,利用s2中图像的类别标签信息和空间位置标签进行训练,以减小步骤s4中的差异为目标优化网络模型,获得用于自动识别桥梁支座病害的模型,根据该网络模型进行桥梁支座病害的识别。
步骤s1中,获取的支座图像包含的支座服役过程中遇到的各种病害。步骤s1中,获取的桥梁支座图像中仅包含1个支座。
步骤s1中,获取的支座图像的分辨率应在800×600以上。
步骤s2中,支座的位置信息由图像坐标系下的坐标表示,并通过矩形框进行描述,矩形框由左上角点坐标和右下角点的坐标表示,标注支座位置的工具为labelimg。
步骤s3中,该网络模型的输出向量中表征支座类别的部分与步骤s1中支座病害的种类对应。
步骤s3中,该网络模型的输出向量中表征支座位置信息的部分与步骤s2中标注的空间位置标签对应。
步骤s3中,网络的特征提取模块主体可选用经典卷积神经网络模型,具体的,选择vgg-16神经网络。
步骤s4中,损失函数中的类别损失项和注意力正则化项,按一定的比例融合相加。
l=lc α·la
其中,l为损失函数;lc为类别损失,选用交叉熵损失函数,la为注意力正则化项,取预测位置坐标与真实值间的绝对误差;α为比例因子。具体的,α取0.01。
步骤s4中,损失函数的注意力正则化项为支座的空间位置信息的预测值与真实值间的均方误差。
步骤s5中,网络的优化可选用梯度下降算法,具体选adaptivemomentestimation(adam)方法。
训练卷积神经网络的实验条件:使亚马逊aws云计算服务,配置亚马逊ec2p2.xlarge实例,该实例配置1个gpu,4个vcpu,61gb的随机存取存储器,系统采用ubuntu系统,编程语言采用python。深度学习平台使用pytorch。图2为支座空间信息标注示意图,图3为注意力机制网络示意图,图4为vgg-16网络示意图。
以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到的变化或替换,都应涵盖在本发明的保护范围内。
1.一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,包括以下步骤:
步骤s1、获取桥梁支座图像,桥梁支座图像包括支座不同的状态;
步骤s2、根据桥梁支座不同的状态标注桥梁支座图像,标注桥梁支座图像包括标注支座图像的类别标签信息和空间位置标签;
步骤s3、设计适应于注意力机制正则化机制的卷积神经网络模型的损失函数,损失函数包括类别损失项和注意力正则化项;
步骤s4、设计适应于注意力机制正则化机制的卷积神经网络模型,步骤s1中获取的支座图像输入至卷积神经网络模型,经卷积、池化运算、非线性激活函数运算,卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量,该向量的维度与支座病害的类别数相匹配,卷积神经网络模型中采用步骤s3中设计的损失函数衡量步骤s2中的支座图像的类别标签信息和空间位置标签和卷积神经网络模型输出支座的空间位置信息、支座病害类别信息的向量之间的差异;
步骤s5、利用步骤s3中设计的损失函数,选择可微分的优化算法迭代训练步骤s4中设计的卷积神经网络模型,利用步骤s2中图像的类别标签信息和空间位置标签进行训练,以减小步骤s4中的差异为目标优化网络模型,获得用于自动识别桥梁支座病害的模型,根据该网络模型进行桥梁支座病害的识别。
2.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s1中,获取的桥梁支座图像包括支座服役过程中遇到的各种病害。
3.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s1中,获取的桥梁支座图像中仅包含1个支座,获取的桥梁支座图像的分辨率应在800×600以上。
4.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s2中,支座图像的空间位置标签由图像坐标系下的坐标表示,并通过矩形框进行描述,矩形框由左上角点坐标和右下角点的坐标表示。
5.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s3中,损失函数中的类别损失项和注意力正则化项按一定的比例融合相加;
l=lc α·la
其中,l为损失函数,lc为类别损失、选用交叉熵,la为注意力正则化项、选用均方误差,α为比例因子。
6.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s3中,损失函数的注意力正则化项为支座的空间位置信息的预测值与真实值间的均方误差。
7.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s4中,卷积神经网络模型的输出向量中表征支座病害类别状态的部分与步骤s2中支座图像的类别标签信息对应。
8.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s4中,卷积神经网络模型的特征提取层具有表示特征的能力。
9.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s4中,卷积神经网络模型的输出向量中表征支座的空间位置信息的部分包含4个数值元素,与步骤s2中标注的空间位置标签对应。
10.根据权利要求1所述的一种基于注意力正则化机制的桥梁支座病害识别方法,其特征在于,步骤s5中,迭代训练卷积神经网络模型的方法选用梯度下降算法。
技术总结