本发明属于钢材表面缺陷检测,涉及一种基于yolov5s-cm的边缘端钢材表面缺陷检测方法。
背景技术:
1、钢材表面缺陷检测是工业生产中至关重要的一项检测工作,主要内容包含对缺陷的识别和定位,其技术应用可以帮助钢材制造企业有效地解决生产中存在的缺陷问题,在提升钢材制造业生产效率和质量、降低成本、推进工业制造智能化和现代化等方面发挥着关键作用。钢材表面的缺陷检测算法可以分为传统的缺陷检测算法和基于深度学习的缺陷检测算法。但传统的表面缺陷检测算法存在人工误判和漏检等问题,需要耗费大量的时间和人力成本,同时也难以满足高质量和高效率的需求。基于深度学习的表面缺陷检测算法利用卷积神经网络(cnn)对图像进行特征提取,可以对缺陷实现更快速、更精准的识别与定位。
2、目前,基于深度学习的表面缺陷检测算法主要包括两阶段和单阶段检测算法。两阶段算法采用特征提取和区域生成两个过程,其中,特征提取部分使用卷积神经网络,区域生成网络使用回归器和分类器进行检测和定位。典型的算法有faster r-cnn、r-fcn、maskr-cnn等,韩松臣提出一种基于faster r-cnn并结合多尺度融合与在线难例挖掘的机场场面小目标检测算法,提高了算法对小尺度目标的检测能力。翁玉尚改进mask r-cnn算法,使用k-means ii聚类算法改进区域建议网络(rpn)先验框生成方法,调整mask r-cnn模型的网络结构,去掉掩码分支,使模型的检测精度与速度均得到了提升。两阶段检测算法精度高,但网络受限于两个阶段的处理,因此检测速度较慢。
3、单阶段检测算法检测速度更快,网络结构也更简洁。单阶段算法采用单个神经网络模型同时进行目标位置和类别的回归,一般使用先验框的方式对目标进行检测和分类,典型的算法有ssd、yolo系列等。一些研究工作将yolo系列算法用于表面缺陷检测,特别是最近用于钢材表面缺陷检测等。李维刚基于yolov3算法,使用加权k-means聚类算法优化先验框的生成,同时新增一个大尺度检测层,使缺陷检测精度得到较大提升。陈德富引入新的数据增强方法对图像进行预处理,同时使用轻量化网络模型mobilenetv2替换yolov4的主干提取网络,减小模型参数量,从而提升检测速度。李鑫使用ghostbottleneck结构实现yolov5模型轻量化,使模型更快速的检测出缺陷的位置及种类。吴敌基于yolov5算法,引入transformer encoder block模块和cbam模块,提升了检测的精度。以上算法在检测精度和检测速度上虽有不同程度的提升,但对于小尺度目标缺陷的检测精度仍不够理想,同时模型体积较大,不便于在边缘端进行部署,难以满足企业对带钢实际生产中检测速度和检测精度的要求。因此,亟需一种精度和速度达到平衡,且易于部署的钢材表面缺陷检测方法。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于yolov5s-cm的边缘端钢材表面缺陷检测方法。
2、为达到上述目的,本发明提供如下技术方案:
3、一种基于yolov5s-cm的边缘端钢材表面缺陷检测方法,包括以下步骤:
4、s1:获取钢材表面缺陷检测图片数据集;
5、s2:采用mobilenetv3-small网络替换yolov5s主干提取网络;
6、s3:在yolov5s网络中引入卷积注意力机制cbam加强特征提取;
7、s4:使用k-means++算法聚类先验框,得到更优的先验框尺寸,从而完成yolov5s-cm模型的搭建;
8、s5:使用所述钢材表面缺陷检测图片数据集对所述yolov5s-cm模型进行训练;
9、s6:使用训练好的yolov5s-cm模型对钢材表面缺陷检测图片进行预测和评估。
10、进一步,步骤s1所述获取钢材表面缺陷检测图片数据集中包括含有多种类别缺陷的钢材表面图片,并使用mosaic数据增增强,将四张图片经过不同的变换最后按照一定规则拼接到一起。
11、进一步,步骤s2所述采用mobilenetv3-small网络替换yolov5s主干提取网络,具体包括:
12、主干提取网络使用一个卷积层和11个bneck结构以及sppf结构进行搭建;
13、bneck结构来自mobilenetv3-small,首先通过1×1卷积升维,接着采用3×3的深度可分离卷积提取特征信息;然后再通过se注意力机制调整每个通道的权重,最后使用1×1的卷积实现降维,并将降维后的输出与残差边部分进行求和;
14、sppf结构来自yolov5s,采用分离卷积的方式来实现不同大小区域的池化操作,将卷积和池化两个操作进行分离。
15、进一步,步骤s3所述在yolov5s网络中引入卷积注意力机制cbam加强特征提取,具体包括:
16、引入卷积注意力机制cbam(concentration-based attention module)加强特征提取,cbam注意力机制结合空间注意力模块和通道注意力模块;cbam注意力机制首先通过通道注意力模块对不同特征进行加权,然后再将加权后的特征送入空间注意力模块,得到最后的结果;
17、通道注意力表达式为:
18、
19、式中avgpool为平均池化,maxpool为最大池化;mlp(multilayer perceptron)为多层感知机;
20、空间注意力表达式为:
21、
22、空间注意力模块在通道注意力模块的基础上,进一步对空间信息进行加权;式中f7×7表示卷积核的大小。
23、进一步,步骤s3中,输入图片首先经过主干提取网络输出目标尺度特征图,然后在第18、23、27、31层引入cbam注意力机制,加强特征提取。
24、进一步,所述步骤s4中,使用k-means++算法聚类先验框,选择初始聚类中心,具体步骤如下:
25、s41:随机选择一个数据样本作为第一个聚类中心;
26、s42:对于数据集中的每个样本,计算它与当前已选择的聚类中心的最近距离d(x);
27、s43:根据概率分布函数p,以概率p选择下一个聚类中心,函数表达式如下;
28、
29、s44:重复步骤s42和步骤s43直到选择出k个聚类中心为止。
30、进一步,步骤s5所述的训练过程中,采用余弦退火策略降低学习率,设置衰减系数,学习率动量,iou阈值,当预测框与真实框的iou超过该阈值时,则认为检测到了目标物体。
31、进一步,步骤s6中,用模型体积(mb)、模型参数量(parameters)、计算量(gflops)、精确率p(precision)、召回率r(recall)、平均精确度均值map(mean average precision)以及每秒传输帧数fps(frames per second)作为模型的评价指标对模型进行性能评估;模型的体积表示模型训练完成后保存的权重文件的大小;模型参数量表示训练过程中总的参数量;计算量即浮点运算次数,用来衡量模型的复杂度;map表示所有类别的检测准确率的均值;准确率是指正确预测为正样本的占全部预测为正样本的比例;召回率是指正确预测为正样本的占全部实际为正样本的比例;p、r、map、以及ap的计算公式如下:
32、
33、
34、
35、
36、其中,tp表示模型预测为正的正样本,fp表示模型预测为正的负样本,fn表示模型预测为负的正样本;n为检测的类别数,ap为各类别的检测精度。
37、本发明的有益效果在于:采用mobilenetv3-small网络替换yolov5s主干提取网络,大幅减少模型参数,实现模型轻量化。引入卷积注意力机制(cbam)加强特征提取,增强模型特征提取能力,提高对小尺度目标的检测能力。使用k-means++算法聚类先验框,提升模型的训练效率。发明模型在neu-det数据集上的平均精度均值(map)达到77.2%在nvidia1080ti上检测速度达到102fps,实验数据表明模型能够有效的提升钢材表面缺陷检测的精度和速度,同时体积更小,易于边缘端的部署,更好地满足当前工业环境中对于钢材表面缺陷检测实时性的要求,具有一定的工程应用价值。
38、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
1.一种基于yolov5s-cm的边缘端钢材表面缺陷检测方法,其特征在于:包括以下步骤:
2.根据权利要求1所述的基于yolov5s-cm的边缘端钢材表面缺陷检测方法,其特征在于:步骤s1所述获取钢材表面缺陷检测图片数据集中包括含有多种类别缺陷的钢材表面图片,并使用mosaic数据增增强,将四张图片经过不同的变换最后按照一定规则拼接到一起。
3.根据权利要求1所述的基于yolov5s-cm的边缘端钢材表面缺陷检测方法,其特征在于:步骤s2所述采用mobilenetv3-small网络替换yolov5s主干提取网络,具体包括:
4.根据权利要求1所述的基于yolov5s-cm的边缘端钢材表面缺陷检测方法,其特征在于:步骤s3所述在yolov5s网络中引入卷积注意力机制cbam加强特征提取,具体包括:
5.根据权利要求4所述的基于yolov5s-cm的边缘端钢材表面缺陷检测方法,其特征在于:步骤s3中,输入图片首先经过主干提取网络输出目标尺度特征图,然后在第18、23、27、31层引入cbam注意力机制,加强特征提取。
6.根据权利要求1所述的基于yolov5s-cm的边缘端钢材表面缺陷检测方法,其特征在于:所述步骤s4中,使用k-means++算法聚类先验框,选择初始聚类中心,具体步骤如下:
7.根据权利要求1所述的基于yolov5s-cm的边缘端钢材表面缺陷检测方法,其特征在于:步骤s5所述的训练过程中,采用余弦退火策略降低学习率,设置衰减系数,学习率动量,iou阈值,当预测框与真实框的iou超过该阈值时,则认为检测到了目标物体。
8.根据权利要求1所述的基于yolov5s-cm的边缘端钢材表面缺陷检测方法,其特征在于:步骤s6中,用模型体积mb、模型参数量、计算量精确率p、召回率r、平均精确度均值map以及每秒传输帧数fps作为模型的评价指标对模型进行性能评估;模型的体积表示模型训练完成后保存的权重文件的大小;模型参数量表示训练过程中总的参数量;计算量即浮点运算次数,用来衡量模型的复杂度;map表示所有类别的检测准确率的均值;准确率是指正确预测为正样本的占全部预测为正样本的比例;召回率是指正确预测为正样本的占全部实际为正样本的比例;p、r、map、以及ap的计算公式如下: