本发明属于计算机视觉,涉及图片缺陷检测以及图像增强,具体为一种针对风力涡轮机小目标缺陷检测的图像增强方法。
背景技术:
1、图像目标检测,一般是指找出图片上目标的位置框以及识别出该目标的类别,应用场景广泛。目前为了提高图像上目标检测的性能,出现了诸多方法:其中有侧重精度的两阶段检测法,首先定位目标框,然后再对目标进行分类;侧重速度的一阶段检测法,对目标同时进行定位和分类;还有侧重精度与速度的无锚点方法等。
2、在该领域中,小目标的检测一直尤为困难。因为小目标对应的数量低、区域小、易忽略且难区分。因此,针对小目标检测也出现了很多针对性方法。比如提高图像的分辨率、使用高维特征,变换锚框尺寸以及引入图片上下文等等。但是这些工作都在原本的基础上引入了更多的计算量,既加大了模型的尺寸,也降低了检测的速度,对小目标检测任务的性能提升都比较有限。因此,还有一些方法利用图像增强技术,通过扩充训练集来提高小目标检测的性能,同时避免了应用时空间和时间的损失。
3、现有技术虽然有提出一种复制粘贴来增强小目标检测的方案,如《simple copy-paste is a strong data augmentation method for instance segmentation》,但首先其复制粘贴是随机粘贴的,这些方案都是基于coco数据集的,coco图片的一个特点就是比较日常,随机粘贴目标也不一定造成负面影响。在风力涡轮机缺陷检测这个具体任务上,由于现有的方法大多数都是针对coco数据集进行实施和分析的,只包括一些常见类别的目标检测,不具备完全的泛化能力。而风力涡轮机上的缺陷的类别和形态也和常见目标有所区别,因此需要针对性的分析与设计,现有的技术并不能解决风力涡轮机上的缺陷检测。
4、其次,由于风力涡轮机的体积高大,其缺陷更容易呈现小目标特性,所以提高风力涡轮机上的小目标缺陷检测的性能也很有必要。并且风力涡轮机上的小目标缺陷形态独特,分布于涡轮机表面,需要进行特定的小目标增强策略的设计。因此,现有的增强技术并不能解决风力涡轮机上的小目标缺陷检测。
技术实现思路
1、本发明要解决的问题是:需要对风力涡轮机的缺陷进行检测,并且由于风力涡轮机的高大特性,其缺陷更容易被视为“小目标”,而“小目标”由于区域面积小,易忽视,因此检测精度较低,因此要着重提高小目标缺陷检测的性能,从而达成对整体目标检测性能的提高。另外,现有的小目标增强方案,受限于原始数据集,并不能适用于风力涡轮机场景下的检测。
2、本发明的技术方案为:一种针对风力涡轮机小目标缺陷检测的图像增强方法,对风力涡轮机小目标缺陷检测模型的训练图像进行增强,增强后的图片再与原图片混合到一起输入目标检测模型进行训练,得到针对风力涡轮机小目标的缺陷检测模型,所述增强方法为:筛选风力涡轮机缺陷训练数据集中包含小目标缺陷的图片,将图片中的小目标缺陷区域框进行图像复制,再粘贴到图片中小目标区域周围,得到增强的包含小目标缺陷的图片,用于训练缺陷检测模型。
3、进一步的,复制的小目标缺陷与原小目标缺陷的位移距离x为:
4、
5、n为系数,取值4~6,s小目标表示小目标缺陷的面积判断阈值,即图片区域面积中小于s小目标的,即为小目标缺陷。
6、本发明的有益效果是:提供了一种对风力涡轮机缺陷进行检测的方案,并且由于风力涡轮机缺陷易呈现出“小目标”的特性,本发明针对小目标缺陷设计了特定的图像增强策略,从而提高风力涡轮机小目标缺陷检测的性能,并最终达成对风力涡轮机整体缺陷检测性能的提高,具有良好的广泛性与实用性。
7、目前应用在小目标检测任务上的增强方法有很多,为了精准的对小目标进行增强,它们大都根据小目标的掩膜进行增强,比如背景技术中的《simple copy-paste is astrong data augmentation method for instance segmentation》,通过复制掩膜粘贴到随机区域。但这类方法的基础是,数据集必须拥有目标掩膜的标注。然而风力涡轮机数据集数量较少,标注也没那么丰富,因此不具备掩膜基础。而本发明的方法选取目标的区域框进行复制粘贴,采用的是图像本身,非常适合这类没有掩膜标注的检测场景,并且也带来了有效的增强。同时,因为不需要分割,本发明的方法大大节省了计算成本。
8、此外,本发明创造性的提出了在目标周围进行粘贴的策略。一方面,目前的小目标增强技术多是随机的进行粘贴,然而在特定场景下进行随机粘贴是会引入噪声的,从上下文的角度来说很容易将目标粘贴到错误的区域,所以本发明对粘贴区域进行了指定。另一方面,区别于一般的分割出特定区域再进行粘贴的方法,本发明直接选取小目标周围的区域进行粘贴也取得了有效的改进,无需分割出风力涡轮机区域再去粘贴,甚至从实验结果可以看出,相对于聚类分割前景区域,即将复制目标限定于涡轮机区域的方案,本发明在小目标周围的区域直接进行粘贴甚至更有优势。由此,本发明的方法进一步降低了计算负担。
9、综上所述,本发明不仅能有效增强对小目标缺陷的训练集,同时还具有较低的计算量,对于风力涡轮机小目标缺陷检测而言,能够提升检测精度和效率。
1.一种针对风力涡轮机小目标缺陷检测的图像增强方法,其特征是对风力涡轮机小目标缺陷检测模型的训练图像进行增强,增强后的图片再与原图片混合到一起输入目标检测模型进行训练,得到针对风力涡轮机小目标的缺陷检测模型,所述增强方法为:筛选风力涡轮机缺陷训练数据集中包含小目标缺陷的图片,将图片中的小目标缺陷区域框进行图像复制,再粘贴到图片中小目标区域周围,得到增强的包含小目标缺陷的图片,用于训练缺陷检测模型。
2.根据权利要求1所述的一种针对风力涡轮机小目标缺陷检测的图像增强方法,其特征是复制的小目标缺陷与原小目标缺陷的位移距离x为:
3.根据权利要求1或2所述的一种针对风力涡轮机小目标缺陷检测的图像增强方法,其特征是所述增强方法包括以下步骤:
4.根据权利要求1所述的一种针对风力涡轮机小目标缺陷检测的图像增强方法,其特征是缺陷检测模型采用yolov7模型。
