本发明属于机器人技术领域，具体涉及一种基于视觉的化纤飘杂检测方法。
背景技术：
现有的技术方案如cn110992343a《一种基于机器人的飘丝飘杂视检方法、存储介质及电子设备》的专利，在其整体流程方案中涉及到化纤飘杂的视检方法，其采用照射灯对着丝束进行补光，并对拍照成像的具有团状高亮图片进行视觉检测，若在团状亮光外有其他亮光即认为发生飘杂。上述技术方案存在以下缺点：采用照射灯进行补光，可获取具有高亮丝束区域的图像，但无法过滤白色或高亮的背景物体，容易对后续的图像算法造成干扰；在团状亮光外有其他亮光即认为发生飘杂，但其未涉及图像中同时存在多个团状高亮丝束时的处理方法，也没涉及团状亮光区域及相应高亮飘杂区域的归属判断；同丝束的化纤之间存在一定的距离，在补光拍照下并不一定表现为单一的团状高亮区域，可能会存在同丝束化纤被分为多个距离较近的高亮团状区域情况。
技术实现要素：
针对上述不足，本发明提供一种基于视觉的化纤飘杂检测方法。
本发明通过以下技术方案实现：
一种基于视觉的化纤飘杂检测方法，包含如下步骤：
1.1基于单色激光及滤光片的采集方式，采集现场处理图像；
1.2基于深度学习目标检测方法，定位图像视野内所有同风口高亮化纤束对检测框的位置；
1.3对高亮化纤束对检测框进行位置矫正，矫正目标检测框的偏移；
1.4提取每个高亮化纤束对检测框内图像，作为飘杂识别处理感兴趣区域(roi)，用于进行漂杂异常识别判断；
1.5统计所有化纤束对的上述异常识别结果，并按指定格式输出。
进一步地，所述的步骤1.4中的漂杂异常判断，具体包括以下步骤：
2.1对检测框内图像进行r,g,b通道图像分离；
2.2选择分离的g通道图像，进行图像阈值，获取化纤二值掩码图；
2.3统计同一外接矩形中心点x位置上前景目标的像素数量；
2.4优化化纤二值掩码图，若同一x位置前景目标的像素数量大于设置数值，则认为该位置存在化纤，并进一步将该部分的像素全部置为前景；
2.5优化化纤二值掩码图，若同一x位置前景目标的像素数量小于设置数值，则认为该位置不存在化纤，并进一步将该部分的像素全部置为背景；
2.6对优化后的化纤二值掩码图进行前景目标轮廓提取；
2.7获取提取的轮廓的最小外接矩形，得到可分离化纤的位置和形状信息；
2.8根据x位置，对所有最小外接矩形进行升序排序；
2.9计算相邻外接矩形之间的水平距离；
2.10根据外接矩形间的最大水平距离，定位同一风口两束化纤中最靠内化纤的位置；
2.11计算最靠内化纤与同束内化纤的最近距离；
2.12计算所述最近距离与两束化纤间距离的比值；
2.13判断所述比值是否大于阈值，若是，则执行步骤2.14，若否，则判断该化纤束对无异常情况；
2.14计算最靠内化纤的形态特征，若符合特征要求，则判断存在漂杂异常情况，若否，则该化纤束对无异常情况。
进一步地，所述的深度学习目标检测的方法采用fasterrcnn。
进一步地，所述的最靠内化纤的形态特征包括长宽比和宽度特征。
进一步地，所述的对高亮化纤束对的检测框进行位置矫正，具体为将检测框进行适当放大，然后结合图像阈值，闭运算，最小外接矩形，并集运算得到矫正后的检测框。
一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于视觉的化纤飘杂检测方法的步骤。
一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于视觉的化纤飘杂检测方法的步骤。
本发明提出的一种基于视觉的化纤飘杂检测方法，与现有技术相比，具有下述的有益效果或优点：
1、采集的图像可有效去除背景的干扰，检测算法的鲁棒性更高；
2、将同一风口下的高亮化纤丝束对作为飘杂识别处理roi(regionofinteresting)，可有效限制飘杂发生的处理区域范围，提高算法的鲁棒性；；
3、采用先目标检测定位飘杂识别处理roi(regionofinteresting)，后进行飘杂识别处理的方式，可处理图像中同时存在多个丝束的情况；
4、通过计算可分离化纤区域之间的水平距离，和定位可分离化纤区域最大距离的方法，可应对同丝束被分为多个距离较近高亮团状区域的情况，有效识别飘杂发生。
附图说明
以下将结合附图对本发明做进一步详细说明；
图1是本发明的化纤漂杂检测整体流程图；
图2是本发明的化纤束对漂杂异常判断流程图；
图3是本发明的异常识别检测结果图；
图4是本发明的识别算法处理效果图；
图5是本发明的漂杂识别效果图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在一个实施例中，提供了一种基于视觉的化纤飘杂检测方法，总体流程如图1所示，其过程可分为以下步骤：
1.1采用单色激光 滤光片的采集方式，采集现场处理图像；优选的本实施例可以使用绿色激光，本领域技术人员应当知晓其他单色的激光也可以，例如红色等等。
1.2基于深度学习目标检测方法，定位图像视野内所有同风口高亮化纤束对位置；
1.3高亮化纤束对位置矫正，矫正目标检测框的偏移；
1.4提取每个高亮化纤束对检测框内图像，作为飘杂识别处理roii(感兴趣区域，regionofinteresting)，用于进行漂杂异常识别判断，提取的图像区域如图3(d)所示；
1.5统计所有化纤束对的上述异常识别结果，并按指定格式输出。
其中，步骤1.4中的漂杂异常判断，其处理过程如图2所示，具体可分为以下步骤：
2.1对检测框内图像进行r,g,b通道图像分离，其分离的g通道图像如图3(e)所示；
2.2选择g通道图像，进行图像阈值，获取化纤二值掩码图，阈值后处理结果如图3(f)所示；
2.3统计同一x位置上前景目标的像素数量；
2.4优化化纤二值掩码图，若同一x位置前景目标的像素数量大于设置数值，则认为该位置存在化纤，并进一步将该部分的像素全部置为前景；
2.5优化化纤二值掩码图，若同一x位置前景目标的像素数量小于设置数值，则认为该位置不存在化纤，并进一步将该部分的像素全部置为背景；
2.6对优化后的化纤二值掩码图(如图3(g)所示)进行前景目标轮廓提取；
2.7获取提取的轮廓的最小外接矩形，得到可分离化纤的位置和形状信息；
2.8根据外接矩形中心点x坐标位置，对所有最小外接矩形进行升序排序；
2.9计算相邻外接矩形之间的水平距离；
2.10根据外接矩形间的最大水平距离，定位同一风口两束化纤中最靠内化纤的位置；
2.11计算最靠内化纤与同束内化纤的最近距离；
2.12计算所述最近距离与两束化纤间距离的比值；
2.13判断所述比值是否大于阈值，若是，则执行步骤2.14，若否，则判断该化纤束对无异常情况；
2.14计算最靠内化纤的形态特征，如长宽比，宽度特征等，若符合特征要求，则判断存在漂杂异常情况，若否，则该化纤束对无异常情况。
优选的，在步骤1.1中，采用绿色条线激光照射化纤，化纤在照射的地方形成高亮区域。摄像机的镜头前端安装滤光片，以过滤绿光外的光线，最终采集得到化纤高亮区域特征明显，而背景干扰少的图像，其图像如图3(a)所示。
优选的，在步骤1.2中，基于深度学习目标检测的方法，例如fasterrcnn等目标检测方法，得到所有属于同一风口的高亮化纤束对检测框，其目标检测的结果如图3(b)所示。
优选的，在步骤1.3中，对高亮化纤束对的检测框进行位置矫正，具体方法为将检测框进行适当放大，然后结合图像阈值，闭运算，最小外接矩形，并集运算等得到矫正后的检测框，矫正后的检测框如图3(c)所示。黄色框表示调整矫正后的目标检测框，可以看出，调整后的检测框位置更加精准，更有利于提高后续图像处理算法的鲁棒性。
本发明还提供一种计算机可读存储介质，其上存储有计算机程序，其中，该程序被处理器执行时实现基于视觉的化纤飘杂检测方法的步骤。
本发明还提供一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现基于视觉的化纤飘杂检测方法的步骤。
以上所述的具体实施例，对本发明的目的、技术方案和有益效果进行了进一步详细说明，所应理解的是，以上所述仅为本发明的具体实施例而已，并不用于限定本发明的保护范围。在不脱离本发明之精神和范围内，所做的任何修改、等同替换、改进等，同样属于本发明的保护范围之内。
1.一种基于视觉的化纤飘杂检测方法，其特征在于，包含如下步骤：
1.1基于单色激光及滤光片的采集方式，采集现场处理图像；
1.2基于深度学习目标检测方法，定位图像视野内所有同风口高亮化纤束对检测框的位置；
1.3对高亮化纤束对检测框进行位置矫正，矫正目标检测框的偏移；
1.4提取每个高亮化纤束对检测框内图像，作为飘杂识别处理感兴趣区域(roi)，用于进行漂杂异常识别判断；
1.5统计所有化纤束对的上述异常识别结果，并按指定格式输出。
2.根据权利要求1所述的基于视觉的化纤飘杂检测方法，其特征在于，所述的步骤1.4中的漂杂异常判断，具体包括以下步骤：
2.1对检测框内图像进行r,g,b通道图像分离；
2.2选择分离的g通道图像，进行图像阈值，获取化纤二值掩码图；
2.3统计同一外接矩形中心点x位置上前景目标的像素数量；
2.4优化化纤二值掩码图，若同一x位置前景目标的像素数量大于设置数值，则认为该位置存在化纤，并进一步将该部分的像素全部置为前景；
2.5优化化纤二值掩码图，若同一x位置前景目标的像素数量小于设置数值，则认为该位置不存在化纤，并进一步将该部分的像素全部置为背景；
2.6对优化后的化纤二值掩码图进行前景目标轮廓提取；
2.7获取提取的轮廓的最小外接矩形，得到可分离化纤的位置和形状信息；
2.8根据x位置，对所有最小外接矩形进行升序排序；
2.9计算相邻外接矩形之间的水平距离；
2.10根据外接矩形间的最大水平距离，定位同一风口两束化纤中最靠内化纤的位置；
2.11计算最靠内化纤与同束内化纤的最近距离；
2.12计算所述最近距离与两束化纤间距离的比值；
2.13判断所述比值是否大于阈值，若是，则执行步骤2.14，若否，则判断该化纤束对无异常情况；
2.14计算最靠内化纤的形态特征，若符合特征要求，则判断存在漂杂异常情况，若否，则该化纤束对无异常情况。
3.根据权利要求2所述的基于视觉的化纤飘杂检测方法，其特征在于，所述的深度学习目标检测的方法采用fasterrcnn。
4.根据权利要求2所述的基于视觉的化纤飘杂检测方法，其特征在于，所述的最靠内化纤的形态特征包括长宽比和宽度特征。
5.根据权利要求2所述的基于视觉的化纤飘杂检测方法，其特征在于，所述的对高亮化纤束对的检测框进行位置矫正，具体为将检测框进行适当放大，然后结合图像阈值，闭运算，最小外接矩形，并集运算得到矫正后的检测框。
6.一种计算机可读存储介质，其特征在于，其上存储有计算机程序，其中，该程序被处理器执行时实现权利要求1-5任一所述的基于视觉的化纤飘杂检测方法的步骤。
7.一种计算机设备，其特征在于，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其中所述处理器执行所述程序时实现权利要求1-5任一所述的基于视觉的化纤飘杂检测方法的步骤。
技术总结