本发明涉及一种确定在包含边缘的检查对象上是否存在缺陷的磁性粒子检查装置。
背景技术：
执行磁性粒子检查，以检测在由铁磁材料(诸如铁材料或钢材料)制成的检查对象的表面上存在诸如裂纹的缺陷。在磁性粒子检查测试中，磁性粒子以使得缺陷变得明显的方式附着在检查对象上，并且通过视觉观察等来检测缺陷。
例如，日本专利申请公开第2017-173251号(jp2017-173251a)公开了一种通过利用摄像机拍摄已经附着有磁性粒子的测试对象并分析所得到的图像来确定是否存在缺陷的技术。
技术实现要素：
然而，在jp2017-173251a中描述的基于图像分析的磁性粒子检查中，在检查对象是例如包括连续齿(即，包括齿条)的齿条轴的情况下，检查部分上存在齿的许多边缘。因此，难以辨别缺陷与边缘，并且难以仅检测到缺陷。可以设想到识别检查对象的边缘的位置并去除边缘部分。但是，难以检测形成的与边缘交叠的缺陷。
此外，缺陷处的漏磁通的大小与边缘处的漏磁通的大小接近，缺陷处附着的磁性粒子的状态与边缘处附着的磁性粒子的状态类似。因此，即使通过视觉观察也难以检查是否存在缺陷。
本发明从包含缺陷候选的磁性粒子群中提取“有利于缺陷与边缘之间的辨别”的特定特征量，并且使用人工智能来确定磁性粒子群是附着于边缘的磁性粒子群还是附着于缺陷的磁性粒子群。
根据本发明的一个方面的磁性粒子检查装置包括：图像获取单元，其被配置成获取：通过将磁性粒子附着至经磁化的检查对象并捕获该检查对象的图像而得到的图像，以及通过对该图像的全部或部分进行二值化而得到的二值化图像；区域指定单元，其被配置成基于该图像和该二值化图像中的至少之一来指定磁性粒子群区域，该磁性粒子群区域包含作为一堆磁性粒子的磁性粒子群；以及检测单元，其被配置成通过利用人工智能处理亮度信息和形状信息来检测缺陷，所述人工智能是通过监督学习获得的，该亮度信息是通过对指定的磁性粒子群区域中的多个微小区域的亮度执行统计处理而得到的，并且该形状信息是关于从二值化图像获得的磁性粒子群的形状的信息。
利用本发明的以上方面，即使在图像中包括检查对象的边缘时也可以提高对检查对象的缺陷的检测精度。
附图说明
下面将参照附图描述本发明的示例性实施方式的特征、优点以及技术和工业意义，在附图中，类似的附图标记表示类似的元件，并且在附图中：
图1是示出了已经附着有发光磁性粒子的检查对象的一部分的表面的图像；
图2是示出磁性粒子检查装置的功能性配置的框图；
图3是示出由区域指定单元指定的磁性粒子群区域的概念图；以及
图4是示出检查模型学习装置的功能性配置的框图。
具体实施方式
下面将参照附图描述根据本发明实施方式的磁性粒子检查装置。在以下实施方式中示出的数值、形状、材料、构成元件、构成元件的位置关系、连接状态、步骤、步骤的顺序等是示例，并且不对本发明构成限制。在权利要求中没有描述的构成元件被认为是根据权利要求的本发明的任意构成元件。另外，附图是为了描述本发明而适当地进行了强调、省略和比例调整的示意图，并且有时附图中的形状、位置关系和比例与实际的形状、位置关系和比例不同。
图1是示出已经附着有发光磁性粒子的检查对象的一部分的表面的图像。图1所示的图像是二值化处理后的图像(即，经过了二值化处理的图像)。该图像包括检查对象200和磁性粒子201，磁性粒子201附着到检查对象200的边缘、缺陷等并且处于发光状态(即，发出光的状态)。
检查对象200不受特别限制，只要检查对象200由能够被磁化并且允许磁性粒子201附着到磁化之后的检查对象200的表面(即，经磁化后的检查对象200的表面)的铁磁材料制成即可。在本实施方式中，由钢材料制成的并且在车辆的转向装置中使用的齿条轴被例示为检查对象200。齿条轴包括在细长杆状构件的一部分上的多个齿(即，齿条轴包括齿条)。多个齿沿长度方向布置。每个齿沿着与长度方向基本相交的方向延伸。
针对在检查对象200的表面上产生的缺陷，存在各种可能的原因。例如，通过热处理(诸如淬火)产生的裂纹可能变成在检查对象200的表面上产生的缺陷。此外，当通过热处理而变形的检查对象200恢复到原始形状时，可能产生裂纹。
磁性粒子201是能够附着于经磁化的检查对象200的微小粒子。此外，优选的是，磁性粒子201与捕获图像上的检查对象200的表面应当具有高的可区别性。在本实施方式中，磁性粒子201是所谓的荧光磁性粒子，其具有附着到其表面的荧光物质。由于磁性粒子201的发光，磁性粒子201的捕获图像与检查对象200的表面的捕获图像相比具有更高的亮度。磁性粒子201的发光颜色不受特别限制。除了可见光之外，还可以采用红外光、紫外光等，只要发光颜色使得可以捕获磁性粒子201的图像即可。此外，磁性粒子201可以是存储光的磁性粒子，或者可以是仅在用激发光(诸如黑光)照射期间发射光的磁性粒子。
图2是示出根据本实施方式的磁性粒子检查装置的功能性配置的框图。如图2所示，磁性粒子检查装置100基于已经附着有磁性粒子201的检查对象200的表面的图像来检测缺陷，并且包括图像获取单元110、区域指定单元120和检测单元130。换句话说，磁性粒子检查装置100包括含有处理器的电子控制单元(ecu)等。在本实施方式中，磁性粒子检查装置100包括显示装置160和二值化单元150。
图像获取单元110获取通过将磁性粒子201附着到经磁化的检查对象200并且捕获处于发光状态的磁性粒子201的图像而得到的图像，以及通过由二值化单元150对该图像进行二值化而得到的二值化图像。在本实施方式中，图像获取单元110获取来自用于捕获检查对象200的图像的图像捕获装置210的连续色调数字图像，以及基于该数字图像的二值化图像。
图像捕获装置210是例如包括图像传感器(诸如电荷耦合装置(ccd)图像传感器和互补金属氧化物半导体(cmos)图像传感器)以及光学系统的装置，并且获取在检查对象200的表面上的处于发光状态的磁性粒子201的图像作为二维数字图像。具体地，图像捕获装置210以允许辨别附着到检查对象200的磁性粒子201中的每一个的分辨率拍摄检查对象200。在以这种方式拍摄的图像中，例如，可以期望一个像素的大小等于或小于磁性粒子201的大小。在本实施方式中，磁性粒子201的大小为几微米。
在图像捕获装置210是低分辨率摄像机的情况下，图像捕获装置210可以对通过将检查对象200的图像划分成多个区域而得到的多个区域中的每个区域进行拍摄。例如，图像捕获装置210可以在相对于检查对象200移动的同时对检查对象200进行拍摄。此外，图像捕获装置210可以是线传感器，并且可以通过扫描检查对象200来捕获检查对象200的图像。
在本实施方式中，图像捕获装置210附接并固定至用于固定检查对象200的夹具，使得图像捕获装置210可以以相同的姿态捕获相同种类的检查对象200的图像。
由图像捕获装置210获取的图像的数据格式不受特别限制。此外，图像的数据可以是彩色数据，或者可以是单色(灰度)数据。
在本实施方式中，磁性粒子检查装置100包括对从图像捕获装置210得到的连续色调图像进行二值化的二值化单元150。二值化单元150将图像改变为双色调图像的方法不受特别限制。例如，在从图像捕获装置210得到的图像是彩色图像的情况下，二值化单元150将彩色图像改变为灰度图像，然后基于用于指示明和暗的二值化阈值对数字图像进行二值化。在本实施方式中，二值化单元150通过将磁性粒子201中从其捕获到光的部分设置成白色并且将其他部分(即，剩余部分)设置成黑色来执行二值化。
本实施方式不限于其中二值化单元150对整个图像进行二值化的情况。二值化单元150可以对由区域指定单元120从图像中指定的磁性粒子群区域203(见图3)的内部执行二值化。二值化单元150并非必须被包括在磁性粒子检查装置100中，而是可以包括在另一装置、例如图像捕获装置210中。
图3是示出由区域指定单元120指定的磁性粒子群区域203的概念图。图3没有示出由图像获取单元110获取的图像本身，并且没有示出由二值化单元150二值化之后的图像。图3示出了所得到的图像的一部分。在一些情况下，在一个图像中存在多个磁性粒子群202。
区域指定单元120基于从图像捕获装置210获取的图像和从二值化单元150得到的二值化图像中的至少之一，执行指定磁性粒子群区域203的处理，磁性粒子群区域203包含作为一堆磁性粒子201的磁性粒子群202。
磁性粒子群202意指在图像中空间连续的多个磁性粒子201。短语“空间上连续”意指磁性粒子201被定位成使得相邻磁性粒子201之间的距离小于预定距离。预定距离不受特别限制。在本实施方式中，预定距离为零。也就是说，磁性粒子群202是一堆聚集的磁性粒子201(即，相邻的磁性粒子201彼此交叠的堆)。
具体地，例如，区域指定单元120分析二值化图像，指定被捕获为磁性粒子201或磁性粒子群202的白色部分的轮廓，并计算由该轮廓包围的部分的面积。然后，区域指定单元120将计算出的面积等于或大于面积阈值的部分指定为磁性粒子群202。区域指定单元120可以使用人工智能模型来指定磁性粒子群202。
磁性粒子群区域203是图像中具有预定形状并且可以包含整个磁性粒子群202的区域。磁性粒子群区域203的形状不受特别限制。在本实施方式中，区域指定单元120采用矩形区域作为磁性粒子群区域203的形状。此外，区域指定单元120指定磁性粒子群区域203，以使图像中的磁性粒子群区域203的姿态恒定。具体地，例如，区域指定单元120指定磁性粒子群区域203，使得矩形的磁性粒子群区域203的侧边平行于该图像的侧边。此外，区域指定单元120将具有能够包含所指定的磁性粒子群202的最小面积的区域指定为磁性粒子群区域203。
区域指定单元120使用数字图像和二值化图像中的至少之一指定磁性粒子群202和磁性粒子群区域203。当基于所述图像之一指定磁性粒子群区域203时，磁性粒子群区域203与所述图像中的另一图像中的相同位置相关联。此外，区域指定单元120可以执行从磁性粒子群区域203中去除不构成磁性粒子群202的磁性粒子201的操作。
检测单元130通过利用经由监督学习得到的人工智能模型处理亮度信息和形状信息来检测缺陷。亮度信息是通过对所指定的磁性粒子群区域203中的多个微小区域的亮度执行统计处理而得到的。形状信息是关于从二值化图像获得的磁性粒子群202的形状的信息。在本实施方式中，检测单元130包括统计处理单元131、形状信息生成单元132和人工智能单元133。在检测单元130中，除了统计处理单元131和形状信息生成单元132之外，还可以提供生成要输入到人工智能单元133的参数的处理单元。图2中的虚线和点线表明可以提供这样的处理单元的可能性。
统计处理单元131将由区域指定单元120指定的磁性粒子群区域203划分成微小区域，并且通过对从微小区域得到的数值执行统计处理来计算要输入到人工智能单元133的参数。统计处理单元131计算微小区域的亮度的平均值和微小区域的亮度的标准偏差中的至少之一。在本实施方式中，统计处理单元131将图像的一个像素设置为微小区域，并且计算该区域的亮度的平均值和该区域的亮度的标准偏差。
统计处理单元131还可以通过对微小区域的除了亮度之外的色度值、明亮度值、色调值等执行统计处理来计算要输入到人工智能单元133的参数。
形状信息生成单元132计算关于从二维的二值化图像得到的磁性粒子群202的形状的形状信息作为要输入到人工智能单元133的参数。在本实施方式中，形状信息生成单元132计算归一化惯性矩和延伸因子中的至少之一。
惯性矩是假设图像中的磁性粒子群202被划分成微小区域(例如，一个像素)并且每个微小区域具有特定的堆的情况下的惯性矩。图像中的惯性矩是指示包括在磁性粒子群202中的磁性粒子201相对于磁性粒子群202的重心的分布的值。当磁性粒子群区域203的一侧被设置为x轴并且与x轴正交的另一侧被设置为y轴时，具有作为惯性矩的值ixx、iyy、ixy、iyx。在本实施方式中，ixx和iyy用作参数。ixx和iyy是分别针对x轴和y轴的惯性矩系数，并且ixy是惯性的乘积。
归一化惯性矩是相对于磁性粒子群区域203的面积对惯性矩进行归一化而得到的值。
延伸因子是通过将磁性粒子群202的最大feret(人脸识别技术)直径除以等效矩形形状的短边的长度而得到的值。等效矩形形状是长边的长度为最大feret直径并且面积与磁性粒子群202的面积相同的矩形形状。
形状信息生成单元132可以使用用于在区域指定单元120中指定磁性粒子群202并且通过图像分析得到的磁性粒子群202的形状来生成形状信息。
人工智能单元133包括人工智能模型，并且将获取的参数输入到人工智能模型，从而确定磁性粒子群202是否附着至缺陷。包括在人工智能单元133中的人工智能模型的种类不受特别限制。例如，可以使用机器学习模型。神经网络可以作为该模型的一个具体示例。
除了统计处理单元131和形状信息生成单元132之外，检测单元130还可以包括生成要输入到人工智能模型的参数的处理单元。
例如，使用图4所示的检查模型学习装置300执行学习的模型被用作人工智能单元133中提供的人工智能模型。稍后将描述检查模型学习装置300。
显示装置160是给出关于检测单元130的检测结果的信息的装置。显示装置160可以仅给出关于是否存在缺陷的信息。另外，在检测出缺陷的情况下，显示装置160也可以给出关于缺陷的数量、缺陷的大小(长度)等的信息。此外，与由图像获取单元110获取的图像一起，显示装置160也可以使用不同的颜色等显示缺陷的位置。
图4所示的检查模型学习装置300包括图像获取单元110、区域指定单元120、二值化单元150和学习单元310。检查模型学习装置300包括与磁性粒子检查装置100的构成相同的构成，具有相同功能的处理单元由相同的附图标记表示，并且有时省略对处理单元的描述。
学习单元310包括统计处理单元131、形状信息生成单元132、监督单元312和模型形成单元311。在学习单元310中，除了统计处理单元131和形状信息生成单元132之外，还可以提供生成要输入到模型形成单元311的参数的处理单元。图4中的虚线和点线表明可以提供这样的处理单元的可能性。
监督单元312是将指示由区域指定单元120指定的磁性粒子群202是否附着至缺陷的缺陷信息与该磁性粒子群202关联地输入至模型形成单元311的处理单元。由统计处理单元131和形状信息生成单元132计算关于磁性粒子群202的参数。
具体地，例如，图像捕获装置210捕获检查对象200的图像，在每个图像中已经确认存在缺陷。基于所得到的图像，操作者将由区域指定单元120指定的多个磁性粒子群202中的每一个与关于该磁性粒子群202是否附着至缺陷的信息相关联。监督单元312通过操作者获取与每个磁性粒子群202关联的缺陷信息，并且输入关于每个磁性粒子群202是否附着至缺陷的信息。
模型形成单元311包括与磁性粒子检查装置100的人工智能模型相同种类的人工智能模型，并且将磁性粒子群202、从与磁性粒子检查装置100的统计处理单元相同种类的统计处理单元131和与磁性粒子检查装置100的形状信息生成单元相同种类的形状信息生成单元132等获取的参数、以及缺陷信息输入到人工智能模型，并由此形成能够以高概率确定磁性粒子群202是否附着至缺陷的人工智能模型。
检查模型学习装置300基于预定数量的检查对象200执行监督学习，并且将形成的人工智能模型提供给磁性粒子检查装置100的人工智能单元133。
如上所述，根据本实施方式的磁性粒子检查装置100不是通过对整个图像执行学习诸如深度学习来检测缺陷，而是通过以下方式来执行检查：从图像中提取作为可能存在缺陷的部分的磁性粒子群202，并且根据从磁性粒子群202和含有该磁性粒子群202的磁性粒子群区域203得到的参数来消除边缘等。因此，可以降低缺陷漏检率，并且可以降低缺陷误检率。
例如，通过将亮度的平均值、亮度的标准偏差、归一化惯性矩、延伸因子包括作为参数，可以将缺陷漏检率降低到等于或低于5％的值，并且可以将缺陷误检率降低到等于或低于10％的值。此外，人工智能模型的学习量的增加、参数种类的添加等可以使得缺陷漏检率为0％以及缺陷误检率为5％或更低。
本发明并不限于以上实施方式。例如，本发明可以被实现为通过组合说明书中描述的任何两个或更多个构成元件并去除一些构成元件而实现的其他实施方式。此外，本发明还包括在本发明的范围内、即在不背离权利要求中描述的词语的含义的情况下通过对以上实施方式做出本领域技术人员所构思的各种修改而得到的修改示例。
例如，在以上实施方式中，荧光磁性粒子被用作磁性粒子201。然而，可以使用具有预定颜色的非荧光磁性粒子。预定颜色是与检查对象200的表面的颜色不同的颜色，并且例如，可以根据检查对象的颜色使用红色、黑色、白色等。在使用非荧光磁性粒子的情况下，磁性粒子检查装置100可以包括辐射可见光而不是黑光的发光装置。在这种情况下，可以基于预定颜色执行从图像中识别磁性粒子201。例如，在非荧光磁性粒子是红色的情况下，可以基于rgb图像中的r的亮度值来检测非荧光磁性粒子。当以这种方式使用非荧光磁性粒子时，在一些情况下，可以比使用发光荧光磁性粒子时更清楚地拍摄各磁性粒子201，并且提高从磁性粒子群202得到的信息的精度。
在磁性粒子检查装置100中，检测结果在显示装置160被输出，但是本发明不限于此配置。例如，可以通过灯、扬声器等给出关于该检测结果的通知。在这种情况下，磁性粒子检查装置100不需要包括显示装置160。
由磁性粒子检查装置100检查的检查对象200不限于齿条轴。检查对象200可以是任何构件，例如齿轮或轴承的部件，只要该构件是允许磁性粒子检查的铁磁体即可。
本发明可以用作被配置成执行磁性粒子检查的系统和装置。
1.一种磁性粒子检查装置，其特征在于包括：
图像获取单元(110)，其被配置成获取：通过将磁性粒子(201)附着至被磁化的检查对象(200)并捕获所述检查对象(200)的图像而得到的图像，以及通过对所述图像的全部或部分进行二值化而得到的二值化图像；
区域指定单元(120)，其被配置成基于所述图像和所述二值化图像中的至少之一来指定磁性粒子群区域(203)，所述磁性粒子群区域(203)包含作为一堆磁性粒子(201)的磁性粒子群(202)；以及
检测单元(130)，其被配置成通过利用人工智能处理亮度信息和形状信息来检测缺陷，所述人工智能是通过监督学习获得的，所述亮度信息是通过对所指定的磁性粒子群区域(203)中的多个微小区域的亮度执行统计处理而得到的，并且所述形状信息是关于从所述二值化图像获得的所述磁性粒子群(202)的形状的信息。
2.根据权利要求1所述的磁性粒子检查装置，其特征在于，所述亮度信息是所述亮度的平均值和所述亮度的标准偏差中的至少之一。
3.根据权利要求1或2所述的磁性粒子检查装置，其特征在于，所述形状信息是归一化惯性矩和延伸因子中的至少之一。
技术总结