本公开涉及图像恢复装置、图像恢复方法、恢复器生成装置、恢复器生成方法、判定器生成装置、判定器生成方法、物品判定装置、物品判定方法。
背景技术:
以往,已知有如下的技术:使用以根据焊接部位所映现的图像的输入而输出该焊接部位的缺陷的有无的判定结果的方式通过机械学习预先训练出的神经网络,来判定焊接部位的缺陷的有无。
专利文献1:日本特开平8-96136号公报
一般而言,为了使使用了上述那样的神经网络的判定的精度提高,需要大量地准备神经网络的学习用的图像。然而,有不容易大量地准备学习用的图像的情况。
例如,为了上述那样的用于判定焊接部位的缺陷的有无的神经网络的学习,需要大量地准备各种缺陷映现的各种图像,但大量地准备与产生频率较低的缺陷对应的图像并不容易。
技术实现要素:
因此,本公开的课题之一在于提供容易地增加能够用于学习的图像的数目的图像恢复装置、图像恢复方法、恢复器生成装置、恢复器生成方法、判定器生成装置、判定器生成方法、物品判定装置、物品判定方法。
作为本公开的一个例子的图像恢复装置具备:图像获取部,获取屏蔽图像,其中,该屏蔽图像是通过利用屏蔽区域对物品所映现的物品图像中的至少一部分的规定区域进行屏蔽而生成的;以及图像输出部,使用恢复器输出与通过图像获取部获取到的屏蔽图像对应的恢复图像,其中,该恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现物品图像从屏蔽图像恢复的恢复图像的方式而预先训练出的。
根据上述的图像恢复装置,能够使用恢复器,容易地根据通过物品图像和屏蔽区域生成的屏蔽图像量产能够与物品图像相同地进行处理的恢复图像。因此,例如在执行使用了物品图像的学习的情况下,不仅能够使用物品图像还能够使用恢复图像作为学习用的图像,所以能够容易地增加能够使用于学习的图像的数目。
在上述的图像恢复装置中,图像获取部获取合格品屏蔽图像作为屏蔽图像,其中,该合格品屏蔽图像通过将缺陷候补区域作为规定区域进行屏蔽而生成,该缺陷候补区域被预先决定为在合格品图像中与在制造时产生缺陷的频率较高的物品的部位对应,该合格品图像是不包含缺陷的物品所映现的物品图像,图像输出部为了将以模拟再现不合格品图像的方式恢复的模拟不合格品图像输出作为恢复图像,而使用恢复器,输出与通过图像获取部获取到的合格品屏蔽图像对应的模拟不合格品图像,其中,该不合格品图像是包含缺陷的物品所映现的物品图像,该恢复器是通过基于不合格品图像和作为屏蔽图像的不合格品屏蔽图像的机械学习而预先训练出的,通过将该不合格品图像中与缺陷对应的缺陷区域作为规定区域进行屏蔽而生成该不合格品屏蔽图像。根据这样的构成,能够基于合格品图像量产能够与不合格品图像相同地进行处理的模拟不合格品图像。因此,例如在执行使用了物品图像的学习的情况下,能够执行使用了合格品图像、不合格品图像以及模拟不合格品图像的更高精度的学习。
另外,在上述的图像恢复装置中,图像获取部通过对屏蔽区域执行至少包含膨胀或者收缩的第一图像处理,来增加上述屏蔽图像的数目。根据这样的构成,能够通过第一图像处理,容易地增加成为恢复图像的基础的屏蔽图像的变化。因此,能够容易地量产恢复图像。
另外,在上述的图像恢复装置中,图像获取部通过对屏蔽图像中的屏蔽区域以外的区域执行第二图像处理,来增加屏蔽图像的数目,其中,第二图像处理包含加噪、增益调整、对比度调整以及平均化中的一个以上。根据这样的构成,能够通过第二图像处理,容易地增加成为恢复图像的基础的屏蔽图像的变化。因此,能够容易地量产恢复图像。
另外,在上述的图像恢复装置中,图像获取部通过合成上述物品图像和在预先决定的位置包括上述屏蔽区域的模板图像,来获取上述屏蔽图像。根据这样的构成,能够仅利用合成两种图像,容易地获取屏蔽图像。
作为本公开的其它的一个例子的图像恢复方法包括:图像获取步骤,获取通过利用屏蔽区域对物品映现的物品图像中至少一部分的规定区域进行屏蔽而生成的屏蔽图像;以及图像输出步骤,使用恢复器,输出与通过图像获取步骤获取到的屏蔽图像对应的恢复图像,其中,恢复器是以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式通过机械学习而预先训练出的。
根据上述的图像恢复方法,能够使用恢复器,容易地根据通过物品图像和屏蔽区域生成的屏蔽图像量产能够与物品图像相同地进行处理的恢复图像。因此,例如在执行使用了物品图像的学习的情况下,不仅能够使用物品图像还能够使用恢复图像作为学习用的图像,所以能够容易地增加能够使用于学习的图像的数目。
另外,作为本公开的其它的一个例子的图像恢复程序是用于使计算机执行以下步骤的程序:图像获取步骤,获取通过利用屏蔽区域对物品映现的物品图像中至少一部分的规定区域进行屏蔽而生成的屏蔽图像;以及图像输出步骤,使用恢复器,输出与通过图像获取步骤获取到的屏蔽图像对应的恢复图像,其中,该恢复器是以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式通过机械学习而预先训练出的。
根据上述的图像恢复程序,能够使用恢复器,容易地根据通过物品图像和屏蔽区域生成的屏蔽图像量产能够与物品图像相同地进行处理的恢复图像。因此,例如在执行使用了物品图像的学习的情况下,不仅能够使用物品图像还能够使用恢复图像作为学习用的图像,所以能够容易地增加能够使用于学习的图像的数目。
另外,作为本公开的其它的一个例子的恢复器生成装置具备:图像获取部,获取屏蔽图像,其中,屏蔽图像是通过利用屏蔽区域对物品所映现的物品图像中至少一部分的规定区域进行屏蔽而生成的;以及学习执行部,通过执行基于由图像获取部获取到的屏蔽图像、和该屏蔽图像的基础亦即物品图像的机械学习的训练,生成根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的恢复器。
根据上述的恢复器生成装置,能够生成能够容易地量产可与物品图像相同地进行处理的恢复图像的恢复器。因此,例如能够生成适合于在执行使用了物品图像的学习的情况下能够容易地增加能够使用于该学习的图像的数目的图像恢复装置、图像恢复方法、以及图像恢复程序的恢复器。
在上述的恢复器生成装置中,图像获取部获取不合格品屏蔽图像作为屏蔽图像,其中,该不合格品屏蔽图像通过将在不合格品图像中与缺陷对应的缺陷区域作为规定区域进行屏蔽而生成,该不合格品图像是包含缺陷的物品所映现的物品图像,学习执行部通过执行基于通过图像获取部获取到的不合格品屏蔽图像、和该不合格品屏蔽图像的基础亦即不合格品图像的机械学习的训练,生成将模拟不合格品图像输出作为恢复图像的恢复器,其中,为了将不合格品图像模拟再现作为物品图像而恢复模拟不合格品图像。根据这样的构成,能够生成适合于能够量产能够与不合格品图像相同地进行处理的模拟不合格品图像的图像恢复装置、图像恢复方法、以及图像恢复程序的恢复器。
另外,在上述的恢复器生成装置中,学习执行部以进一步减小从恢复器输出的恢复图像与为了得到该恢复图像的输出而输入恢复器的屏蔽图像的基础亦即物品图像的特征之差的方式,执行对恢复器的基于机械学习的训练。根据这样的构成,能够接受两个图像的特征之差的反馈,并且使恢复器的恢复的精度提高。
在这种情况下,学习执行部使用以根据从恢复器输出的恢复图像、和为了得到该恢复图像的输出而输入到恢复器的屏蔽图像的基础亦即物品图像的输入而输出特征之差的方式通过机械学习预先训练出的评价器,来获取特征之差。根据这样的构成,能够使用评价器,容易地获取两个图像的特征之差。
在上述的恢复器生成装置中,图像获取部通过对屏蔽区域执行至少包含膨胀或者收缩的第一图像处理,来增加屏蔽图像的数目。根据这样的构成,能够通过第一图像处理,容易地增加成为恢复图像的基础的屏蔽图像的变化。因此,能够基于更多的数据执行对恢复器的基于机械学习的训练,所以能够使恢复器的恢复的精度提高。
另外,在上述的恢复器生成装置中,图像获取部通过对屏蔽图像中的屏蔽区域以外的区域执行第二图像处理,来增加屏蔽图像的数目,其中,第二图像处理包含加噪、增益调整、对比度调整以及平均化中的一个以上。根据这样的构成,能够通过第二图像处理,容易地增加成为恢复图像的基础的屏蔽图像的变化。因此,能够基于更多的数据执行对恢复器的基于机械学习的训练,所以能够使恢复器的恢复的精度提高。
作为本公开的其它的一个例子的恢复器生成方法包括:图像获取步骤,获取通过利用屏蔽区域对物品所映现的物品图像中的至少一部分的规定区域进行屏蔽而生成的屏蔽图像;以及学习执行步骤,通过执行基于通过图像获取步骤获取到的屏蔽图像、和该屏蔽图像的基础亦即物品图像的机械学习的训练,生成根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的恢复器。
根据上述的恢复器生成方法,能够生成能够容易地量产可与物品图像相同地进行处理的恢复图像的恢复器。因此,例如能够生成适合于在执行使用了物品图像的学习的情况下能够容易地增加能够使用于该学习的图像的数目的图像恢复装置、图像恢复方法、以及图像恢复程序的恢复器。
另外,作为本公开的其它的一个例子的恢复器生成程序是用于使计算机执行以下步骤的程序:图像获取步骤,获取通过利用屏蔽区域对物品所映现的物品图像中的至少一部分的规定区域进行屏蔽而生成的屏蔽图像;以及学习执行步骤,通过执行基于通过图像获取步骤获取到的屏蔽图像、和该屏蔽图像的基础亦即物品图像的机械学习的训练,生成根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的恢复器。
根据上述的恢复器生成程序,能够生成能够容易地量产可与物品图像相同地进行处理的恢复图像的恢复器。因此,例如能够生成适合于在执行使用了物品图像的学习的情况下能够容易地增加能够使用于该学习的图像的数目的图像恢复装置、图像恢复方法、以及图像恢复程序的恢复器。
另外,作为本公开的其它的一个例子的判定器生成装置具备:图像获取部,获取学习用图像,其中,该学习用图像包括使用恢复器得到的恢复图像和物品图像,恢复器是以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式通过机械学习预先训练出的,该屏蔽图像是通过利用屏蔽区域对物品所映现的物品图像中的至少一部分的规定区域进行屏蔽而生成的;以及学习执行部,执行基于通过图像获取部获取到的学习用图像的机械学习的训练,生成根据物品图像的输入而输出与在该物品图像映现的物品相关的判定结果的判定器。
根据上述的判定器生成装置,例如与仅使用物品图像执行对判定器的基于机械学习的训练的情况不同,能够使用包含通过恢复器量产的恢复图像和物品图像的许多的学习用图像,使对判定器的基于机械学习的训练的精度提高。因此,能够生成能够得到在物品图像映现的物品相关的高精度的判定结果的判定器。
另外,作为本公开的其它的一个例子的判定器生成方法包括:图像获取步骤,获取学习用图像,其中,学习用图像包括使用恢复器得到的恢复图像和物品图像,恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式而预先训练出的,屏蔽图像是通过利用屏蔽区域对物品所映现的物品图像中的至少一部分的规定区域进行屏蔽而生成的;以及学习执行步骤,执行基于通过图像获取步骤获取到的学习用图像的机械学习的训练,生成根据物品图像的输入而输出与在该物品图像映现的物品相关的判定结果的判定器。
根据上述的判定器生成方法,例如与仅使用物品图像执行对判定器的基于机械学习的训练的情况不同,能够使用包括通过恢复器量产的恢复图像和物品图像的许多的学习用图像,使对判定器的基于机械学习的训练的精度提高。因此,能够生成能够得到在物品图像映现的物品相关的高精度的判定结果的判定器。
另外,作为本公开的其它的一个例子的判定器生成程序是用于使计算机执行以下步骤的程序:图像获取步骤,获取学习用图像,其中,该学习用图像包括使用恢复器得到的恢复图像和物品图像,该恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式而预先训练出的,该屏蔽图像是通过利用屏蔽区域对物品所映现的物品图像中的至少一部分的规定区域进行屏蔽而生成的;以及学习执行步骤,执行基于通过图像获取步骤获取到的学习用图像的机械学习的训练,生成根据物品图像的输入而输出与在该物品图像映现的物品相关的判定结果的判定器。
根据上述的判定器生成程序,例如与仅使用物品图像执行对判定器的基于机械学习的训练的情况不同,能够使用包括通过恢复器量产的恢复图像和物品图像的许多的学习用图像,使对判定器的基于机械学习的训练的精度提高。因此,能够生成能够得到在物品图像映现的物品相关的高精度的判定结果的判定器。
另外,作为本公开的其它的一个例子的物品判定装置具备:图像获取部,获取物品所映现的物品图像;以及判定输出部,通过基于包括恢复图像、和物品图像的学习用图像的机械学习,使用判定器,输出在通过图像获取部获取到的物品图像映现的物品相关的判定结果,其中,恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式而预先训练出的,屏蔽图像是通过利用屏蔽区域对物品图像中的至少一部分的规定区域进行屏蔽而生成的,判定器被预先训练为根据物品图像的输入而输出与在物品图像映现的物品相关的判定结果。
根据上述的物品判定装置,能够使用通过使用了包括通过恢复器量产的恢复图像和物品图像的许多的学习用图像的机械学习预先训练以得到高精度的判定结果的判定器,得到在物品图像映现的物品相关的高精度的判定结果。
另外,作为本公开的其它的一个例子的物品判定方法包括:图像获取步骤,获取物品所映现的物品图像;以及判定输出步骤,通过基于包括恢复图像、和物品图像的学习用图像的机械学习,使用判定器,输出在通过图像获取步骤获取到的物品图像映现的物品相关的判定结果,其中,该恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式而预先训练出的,该屏蔽图像是通过利用屏蔽区域对物品图像中的至少一部分的规定区域进行屏蔽而生成的,该判定器被预先训练为根据物品图像的输入而输出与在物品图像映现的物品相关的判定结果。
根据上述的物品判定方法,能够使用通过使用了包括通过恢复器量产的恢复图像和物品图像的许多的学习用图像的机械学习预先训练以得到高精度的判定结果的判定器,得到在物品图像映现的物品相关的高精度的判定结果。
另外,作为本公开的其它的一个例子的物品判定程序是用于使计算机执行以下步骤的程序:图像获取步骤,获取物品所映现的物品图像;以及判定输出步骤,通过基于包括恢复图像、和物品图像的学习用图像的机械学习,使用判定器,输出在通过图像获取步骤获取到的物品图像映现的物品相关的判定结果,其中,恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式而预先训练出的,屏蔽图像是通过利用屏蔽区域对物品图像中的至少一部分的规定区域进行屏蔽而生成的,判定器被预先训练为根据物品图像的输入而输出与在物品图像映现的物品相关的判定结果。
根据上述的物品判定程序,能够使用通过使用了包括通过恢复器量产的恢复图像和物品图像的许多的学习用图像的机械学习预先训练以得到高精度的判定结果的判定器,得到在物品图像映现的物品相关的高精度的判定结果。
附图说明
图1是表示实施方式所涉及的图像恢复装置的功能的例示且示意性的框图。
图2是用于更具体地说明实施方式所涉及的模拟不合格品图像的生成所利用的图像的例示且示意性的图。
图3是表示实施方式所涉及的图像恢复装置执行的一系列的处理的例示且示意性的流程图。
图4是表示实施方式所涉及的恢复器生成装置的功能的例示且示意性的框图。
图5是用于更具体地说明实施方式所涉及的对恢复器的基于机械学习的训练的方法的例示且示意性的图。
图6是用于更具体地说明在实施方式所涉及的恢复器的生成时执行的屏蔽区域的膨胀或者收缩的效果的例示且示意性的图。
图7是表示实施方式所涉及的恢复器生成装置执行的一系列的处理的例示且示意性的流程图。
图8是表示实施方式所涉及的判定器生成装置的功能的例示且示意性的框图。
图9是表示实施方式所涉及的对判定器的基于机械学习的训练的方法的例示且示意性的图。
图10是表示实施方式所涉及的判定器生成装置执行的一系列的处理的例示且示意性的流程图。
图11是表示实施方式所涉及的物品判定装置的功能的例示且示意性的框图。
图12是表示实施方式所涉及的物品判定装置执行的一系列的处理的例示且示意性的流程图。
图13是表示用于实现实施方式所涉及的图像恢复装置、恢复器生成装置、判定器生成装置、以及物品判定装置的信息处理装置的硬件构成的例示且示意性的图。
附图标记说明
100…图像恢复装置,110…图像获取部,120…图像输出部,121…恢复器,400…恢复器生成装置,410…图像获取部,420…学习执行部,421…恢复器,422…评价器,800…判定器生成装置,810…图像获取部,820…学习执行部,821…判定器,1100…物品判定装置,1110…图像获取部,1120…判定输出部,1121…判定器。
具体实施方式
以下,基于附图对本公开的实施方式进行说明。以下记载的实施方式的构成、及通过该构成带来的作用以及效果仅为一个例子,并不限定于以下的记载内容。
<图像恢复装置>
以往,已知有如下的技术:使用以根据焊接部位映现的图像的输入而输出该焊接部位的缺陷的有无的判定结果的方式通过机械学习预先训练出的神经网络,来判定焊接部位的缺陷的有无。
一般而言,为了使使用了上述那样的神经网络的判定的精度提高,需要大量地准备神经网络的学习用的图像。然而,有不容易大量地准备学习用的图像的情况。
例如,为了上述那样的用于判定焊接部位的缺陷的有无的神经网络的学习,需要大量地准备各种缺陷所映现的各种图像,但大量地准备与产生频率较低的缺陷对应的图像并不容易。
因此,实施方式通过具有以下的图1所示那样的功能的图像恢复装置100,实现容易地增加能够使用于机械学习的图像的数目。
此外,以下,以作为用于判定包含焊接部位的物品的缺陷的有无的技术实现实施方式的技术为例进行说明,但实施方式的技术例如也能够利用于压焊痕、阶梯差、铸件气孔、以及浇口痕等那样的在加工品的制造时可能产生的与焊接没有关系的各种异常的有无的判定。另外,实施方式的技术例如也能够利用于附加在产品的外包装的徽标是否表示正规品的判定那样的在其它的技术领域要求的判定。
图1是表示实施方式所涉及的图像恢复装置100的功能的例示且示意性的框图。如图1所示,实施方式所涉及的图像恢复装置100具备图像获取部110和图像输出部120。
图像获取部110获取通过利用屏蔽区域对物品所映现的物品图像中至少一部分的规定区域进行屏蔽而生成的屏蔽图像。更具体而言,图像获取部110获取通过将不包含缺陷的物品所映现的物品图像亦即合格品图像中预先决定为与在制造时产生缺陷的频率较高的物品的部位对应的缺陷候补区域作为规定区域进行屏蔽而生成的合格品屏蔽图像作为屏蔽图像。
此外,图像获取部110通过利用后述的图像合成器230(参照图2)将物品图像与在预先决定的位置包括屏蔽区域的模板图像合成来获取上述那样的屏蔽图像。即,图像获取部110通过将合格品图像与模板图像合成来获取合格品屏蔽图像,该模板图像将预先决定为与在制造时产生缺陷的频率较高的物品的部位对应的缺陷候补区域包括作为屏蔽区域。
图像输出部120具有恢复器121,该恢复器121是以为了模拟再现物品图像根据屏蔽图像的输入而输出从该屏蔽图像恢复的恢复图像的方式,通过机械学习预先训练出的神经网络那样的已学习模型。图像输出部120使用恢复器121,输出与通过图像获取部110获取到的屏蔽图像对应的恢复图像。
更具体而言,恢复器121是以将为了模拟再现包含缺陷的物品所映现的物品图像亦即不合格品图像而恢复的模拟不合格品图像输出作为恢复图像的方式,通过基于不合格品图像、和作为通过将该不合格品图像中与缺陷对应的缺陷区域作为规定区域进行屏蔽而生成的屏蔽图像的不合格品屏蔽图像的机械学习而预先训练出的已学习模型。图像输出部120使用恢复器121,输出与通过图像获取部110获取到的合格品屏蔽图像对应的模拟不合格品图像。
根据以上那样的构成,即使在不容易获取实际的不合格品图像的情况下,也能够基于容易获取的合格品图像,量产与不合格品图像同等的模拟不合格品图像。因此,根据实施方式所涉及的图像恢复装置100,能够容易地增加在后述的判定器生成装置800(参照图8)中执行的、用于生成用于判定物品的缺陷的有无的已学习模型的机械学习所使用的图像的数目。
此外,在实施方式中,图像获取部110构成为能够通过对屏蔽区域(也就是成为合格品屏蔽图像的基础的模板图像)执行至少包含膨胀或者收缩的第一图像处理,来增加合格品屏蔽图像的数目。另外,图像获取部110构成为也能够通过对合格品屏蔽图像中屏蔽区域以外的区域(也就是成为合格品屏蔽图像的基础的合格品图像)执行包含加噪、增益调整、对比度调整、以及平均化中一个以上的第二图像处理,来增加合格品屏蔽图像的数目。根据这样的构成,能够容易地增加成为用于生成后述的判定器生成装置800(参照图8)的机械学习所使用的图像的基础的合格品屏蔽图像的数目。
图2是用于更具体地说明实施方式所涉及的模拟不合格品图像的生成所利用的图像的例示且示意性的图。虽然在上述也简单地进行了说明,但如图2所示,在实施方式中,与合格品屏蔽图像的向恢复器121的输入对应地生成模拟不合格品图像。另外,与合格品图像以及模板图像的向图像合成器230的输入对应地生成合格品屏蔽图像。
在图2所示的例子中,合格品图像包括多个图像211、212、213、…。图像211是在焊接部分wp不包含缺陷的物品pg所映现的图像。此外,虽然在图2所示的例子中省略详细的图示,但图像212以及213也与图像211相同地是在焊接部分wp不包含缺陷的物品pg所映现的图像。此外,在图像212以及213所映现的物品pg既可以与在图像211所映现的物品pg一致,也可以不一致。在图像212以及213中所映现的物品pg与在图像211中映现的物品pg一致的情况下,若各个图像中的焊接部位wp的映现方式不同,则能够确保多样性。另外,如上述那样,图像211、212、213、…能够包括通过利用包含加噪、增益调整、对比度调整、以及平均化中一个以上的第二图像处理使某一合格品图像虚增而生成的图像。
另外,在图2所示的例子中,模板图像包括多个图像221、222、223、…。图像221是在位置p221包括屏蔽区域221a的图像,该位置p221被预先决定作为在合格品图像中映现的物品pg的焊接部位wp一般产生缺陷的频率较高的缺陷候补区域的位置。同样地,图像222以及223也分别是在位置p222以及p223包括屏蔽区域222a以及223a的图像,该位置p222以及p223被预先决定作为在合格品图像所映现的物品pg的焊接部位wp一般产生缺陷的频率较高的位置。为了收罗可能在焊接部位wp产生的各种缺陷,优选设定屏蔽区域221a、222a、223a…为各种各样的位置以及大小。此外,如上述那样,图像221、222、223、…能够包括通过利用针对屏蔽区域的至少包含膨胀或者收缩的第一图像处理使某一模板图像虚增来生成的图像。
另外,在图2所示的例子中,合格品屏蔽图像包括多个图像241、242、243、…。图像241是通过作为屏蔽区域的区域241a对在焊接部位wp不包含缺陷的物品pg所映现的合格品图像的缺陷候补区域进行屏蔽的图像。此外,虽然在图2所示的例子中省略了详细的图示,但图像242以及243也与图像241相同,是通过屏蔽区域对合格品图像的缺陷候补区域进行屏蔽的图像。通过利用图像合成器230将作为合格品图像的图像211、212、213,…中任意一个与作为模板图像的图像221、222、223、…中任意一个的任意的组合合成来生成作为合格品屏蔽图像的图像241、242、243、…。
另外,在图2所示的例子中,模拟不合格品图像包括多个图像251、252、253、…。图像251是以作为看起来如实际的缺陷那样的区域251a模拟再现作为合格品屏蔽图像的图像241所包括的屏蔽区域亦即区域241a的方式通过恢复器121从图像241恢复的图像。此外,虽然在图2所示的例子中省略了详细的图示,但图像252以及253也与图像251相同,是以作为看起来如实际的缺陷那样的区域模拟再现合格品屏蔽图像的屏蔽区域的方式通过恢复器121从合格品屏蔽图像恢复的图像。
基于以上的构成,实施方式所涉及的图像恢复装置100按照以下的图3所示那样的流程,生成模拟不合格品图像。
图3是表示实施方式所涉及的图像恢复装置100执行的一系列的处理的例示且示意性的流程图。
如图3所示,在实施方式中,首先,在s301中,图像恢复装置100的图像获取部110获取合格品屏蔽图像。如上述那样,合格品屏蔽图像是指通过屏蔽区域对缺陷候补区域进行屏蔽的图像,该缺陷候补区域被预先决定为作为不包含缺陷的物品映现的物品图像的合格品图像中与产生缺陷的频率较高的物品的部位对应。通过将合格品图像与在与缺陷候补区域对应的预先决定的位置包括屏蔽区域的模板图像合成来生成这样的合格品屏蔽图像。
然后,在s302中,图像恢复装置100的图像输出部120使用恢复器121,根据在s301获取到的合格品屏蔽图像,生成模拟再现了包括缺陷的物品映现的物品图像亦即不合格品图像的模拟不合格品图像。如上述那样,恢复器121是指以根据合格品屏蔽图像的输入而输出模拟不合格品图像的方式通过机械学习预先训练出的已学习模型。然后,结束处理。
如以上说明的那样,实施方式所涉及的图像恢复装置100具备图像获取部110和图像输出部120。图像获取部110获取通过利用屏蔽区域对物品映现的物品图像中至少一部的规定区域进行屏蔽生成的屏蔽图像。然后,图像输出部使用恢复器121,输出与通过图像获取部110获取到的屏蔽图像对应的恢复图像。此外,以根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的方式通过机械学习而预先训练出恢复器121。
更具体而言,在实施方式中,图像获取部110获取合格品屏蔽图像作为屏蔽图像,该合格品屏蔽图像通过将缺陷候补区域作为规定区域进行屏蔽而生成,该缺陷候补区域被预先决定为在不包含缺陷的物品映现的物品图像亦即合格品图像中与在制造时产生缺陷的频率较高的物品的部位对应。另外,以输出为了模拟再现包含缺陷的物品映现的物品图像亦即不合格品图像而恢复的模拟不合格品图像作为恢复图像的方式,通过基于不合格品图像、和作为通过将该不合格品图像中与缺陷对应的缺陷区域作为规定区域进行屏蔽生成的屏蔽图像的不合格品屏蔽图像的机械学习预先训练出恢复器121。图像输出部120使用恢复器121,输出与通过图像获取部110获取到的合格品屏蔽图像对应的模拟不合格品图像。
根据上述那样的构成,能够使用恢复器121,根据通过物品图像和屏蔽区域生成的屏蔽图像,容易地量产能够与物品图像相同地进行处理的恢复图像。因此,例如在执行使用了物品图像的学习的情况下,不仅能够使用物品图像也能够使用恢复图像作为学习用的图像,所以能够容易地增加能够使用于学习的图像的数目。
更具体而言,根据上述那样的构成,能够基于合格品图像量产能够与不合格品图像相同地进行处理的模拟不合格品图像。因此,例如在执行使用了物品图像的学习的情况下,能够执行使用了合格品图像、不合格品图像、模拟不合格品图像的更高精度的学习。
这里,在实施方式中,图像获取部110能够通过对屏蔽区域执行至少包含膨胀或者收缩的第一图像处理,来增加合格品屏蔽图像的数目。根据这样的构成,能够通过第一图像处理,容易地增加成为模拟不合格品图像的基础的合格品屏蔽图像的变化。因此,能够容易地量产模拟不合格品图像。
另外,在实施方式中,图像获取部110能够通过对合格品屏蔽图像中的屏蔽区域以外的区域执行包含加噪、增益调整、对比度调整、以及平均化中一个以上的第二图像处理,来增加合格品屏蔽图像的数目。根据这样的构成,能够通过第二图像处理,容易地增加成为模拟不合格品图像的基础的合格品屏蔽图像的变化。因此,能够容易地量产模拟不合格品图像。
此外,在实施方式中,图像获取部110通过将合格品图像与在预先决定的位置包含屏蔽区域的模板图像合成,来获取合格品屏蔽图像。根据这样的构成,能够仅通过将两种图像合成,来容易地获取合格品屏蔽图像。
<恢复器生成装置>
然而,为了适当地实现上述那样的图像恢复装置100,恢复器121的屏蔽图像的恢复的精度较高比较重要。因此,实施方式通过具有以下的图4所示那样的功能的恢复器生成装置400,实现得到为了适当地实现能够容易地增加能够使用于机械学习的图像的数目的图像恢复装置100所需要的精度较高的恢复器121。
图4是表示实施方式所涉及的恢复器生成装置400的功能的例示且示意性的框图。如图4所示,实施方式所涉及的恢复器生成装置400具备图像获取部410和学习执行部420。
图像获取部410获取通过利用屏蔽区域对物品映现的物品图像中至少一部分的规定区域进行屏蔽生成的屏蔽图像。更具体而言,图像获取部110获取不合格品屏蔽图像作为屏蔽图像,该不合格品屏蔽图像通过将包含缺陷的物品映现的物品图像亦即不合格品图像中与缺陷对应的缺陷区域作为规定区域进行屏蔽而生成。
学习执行部420生成应该成为上述的恢复器121(参照图1以及图2)的恢复器421。更具体而言,学习执行部420通过执行基于通过图像获取部410获取到的屏蔽图像、和作为该屏蔽图像的基础的物品图像的机械学习的训练,生成根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的恢复器421。
更详细而言,学习执行部420通过执行基于由图像获取部410获取到的不合格品屏蔽图像、和成为该不合格品屏蔽图像的基础的不合格品图像的机械学习的训练,生成输出为了模拟再现不合格品图像而从不合格品屏蔽图像恢复的模拟不合格品图像作为恢复图像的恢复器421。
这里,虽然后述具体例,但学习执行部420以使从恢复器421输出的模拟不合格品图像与为了得到该模拟不合格品图像的输出而输入恢复器421的不合格品屏蔽图像的基础亦即不合格品图像的特征之差进一步减小的方式,执行对恢复器421的基于机械学习的训练。由此,能够在接受恢复器421的恢复结果亦即恢复图像与作为源数据的物品图像的特征之差的反馈的同时,促进基于机械学习的训练。
虽然可以利用任何的方法获取应该接受反馈的上述那样的特征之差,但在实施方式中,学习执行部420使用评价器422获取应该接受反馈的上述那样的特征之差。评价器422是以根据模拟不合格品图像和不合格品图像的输入而输出两者的特征之差的方式通过机械学习预先训练出的已学习模型。这样的评价器422能够构成为引用在使用了图像的机械学习的领域一般被使用的评价器(分类器)。
根据以上那样的构成,能够利用实际存在缺陷的不合格品图像,生成输出精度较好的模拟不合格品图像的恢复器421,并将生成的恢复器421利用为上述的恢复器121(参照图1以及图2)。因此,根据实施方式所涉及的恢复器生成装置400,实现得到为了适当地实现能够容易地增加能够使用于机械学习的图像的数目的图像恢复装置100(参照图1)所需要的精度较高的恢复器121。
此外,在实施方式中,图像获取部410构成为能够通过对屏蔽区域执行至少包含膨胀或者收缩的第一图像处理,来增加不合格品屏蔽图像的数目。另外,图像获取部110构成为也能够通过对不合格品屏蔽图像中屏蔽区域以外的区域执行包含加噪、增益调整、对比度调整、以及平均化中一个以上的第二图像处理,来增加不合格品屏蔽图像的数目。根据这样的构成,能够容易地增加用于生成恢复器421的机械学习所使用的图像亦即不合格品屏蔽图像的数目。
图5是用于更具体地说明对实施方式所涉及的恢复器421的基于机械学习的训练的方法的例示且示意性的图。虽然在上述也简单地进行了说明,但如图5所示,考虑从恢复器421输出的模拟不合格品图像与为了得到该模拟不合格品图像的输出而输入到恢复器421的不合格品屏蔽图像的基础亦即不合格品图像的特征之差来执行对实施方式所涉及的恢复器421的基于机械学习的训练。
在图5所示的例子中,输入恢复器421的不合格品屏蔽图像的基础亦即不合格品图像包括多个图像511、512、513、…。图像511是在焊接部分wp包含缺陷511a的物品pg映现的图像。此外,虽然在图5所示的例子中省略了详细的图示,但图像512以及513也与图像511相同,是在焊接部分wp包含缺陷的物品pg映现的图像。此外,在图像512以及513映现的物品pg与在图像511映现的物品pg既可以一致,也可以不一致。在图像512以及513映现的物品pg与在图像511映现的物品pg一致的情况下,若各个图像中的焊接部位wp的缺陷的映现方式或者种类不同,则能够确保多样性。
另外,在图5所示的例子中,不合格品屏蔽图像包括多个图像521、522、523、…。图像221是通过作为屏蔽区域的区域521a对与在作为不合格品图像的图像511映现的缺陷511a对应的缺陷区域进行屏蔽后的图像。此外,虽然在图5所示的例子中省略了详细的图示,但图像522以及523也与图像521相同,是通过屏蔽区域对于在不合格品图像映现的缺陷对应的缺陷区域进行屏蔽而得的图像。基本而言,屏蔽区域的大小手动地设定为大致覆盖在不合格品图像映现的缺陷的程度的大小。
另外,在图5所示的例子中,根据不合格品屏蔽图像的输入而由恢复器421生成的模拟不合格品图像包括多个图像531、532、533、…。图像531是以作为看起来如实际的缺陷那样的区域531a模拟再现作为不合格品屏蔽图像的图像521所包含的屏蔽区域亦即区域521a的方式,通过基于机械学习的训练中的恢复器421从图像521恢复的图像。此外,虽然在图5所示的例子中省略了详细的图示,但图像532以及533也与图像531相同,是以作为看起来如实际的缺陷那样的区域模拟再现不合格品屏蔽图像所包括的屏蔽区域的方式通过恢复器421从不合格品屏蔽图像恢复的图像。
这里,在实施方式中,期望使从恢复器421输出的模拟不合格品图像,为了得到该模拟不合格品图像的输出而输入恢复器421的不合格品屏蔽图像的基础亦即不合格品图像相似。因此,如上述那样,实施方式使用以根据模拟不合格品图像和不合格品图像的输入而输出两者的特征之差的方式通过机械学习预先训练出的已学习模型亦即评价器422执行两者的特征之差的评价,以接受该评价的结果的反馈,并且减小两者的特征之差的方式,促进对恢复器421的基于机械学习的训练。
在图5所示的例子中,作为以按照特征进行分类的状态示出根据共用的多个特征对模拟不合格品图像和不合格品图像进行评价的结果的如棒状图表540那样的形式的数据得到评价器422的评价的结果。在图5所示的棒状图表540中,根据影线的有无来区分模拟不合格品图像的特征a、b、c、…相关的评价值、和不合格品图像的特征a、b、c、…相关的评价值。此外,在图5所示的例子中,为了容易理解,作为棒状图表540示出从评价器422输出的数据,但在实施方式中,只要是明确模拟不合格品图像与不合格品图像的各特征之差的数据,则可以从评价器422输出任何的形式的数据。
这样,在实施方式中,通过利用评价器422的评价的结果促进对恢复器421的基于机械学习的训练,能够提高恢复器421的恢复的精度,生成适于作为上述的恢复器121(参照图1以及图2)的利用的恢复器421。
另外,在实施方式中,如上述那样,能够对不合格品屏蔽图像的屏蔽区域执行至少包含膨胀或者收缩的第一图像处理。如上述那样,屏蔽区域的膨胀或者收缩对不合格品屏蔽图像的虚增有效。另外,如以下的图6所示,屏蔽区域的膨胀或者收缩在通过更广泛地考虑与实际的缺陷相关的信息来促进基于机械学习的训练,也能够实现恢复器421的恢复的精度的提高这一点有效。
图6是用于更具体地说明能够在实施方式所涉及的恢复器的生成时执行的屏蔽区域的膨胀或者收缩的效果的例示且示意性的图。在图6所示的例子中,实线的圆600与成为膨胀或者收缩的基准的基本的屏蔽区域对应,点划线的圆610与进行收缩的屏蔽区域对应,双点划线的圆620与进行膨胀的屏蔽区域对应。
如上述那样,基本而言,屏蔽区域的大小手动地设定为大致覆盖在不合格品图像映现的缺陷的程度的大小。因此,实线的圆600所示的基本的屏蔽区域大致覆盖实际的缺陷,根据包含该基本的屏蔽区域的不合格品屏蔽图像,大致仅能够得到缺陷的边界的外侧的区域的信息,作为缺陷相关的信息。
与此相对,由点划线的圆610示出的进行了收缩的屏蔽区域比由实线的圆600示出的基本的屏蔽区域小。因此,由点划线的圆610示出的进行了收缩的屏蔽区域不覆盖实际的缺陷的边界的内侧的边缘附近的区域,根据包含该进行了收缩的屏蔽区域的不合格品屏蔽图像,不仅能够得到缺陷的边界的外侧的区域的信息,还能够得到缺陷的边界的内侧的边缘附近的区域相关的信息,作为缺陷相关的信息。
另外,由双点划线的圆620示出的进行了膨胀的屏蔽区域比由实线的圆600所示的基本的屏蔽区域大。因此,由双点划线的圆620示出的进行了膨胀的屏蔽区域不仅大致覆盖实际的缺陷,还覆盖到实际的缺陷的边界的外侧的边缘附近的区域,根据包含该进行了膨胀的屏蔽区域的不合格品屏蔽图像,能够得到与缺陷的边界的外侧的边缘附近的区域相比更靠外侧的区域相关的信息,作为缺陷相关的信息。
这样,屏蔽区域的膨胀或者收缩能够更广泛地得到与实际的缺陷相关的信息。认为这样的广泛的信息作为模拟再现缺陷的根据发挥作用,所以若基于通过屏蔽区域的膨胀或者收缩虚增的不合格品屏蔽图像促进基于机械学习的训练,则恢复器421的恢复的精度提高。
基于以上的构成,实施方式所涉及的恢复器生成装置400按照以下的图7所示的流程,生成恢复器421。
图7是表示实施方式所涉及的恢复器生成装置400执行的一系列的处理的例示且示意性的流程图。
如图7所示,在实施方式中,首先,在s701中,恢复器生成装置400的图像获取部410获取不合格品屏蔽图像。如上述那样,不合格品屏蔽图像是指通过屏蔽区域对作为包含缺陷的物品映现的物品图像的不合格品图像中与缺陷对应的缺陷区域进行屏蔽的图像。
然后,在s702中,恢复器生成装置400的学习执行部420使用恢复器421,根据在s701获取到的不合格品屏蔽图像,生成模拟再现不合格品图像的模拟不合格品图像。
然后,在s703中,恢复器生成装置400的学习执行部420使用评价器422,获取在s702中从恢复器421输出的模拟不合格品图像与为了得到该模拟不合格品图像的输出而在s702中输入恢复器421的不合格品屏蔽图像的基础亦即不合格品图像的特征之差。
然后,在s704中,恢复器生成装置400的学习执行部420通过接受在s703获取的特征之差的反馈并且促进对恢复器421的基于机械学习的训练,来以能够根据不合格品屏蔽图像的输入而输出接近该不合格品屏蔽图像的基础亦即不合格品图像的模拟不合格品图像的方式调整恢复器421。然后,结束处理。
实施方式所涉及的恢复器生成装置400通过反复执行s701~s704的一系列的处理,提高恢复器421的恢复的精度,生成适合作为上述的恢复器121(参照图1以及图2)的利用的恢复器421。
如以上说明的那样,实施方式所涉及的恢复器生成装置400具备图像获取部410和学习执行部420。图像获取部410获取通过利用屏蔽区域对物品映现的物品图像中至少一部分的规定区域进行屏蔽生成的屏蔽图像。另外,学习执行部420通过执行基于通过图像获取部410获取到的屏蔽图像、和作为该屏蔽图像的基础的物品图像的机械学习的训练,生成根据屏蔽图像的输入而输出为了模拟再现物品图像从该屏蔽图像恢复的恢复图像的恢复器421。
更具体而言,在实施方式中,图像获取部410获取不合格品屏蔽图像作为屏蔽图像,其中,该不合格品屏蔽图像通过将包含缺陷的物品映现的物品图像亦即不合格品图像中与缺陷对应的缺陷区域作为规定区域进行屏蔽而生成。而且,学习执行部420通过执行基于通过图像获取部410获取到的不合格品屏蔽图像、和该不合格品屏蔽图像的基础亦即不合格品图像的机械学习的训练,生成输出以模拟再现不合格品图像作为物品图像的方式恢复的模拟不合格品图像作为恢复图像的恢复器421。
根据上述那样的构成,能够生成能够容易地量产能够与物品图像相同地进行处理的恢复图像的恢复器421。更具体而言,能够生成能够量产可与不合格品图像相同地进行处理的模拟不合格品图像的适于图像恢复装置100(参照图1)的恢复器421。因此,能够生成例如在执行使用了物品图像的学习的情况下能够容易地增加能够使用于该学习的图像的数目的适于图像恢复装置100(参照图1)的恢复器421。
这里,在实施方式中,学习执行部420以进一步减小从恢复器421输出的擬似不合格品图像与为了得到该擬似不合格品图像的输出而输入恢复器421的不合格品屏蔽图像的基础亦即不合格品图像的特征之差的方式,执行对恢复器421的基于机械学习的训练。根据这样的构成,能够接受两个图像的特征之差的反馈,并且使恢复器421的恢复的精度提高。
更具体而言,学习执行部420使用以根据从恢复器421输出的擬似不合格品图像、和为了得到该擬似不合格品图像的输出而输入恢复器421的不合格品屏蔽图像的基础亦即不合格品图像的输入而输出两者的特征之差的方式通过机械学习预先训练出的评价器422,来获取两者的特征之差。根据这样的构成,能够使用评价器422,容易地获取两者的图像的特征之差。
此外,在实施方式中,图像获取部410能够通过对屏蔽区域执行至少包含膨胀或者收缩的第一图像处理,增加不合格品屏蔽图像的数目。根据这样的构成,能够通过第一图像处理,容易地增加成为擬似不合格品图像的基础的不合格品屏蔽图像的变化。因此,能够基于更多的数据执行对恢复器421的基于机械学习的训练,所以能够使恢复器421的恢复的精度提高。
另外,在实施方式中,图像获取部410能够通过对屏蔽图像中屏蔽区域以外的区域执行包含加噪、增益调整、对比度调整、以及平均化中一个以上的第二图像处理,增加不合格品屏蔽图像的数目。根据这样的构成,能够通过第二图像处理,容易地增加成为擬似不合格品图像的基础的不合格品屏蔽图像的变化。因此,能够基于更多的数据执行对恢复器421的基于机械学习的训练,所以能够使恢复器421的恢复的精度提高。
<判定器生成装置>
如上述那样,通过作为机械学习的训练完成的恢复器421(参照图4以及图5)的恢复器121(参照图1以及图2)生成的模拟不合格品图像能够在用于生成用于判定物品的缺陷的有无的已学习模型的机械学习中进行使用。实施方式通过具有以下的图8所示那样的功能的判定器生成装置800,生成用于判定物品的缺陷的有无的已学习模型亦即判定器821。
图8是表示实施方式所涉及的判定器生成装置800的功能的例示且示意性的框图。如图8所示,实施方式所涉及的判定器生成装置800具备图像获取部810、和学习执行部820。
图像获取部810获取对判定器821的基于机械学习的训练所使用的学习用图像。学习用图像包括合格品图像、不合格品图像、以及模拟不合格品图像。此外,已经说明了合格品图像、不合格品图像、以及模拟不合格品图像是何种图像,所以这里省略说明。图像获取部810分别大量地获取合格品图像、不合格品图像、以及模拟不合格品图像。
学习执行部820执行基于通过图像获取部810获取的学习用图像的机械学习的训练,使判定器821对学习用图像(的特征)与在该学习用图像映现的物品相关的判定结果的对应关系进行学习。更具体而言,学习执行部820利用以下的图9所示那样的方法,执行对判定器821的基于机械学习的训练。
图9是用于说明实施方式所涉及的对判定器821的基于机械学习的训练的方法的例示且示意性的图。
如图9所示,学习执行部820使判定器821学习作为学习用图像的合格品图像(的特征)与在该合格品图像映现的物品不包含缺陷这样的判定结果的对应关系、作为学习用图像的不合格品图像(的特征)与在该不合格品图像映现的物品包含缺陷这样的判定结果的对应关系、以及作为学习用图像的模拟不合格品图像(的特征)与在该模拟不合格品图像映现的物品包含缺陷这样的判定结果的对应关系。由此,学习执行部820生成即使在输入了未知的物品图像的情况下也能够输出在该物品图像映现的物品的缺陷的有无相关的判定结果的判定器821。
基于以上的构成,实施方式所涉及的判定器生成装置800根据以下的图9所示那样的流程,生成判定器821。
图10是表示实施方式所涉及的判定器生成装置800执行的一系列的处理的例示且示意性的流程图。
如图10所示,在实施方式中,首先在s1001中,判定器生成装置800的图像获取部810获取包含合格品图像、不合格品图像、模拟不合格品图像的学习用图像。
然后,在s1002中,判定器生成装置800的学习执行部820执行对判定器821的基于机械学习的训练以使其学习在s1001获取的学习用图像(的特征)与在该学习用图像映现的物品的缺陷的有无相关的判定结果的对应关系,生成即使在输入了未知的物品图像的情况下也能够输出在该物品图像映现的物品的缺陷的有无相关的判定结果的判定器821。然后,结束处理。
如以上说明的那样,实施方式所涉及的判定器生成装置800具备图像获取部810、和学习执行部820。图像获取部810获取包括使用作为上述那样的基于机械学习的训练完成的恢复器421(参照图4以及图5)的恢复器121(参照图1以及图2)得到的恢复图像和物品图像的学习用图像。学习执行部820执行基于由图像获取部810获取到的学习用图像的机械学习的训练,生成根据物品图像的输入而输出在该物品图像映现的物品相关的判定结果的判定器821。
根据上述的判定器生成装置,例如与仅使用物品图像执行对判定器821的基于机械学习的训练的情况不同,能够使用包含进行了量产的恢复图像和物品图像的许多的学习用图像,使对判定器821的基于机械学习的训练的精度提高。因此,能够生成能够得到在物品图像映现的物品相关的高精度的判定结果的判定器821。
<物品判定装置>
如上述那样,机械学习的训练完成的判定器821(参照图8以及图9)能够利用于物品的缺陷的有无的判定。实施方式通过具有以下的图11所示那样的功能的物品判定装置1100,判定物品的缺陷的有无。
图11是表示实施方式所涉及的物品判定装置1100的功能的例示且示意性的框图。如图11所示,实施方式所涉及的物品判定装置1100具备图像获取部1110和判定输出部1120。
图像获取部1110获取物品映现的物品图像。例如通过利用拍摄装置拍摄基于加工装置等的加工后的物品来得到物品图像。
判定输出部1120使用判定器1121,输出在通过图像获取部1110获取到的物品图像映现的物品相关的判定结果。判定器1121是基于机械学习的训练完成的上述的判定器821(参照图8以及图9)。因此,判定器1121根据由图像获取部1110获取到的物品图像的输入,输出在该物品图像映现的物品的缺陷的有无相关的判定结果。
基于以上的构成,实施方式所涉及的物品判定装置1100按照以下的图12所示那样的流程,输出物品的缺陷的有无相关的判定结果。
图12是表示实施方式所涉及的物品判定装置执行的一系列的处理的例示且示意性的流程图。
如图12所示,在实施方式中,首先在s1201中,物品判定装置1100的图像获取部1110获取物品映现的物品图像。
然后,在s1202中,物品判定装置1100的判定输出部1120使用判定器1121,输出在s1201获取到的物品图像映现的物品的缺陷的有无相关的判定结果。然后,结束处理。
如以上说明的那样,实施方式所涉及的物品判定装置1100具备图像获取部1110和判定输出部1120。图像获取部1110获取物品映现的物品图像。判定输出部1120使用作为上述那样的基于机械学习的训练完成的判定器821(参照图8以及图9)的判定器1121,输出在由图像获取部1110获取到的物品图像映现的物品相关的判定结果。
根据上述那样的构成,使用通过使用了包括进行了量产的恢复图像和物品图像的许多的学习用图像的机械学习预先训练以得到高精度的判定结果的判定器1121,能够得到在物品图像映现的物品相关的高精度的判定结果。
<用于实现实施方式的功能的硬件构成>
图1、图4、图8、以及图11等所示的上述的实施方式的功能均能够通过以下的图13所示那样的具备与通常的计算机相同的硬件资源的信息处理装置1300实现。
图13是表示用于实现实施方式所涉及的图像恢复装置100(参照图1)、恢复器生成装置400(参照图4)、判定器生成装置800(参照图8)、以及物品判定装置1100(参照图11)的信息处理装置1300的硬件构成的例示且示意性的图。
如图13所示,实施方式所涉及的信息处理装置1300具备处理器1310、存储器1320、储存器1330、输入输出接口(i/f)1340、以及通信接口(i/f)1350。这些硬件与总线1360连接。
处理器1310例如作为cpu(中央运算处理装置)构成,整体控制信息处理装置1300的各部的动作。存储器1320例如包括rom(只读存储器)以及ram(随机访问存储器),实现通过处理器1310执行的程序等各种数据的易失性或者非易失性的存储、以及用于处理器1310执行程序的工作区的提供等。
储存器1330例如包括hdd(硬盘驱动器)或者ssd(固盘),非易失性地存储各种数据。输入输出接口1340控制向信息处理装置1300的数据的输入以及从信息处理装置1300的数据的输出。通信接口1350能够使使信息处理装置1300经由因特网那样的网络与其它的装置执行通信。
作为处理器1310执行存储于存储器1320或者储存器1330的图像恢复程序的结果在功能上实现上述的图像恢复装置100(参照图1)。同样地,分别作为处理器1310执行恢复器生成程序、判定器生成程序、以及物品判定程序的结果在功能上实现上述的恢复器生成装置400(参照图4)、判定器生成装置800(参照图8)、以及物品判定装置1100(参照图11)。但是,在实施方式中,也可以作为专用的硬件(电路)实现在上述的图像恢复装置100、恢复器生成装置400、判定器生成装置800、以及物品判定装置1100实现的功能的至少一部分。
此外,在实施方式所涉及的信息处理装置1300中执行的各种程序既可以以预先设置于存储器1320以及储存器1330等那样的存储装置的状态提供,也可以作为以能够安装的形式或者能够执行的形式记录于软盘(fd)那样的各种磁盘、以及dvd(digitalversatiledisk:数字通用盘)那样的各种光盘等计算机能够读取的非暂时的记录介质的计算机程序产品提供。
另外,在实施方式中执行的各种程序也可以经由因特网等网络提供或者分发。即,也可以在储存于与因特网等网络连接的计算机上的状态下,以从该计算机经由网络下载这样的方式提供在实施方式中执行的各种程序。并且,在实施方式中使用的各种已学习模型也相同,也可以经由因特网等网络提供或者分发。
以上,对本公开的实施方式进行了说明,但上述的实施方式仅为一个例子,并不对发明的范围进行限定。上述的新的实施方式能够以各种方式实施,在不脱离发明的主旨的范围内,能够进行各种省略、置换、变更。上述的实施方式及其变形包含于发明的范围、主旨,并且包含在本发明的保护范围所记载的发明及其同等的范围内。
1.一种图像恢复装置,具备:
图像获取部,获取屏蔽图像,其中,上述屏蔽图像是通过利用屏蔽区域对物品所映现的物品图像中的至少一部分的规定区域进行屏蔽而生成的;以及
图像输出部,使用恢复器输出与通过上述图像获取部获取到的上述屏蔽图像对应的恢复图像,其中,上述恢复器是通过机械学习以根据上述屏蔽图像的输入而输出为了模拟再现上述物品图像从上述屏蔽图像恢复的上述恢复图像的方式而预先训练出的。
2.根据权利要求1所述的图像恢复装置,其中,
上述图像获取部获取合格品屏蔽图像作为上述屏蔽图像,其中,上述合格品屏蔽图像通过将缺陷候补区域作为上述规定区域进行屏蔽而生成,上述缺陷候补区域被预先决定为在合格品图像中与在制造时产生上述缺陷的频率较高的上述物品的部位对应,上述合格品图像是不包含缺陷的上述物品所映现的上述物品图像,
上述图像输出部为了将以模拟再现不合格品图像的方式恢复的模拟不合格品图像输出作为上述恢复图像,而使用上述恢复器,输出与通过上述图像获取部获取到的上述合格品屏蔽图像对应的上述模拟不合格品图像,其中,上述不合格品图像是包含上述缺陷的上述物品所映现的上述物品图像,上述恢复器是通过基于上述不合格品图像和作为上述屏蔽图像的不合格品屏蔽图像的上述机械学习而预先训练出的,通过将该不合格品图像中与上述缺陷对应的缺陷区域作为上述规定区域进行屏蔽而生成上述不合格品屏蔽图像。
3.根据权利要求1或2所述的图像恢复装置,其中,
上述图像获取部通过对上述屏蔽区域执行至少包含膨胀或者收缩的第一图像处理,来增加上述屏蔽图像的数目。
4.根据权利要求1~3中任一项所述的图像恢复装置,其中,
上述图像获取部通过对上述屏蔽图像中的上述屏蔽区域以外的区域执行第二图像处理,来增加上述屏蔽图像的数目,其中,上述第二图像处理包含加噪、增益调整、对比度调整以及平均化中的一个以上。
5.根据权利要求1~4中任一项所述的图像恢复装置,其中,
上述图像获取部通过合成上述物品图像和在预先决定的位置包括上述屏蔽区域的模板图像,来获取上述屏蔽图像。
6.一种图像恢复方法,包括:
图像获取步骤,获取通过利用屏蔽区域对物品映现的物品图像中至少一部分的规定区域进行屏蔽而生成的屏蔽图像;以及
图像输出步骤,使用恢复器,输出与通过上述图像获取步骤获取到的上述屏蔽图像对应的恢复图像,其中,上述恢复器是以根据上述屏蔽图像的输入而输出为了模拟再现上述物品图像从该屏蔽图像恢复的上述恢复图像的方式通过机械学习而预先训练出的。
7.一种恢复器生成装置,具备:
图像获取部,获取屏蔽图像,其中,上述屏蔽图像是通过利用屏蔽区域对物品所映现的物品图像中至少一部分的规定区域进行屏蔽而生成的;以及
学习执行部,通过执行基于由上述图像获取部获取到的上述屏蔽图像、和该屏蔽图像的基础亦即上述物品图像的机械学习的训练,生成根据上述屏蔽图像的输入而输出为了模拟再现上述物品图像从该屏蔽图像恢复的恢复图像的恢复器。
8.根据权利要求7所述的恢复器生成装置,其中,
上述图像获取部获取不合格品屏蔽图像作为上述屏蔽图像,其中,上述不合格品屏蔽图像通过将在不合格品图像中与缺陷对应的缺陷区域作为上述规定区域进行屏蔽而生成,上述不合格品图像是包含上述缺陷的上述物品所映现的上述物品图像,
上述学习执行部通过执行基于通过上述图像获取部获取到的上述不合格品屏蔽图像、和该不合格品屏蔽图像的基础亦即上述不合格品图像的上述机械学习的训练,生成将模拟不合格品图像输出作为上述恢复图像的上述恢复器,其中,为了将上述不合格品图像模拟再现作为上述物品图像而恢复上述模拟不合格品图像。
9.根据权利要求7或8所述的恢复器生成装置,其中,
上述学习执行部以进一步减小从上述恢复器输出的上述恢复图像与为了得到该恢复图像的输出而输入上述恢复器的上述屏蔽图像的基础亦即上述物品图像的特征之差的方式,执行对上述恢复器的基于机械学习的训练。
10.根据权利要求9所述的恢复器生成装置,其中,
上述学习执行部使用评价器来获取上述特征之差,其中,上述评价器是通过机械学习以根据上述恢复图像和上述物品图像的输入而输出上述特征之差的方式而预先训练出的,其中,从上述恢复器输出上述恢复图像,上述物品图像是为了得到该恢复图像的输出而输入上述恢复器的上述屏蔽图像的基础。
11.根据权利要求7~10中任一项所述的恢复器生成装置,其中,
上述图像获取部通过对上述屏蔽区域执行至少包含膨胀或者收缩的第一图像处理,来增加上述屏蔽图像的数目。
12.根据权利要求7~11中任一项所述的恢复器生成装置,其中,
上述图像获取部通过对上述屏蔽图像中的上述屏蔽区域以外的区域执行第二图像处理,来增加上述屏蔽图像的数目,其中,上述第二图像处理包含加噪、增益调整、对比度调整以及平均化中的一个以上。
13.一种恢复器生成方法,包括:
图像获取步骤,获取通过利用屏蔽区域对物品所映现的物品图像中的至少一部分的规定区域进行屏蔽而生成的屏蔽图像;以及
学习执行步骤,通过执行基于通过上述图像获取步骤获取到的上述屏蔽图像、和该屏蔽图像的基础亦即上述物品图像的机械学习的训练,生成根据上述屏蔽图像的输入而输出为了模拟再现上述物品图像从该屏蔽图像恢复的恢复图像的恢复器。
14.一种判定器生成装置,具备:
图像获取部,获取学习用图像,其中,上述学习用图像包括使用恢复器得到的恢复图像和物品图像,上述恢复器是以根据屏蔽图像的输入而输出为了模拟再现上述物品图像从该屏蔽图像恢复的上述恢复图像的方式通过机械学习预先训练出的,上述屏蔽图像是通过利用屏蔽区域对物品所映现的上述物品图像中的至少一部分的规定区域进行屏蔽而生成的;以及
学习执行部,执行基于通过上述图像获取部获取到的上述学习用图像的机械学习的训练,生成根据上述物品图像的输入而输出与在该物品图像映现的上述物品相关的判定结果的判定器。
15.一种判定器生成方法,包括:
图像获取步骤,获取学习用图像,其中,上述学习用图像包括使用恢复器得到的恢复图像和物品图像,上述恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现上述物品图像从该屏蔽图像恢复的上述恢复图像的方式而预先训练出的,上述屏蔽图像是通过利用屏蔽区域对物品所映现的上述物品图像中的至少一部分的规定区域进行屏蔽而生成的;以及
学习执行步骤,执行基于通过上述图像获取步骤获取到的上述学习用图像的机械学习的训练,生成根据上述物品图像的输入而输出与在该物品图像映现的上述物品相关的判定结果的判定器。
16.一种物品判定装置,具备:
图像获取部,获取物品所映现的物品图像;以及
判定输出部,通过基于包括恢复图像、和上述物品图像的学习用图像的机械学习,使用判定器,输出在通过上述图像获取部获取到的上述物品图像映现的上述物品相关的判定结果,其中,上述恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现上述物品图像从该屏蔽图像恢复的上述恢复图像的方式而预先训练出的,上述屏蔽图像是通过利用屏蔽区域对物品图像中的至少一部分的规定区域进行屏蔽而生成的,上述判定器被预先训练为根据上述物品图像的输入而输出与在上述物品图像映现的上述物品相关的判定结果。
17.一种物品判定方法,包括:
图像获取步骤,获取物品所映现的物品图像;以及
判定输出步骤,通过基于包括恢复图像、和上述物品图像的学习用图像的机械学习,使用判定器,输出在通过上述图像获取步骤获取到的上述物品图像映现的上述物品相关的判定结果,其中,上述恢复器是通过机械学习以根据屏蔽图像的输入而输出为了模拟再现上述物品图像从该屏蔽图像恢复的上述恢复图像的方式而预先训练出的,上述屏蔽图像是通过利用屏蔽区域对物品图像中的至少一部分的规定区域进行屏蔽而生成的,上述判定器被预先训练为根据上述物品图像的输入而输出与在上述物品图像映现的上述物品相关的判定结果。
技术总结