本发明实施例涉及产品检测领域，特别涉及缺陷图片生成网络的获得方法、装置和缺陷图片生成方法。
背景技术：
在产品检测过程的缺陷检测过程中，利用产品的图片进行缺陷检测，尤其是一些内部缺陷，会通过x光图来检测，现有技术中，通过人眼归纳x光图在工业领域成像出来图像缺陷的特征，以汽车轮毂生产为例，轮毂是由工业镁铝合金等压铸而成，在工业原料中可能存在杂质，或生产工艺流程中可能温湿度时间间隔的控制存在差异，轮毂在压铸完成之后，需要利用x光检测轮毂内部是否存在缺陷，以及检测缺陷的大小，长度，密度，由于图片量大，人工归纳的缺陷特征有诸多缺陷，如只能识别肉眼可见缺陷、缺陷特征较为规整等问题。
技术实现要素：
本发明实施方式的目的在于提供一种缺陷图片生成网络的获得方法、装置和缺陷图片生成方法，使得自动生成符合实际的缺陷图片，从而使得缺陷可以被自动检测出，且特征提取精准。
为解决上述技术问题，本发明的实施方式提供了一种缺陷图片生成网络的获得方法，包括：生成步骤，利用第一神经网络以指定的生成规则生成第一缺陷图片，所述第一神经网络中设有缺陷图片的生成参数；判别步骤，利用第二神经网络对所述第一缺陷图片进行真伪判别，获得判别结果，输出所述第一缺陷图片的特征向量，所述第二神经网络中设有缺陷图片的判别参数，所述判别参数用于表征缺陷图片的特征；优化步骤，根据所述判别结果和所述第二神经网络输出的对应第一缺陷图片的特征向量优化所述第一神经网络中的所述生成参数和/或所述第二神经网络中的所述判别参数；处理步骤，判断所述第一缺陷图片的特征向量和所述判别参数的差是否符合预设条件，在所述差符合所述预设条件时，执行输出步骤；所述输出步骤，输出优化后的所述第一神经网络作为缺陷图片生成网络。
本发明的实施方式还提供了一种缺陷图片生成网络的获得装置，包括：生成模块，用于利用第一神经网络以指定的生成规则生成第一缺陷图片，所述第一神经网络中设有缺陷图片的生成参数；判别模块，用于利用第二神经网络对所述第一缺陷图片进行真伪判别，获得判别结果，输出所述第一缺陷图片的特征向量，所述第二神经网络中设有缺陷图片的判别参数，所述判别参数用于表征缺陷图片的特征；优化模块，用于根据所述判别结果和所述第二神经网络输出的对应第一缺陷图片的特征向量优化所述第一神经网络中的所述生成参数和/或所述第二神经网络中的所述判别参数；处理模块，用于判断所述第一缺陷图片的特征向量和所述判别参数的差是否符合预设条件，在所述差符合所述预设条件时，触发输出模块；所述输出模块，用于输出优化后的所述第一神经网络作为缺陷图片生成网络。
本发明的实施方式还提供了一种缺陷图片生成方法，包括：利用缺陷图片生成网络生成缺陷图片；其中，所述缺陷图片生成网络由上述的缺陷图片生成网络的获得方法中获得。
本发明的实施方式还提供了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上述的缺陷图片生成网络的获得方法。
本发明的实施方式还提供了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现上述的缺陷图片生成网络的获得方法。
本发明实施方式相对于现有技术而言，主要区别及其效果在于：现有技术中通过人为总结缺陷特征，之后根据总结出的特征人为合成缺陷图片，这个过程中，由于总结的缺陷特征具有局限性，使得合成的缺陷图片具有特征不全、缺陷形式较为单一等问题，使得自动检测缺陷精准度较差，而本申请通过两个神经网络互相配合，利用第一网络生成缺陷图片欺骗第二网络，第二网络判别第一网络生成图片的真伪，根据第二网络的判别结果优化第一网络或第二网络，两个网络相互对抗，使得第一网络生成的缺陷图片趋近于真实图片，从而使得缺陷可以被自动检测出，且检测结果精准。
作为进一步改进，所述处理步骤还包括：在所述第一缺陷图片的特征向量和优化后的所述判别参数的差不符合所述预设条件时，重复执行所述生成步骤、所述判别步骤和所述优化步骤，直至所述第一缺陷图片的特征向量和优化后的所述判别参数的差符合所述预设条件。明确方案中可以多次优化第一神经网络或第二神经网络，使得第一神经网络生成的缺陷图片更加趋近于真实缺陷图片。
作为进一步改进，所述优化步骤包括：若所述判别结果包括所述第一缺陷图片为伪造图片，则将所述第二神经网络输出的对应所述第一缺陷图片的特征向量反馈至所述第一神经网络，供所述第一神经网络优化所述生成参数；若所述判别结果包括所述第一缺陷图片为真实图片，则将所述第二神经网络输出的对应所述第一缺陷图片的特征向量反馈至所述第二神经网络，供所述第二神经网络优化所述判别参数。上述方案明确优化的具体方式。
作为进一步改进，所述生成步骤具体生成包含缺陷类别信息的所述第一缺陷图片；所述判别步骤，具体利用第二神经网络对所述第一缺陷图片分别进行真伪判别和缺陷类别判别，获得所述判别结果，输出所述第一缺陷图片的特征向量；其中，所述第二神经网络中设有对应不同缺陷类别的判别参数；所述优化步骤，具体根据所述判别结果、所述第一缺陷图片对应的缺陷类别信息和所述第二神经网络输出的对应所述第一缺陷图片的特征向量优化所述第一神经网络中的生成参数和/或所述第二神经网络中的判别参数；所述处理步骤，具体判断所述第一缺陷图片的特征向量和对应所述第一缺陷图片所属缺陷类别的优化后的所述判别参数的差是否符合预设条件，在所述差符合所述预设条件时，执行所述输出步骤。上述方案增加缺陷类别参与判别，使判别的类别信息也得以反馈，优化过程可以根据不同类别分别收敛，使得优化的参数更精准。
作为进一步改进，所述优化步骤包括：若所述判别结果包括所述第一缺陷图片为伪造图片，且判定的缺陷类别和所述第一缺陷图片对应的缺陷类别信息一致，则将所述第二神经网络输出的对应所述第一缺陷图片的特征向量和所述判定的缺陷类别反馈至所述第一神经网络，供所述第一神经网络优化所述生成参数；若所述判别结果包括所述第一缺陷图片为真实图片，或判定的缺陷类别和所述第一缺陷图片对应的缺陷类别信息不一致，则将所述第二神经网络输出的对应所述第一缺陷图片的特征向量和所述判定的缺陷类别反馈至所述第二神经网络，供所述第二神经网络优化所述判别参数。上述方案明确结合缺陷类别判别的优化方式。
作为进一步改进，根据以下公式计算出所述第一缺陷图片的特征向量和对应所述第一缺陷图片所属缺陷类别的优化后的所述判别参数的差：
其中，所述x表示真实的各种类别缺陷图片数据，所述y表示所述生成步骤中指定的生成规则，所述z表示输入到第一神经网络的噪声数据，所述g(y,z)表示所述第一神经网络生成的缺陷图片，所述di(x)表示第二神经网络判断真实缺陷图片是第i个类别的缺陷的概率，所述dk 1(g(y,z))是所述第二神经网络判断所述第一缺陷图片是否是真实图片的概率；所述预设条件为减小至：
作为进一步改进，还包括：利用真实的第二缺陷图片训练所述第二神经网络，优化所述第二神经网络中所述判别参数。本实施例中第二神经网络可以在优化中继续根据真实图片训练，使得第二神经网络的判别参数更完善准确。
作为进一步改进，所述利用真实的第二缺陷图片训练所述第二神经网络，优化所述第二神经网络中所述判别参数，包括：根据所述第二神经网络对所述第二缺陷图片的真伪判别和/或缺陷类别判别的准确性，优化所述第二神经网络中所述判别参数。本实施例中具体根据真伪判别和/或缺陷类别判别的结果结合确定优化目标，使得优化后的神经网络更为精准。
作为进一步改进，所述指定的生成规则至少包括以下之一：缺陷位置、边缘轮廓、缺陷尺寸、对应各缺陷类别的特征、与所述缺陷位置对应的去伪特征。
作为进一步改进，所述生成步骤生成的所述第一缺陷图片属于预设的像素范围内，所述像素范围根据实际缺陷的尺寸确定。上述方案选定合适的像素尺寸，使得缺陷图片训练时，在准确得到缺陷特征的前提下，减少运算量。
作为进一步改进，所述像素通过行数*列数*通道数表示，其中，所述行数的范围为5-10，所述列数的范围为5-10，所述通道数为1024。上述方案给定合适的像素范围，使得在特征提取时，提取到更准确的特征。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
一个或多个实施例通过与之对应的附图中的图片进行示例性说明，这些示例性说明并不构成对实施例的限定，附图中具有相同参考数字标号的元件表示为类似的元件，除非有特别申明，附图中的图不构成比例限制。
图1是根据本发明第一实施方式中缺陷图片生成网络的获得方法的流程图；
图2是根据本发明第一实施方式中缺陷图片生成网络的获得方法中的第一神经网络和第二神经网络的工作原理图；
图3是根据本发明第二实施方式中缺陷图片生成网络的获得方法的流程图；
图4是根据本发明第三实施方式中缺陷图片生成网络的获得装置的示意图；
图5是根据本发明第四实施方式中缺陷图片生成方法中示例的生成图片的效果图；
图6是根据本发明第五实施方式中电子设备的示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合附图对本发明的各实施方式进行详细的阐述。然而，本领域的普通技术人员可以理解，在本发明各实施方式中，为了使读者更好地理解本申请而提出了许多技术细节。但是，即使没有这些技术细节和基于以下各实施方式的种种变化和修改，也可以实现本申请所要求保护的技术方案。以下各个实施例的划分是为了描述方便，不应对本发明的具体实现方式构成任何限定，各个实施例在不矛盾的前提下可以相互结合相互引用。
本发明的第一实施方式涉及一种缺陷图片生成网络的获得方法。
本实施方式可以用于产品的质量检测环节，通过产品图像识别的方式，检测产品中是否存在缺陷，由于需要确定缺陷特征，所以需要先提供大量缺陷图片，而真实拍摄到的缺陷图片量较少，不够满足深度学习训练的样本需求，所以还需生成大量的缺陷图片。传统缺陷图片生成方法中，先人工归纳图像特征，如：浇不足、夹渣、裂纹、气孔、缩孔、缩松、沾铝、等，对各类真实产品图进行缺陷标定，确定各类缺陷可能产生的位置、尺寸、形态等，再根据缺陷图片和真实的图片合成缺陷图片，如以opencv等图像处理库实现以扩充缺陷图片训练数据集。而本实施方式可以获得一种自动生成缺陷图片的生成网络，使得缺陷图片得以大量自动地生成，避免软件等辅助的人为合成。本实施方式中以轮毂为例进行说明，其流程如图1所示，具体如下：
步骤101，利用第一神经网络以指定的生成规则生成第一缺陷图片。
具体的说，第一神经网络中设有缺陷图片的生成参数，第一神经网络用于生成缺陷图片。其中，生成参数的初始值可以由技术人员根据经验设定，也可以任意给定。
更具体的说，指定的生成规则可以至少包括以下之一：缺陷位置、边缘轮廓、缺陷尺寸、缺陷类别、对应各缺陷类别的特征。在一个例子中，生成规则可以包括缺陷位置、缺陷类别及与指定缺陷类别对应的特征、与缺陷位置对应的去伪特征。
在一个例子中，可以将缺陷位置、缺陷类别与指定缺陷类别对应的特征组合为三通道1024*1024数据，其中第一个通道为缺陷的位置，还可以包括边缘轮廓，大小等信息；第二个通道为缺陷的类别信息，可以对每一种缺陷类别都进行编码，每一个像素所对应的缺陷类别组成这个通道大小为1024*1024的数据；第三个通道为各缺陷类别对应的一些缺陷特征，实际应用中，也可以为与缺陷位置对应的去伪特征。如“夹渣”缺陷一般不会在轮辋上出现，同时轮毂上的装饰孔，减震窝，排水槽不能识别成气孔等伪缺陷，轮毂的后阶段生产流程会把轮毂中心安装车轴的部分车掉，轮毂中心的这部分缺陷没有识别意义，需要屏蔽。
实际应用中，上述三通道输入可以与随机噪声组合后再卷积，可以防止过拟合，之后上采样(即采集模拟信号的样本)，从而生成缺陷图片，生成的缺陷图片的尺寸可以设置为1024*1024*3。
步骤102，利用第二神经网络对第一缺陷图片进行真伪判别，获得判别结果，输出第一缺陷图片的特征向量。
具体的说，第二神经网络中设有缺陷图片的判别参数，判别参数用于表征缺陷图片的特征，可以判别第一神经网络所生成图片的真伪。第二神经网络可以是多层卷积特征提取网络。由于第一缺陷图片为由终端生成的图片，属于伪造图片，所以通过判别结果可以确定第二神经网络的判别参数是否准确。同时，如果第一神经网络的生成参数足够接近真实情况，那么就可以生成以假乱真的缺陷图片，从而通过第二神经网络检验，所以，通过判别结果还可以确定第一神经网络的生成参数是否准确。
更具体的说，第二神经网络还可以基于真实的缺陷图片训练，这样第二神经网络的判别参数同样不断优化，第二神经网络在训练过程中，判别参数被不断迭代更新，使得判别结果更趋近于真实情况。
在一个例子中，第二神经网络可以包括二个输入分支，第一分支输入真实的第二缺陷图片，第二分支输入由第一神经网络生成的第一缺陷图片，可以为两个输入设置输入时序，第一时序仅由第一分支输入，第二时序仅由第二分支输入，第三时序再由第一分支输入，第四时序继续由第二分支输入，两个分支轮流输入，互不干扰，同时实现优化判别参数和判别第一缺陷图片同步进行。如第一时序由第一分支输入真实的第二缺陷图片，对应地，第二神经网络以该缺陷图片为样本，优化网络，更新判别参数；第二时序由第二分支输入第一缺陷图片，对应地，第二神经网络判别该缺陷图片的真伪，也就是说，第二神经网络判别第一缺陷图片属于真实缺陷图片或属于伪造的缺陷图片。
继续说明，生成步骤生成的第一缺陷图片属于预设的像素范围内，像素范围根据实际缺陷的尺寸确定，根据实际缺陷确定合适的像素尺寸，使得提取特征时不会因为过大或过小，使得提取过程出现偏差，使得提取到更为准确的缺陷特征。如像素通过行数*列数*通道数表示，其中，行数的范围为5-10，列数的范围为5-10，通道数为1024。
在一个例子中，第一分支输入的真实的第二缺陷图片，尺寸可以为1024*1024、rgb3通道，与引入防止过拟合的随机数据组合，经过卷积层以提取图像中各种类别真实缺陷的形状和大小等特征，由于x光成像出来的缺陷绝大多数形状比较小，形态较多而且分散，卷积之后的特征映射数据设计成8*8*1024的，符合训练出各种缺陷类型的特征。
在另一个例子中，第二神经网络也可以先通过第一分支输入一定量的真实的缺陷图片进行训练，训练至一定程度后，再通过第二分支输入第一缺陷图片并进行判别。如，第一时序至第二十时序由第一分支输入真实的缺陷图片，供第二神经网络进行判别参数的训练，第二十一时序至第四十时序由第二分支输入第一神经网络生成的第一缺陷图片，供第二神经网络判别。可见两个分支输入的规则可以不同，第二神经网络的训练和判别的执行时序在此不做限定。
步骤103，根据判别结果和第二神经网络输出的对应第一缺陷图片的特征向量优化第一神经网络中的生成参数和第二神经网络中的判别参数。
步骤104，判断优化后的判别参数和第一缺陷图片的特征向量的差是否小于预设阈值；若是，则执行步骤105；若否，则返回执行步骤101。
具体的说，确定优化后的判别参数和第一缺陷图片的特征向量的差异性，继而判断该差异性是否小于预设阈值。更具体的说，若优化后的判别参数和第一缺陷图片的特征向量的差异性大于或等于预设阈值，即不符合差异性小于预设阈值的条件，则重复执行生成步骤(步骤101)、判别步骤(步骤102)，以及优化步骤(步骤103)，直至优化后的判别参数和第一缺陷图片的特征向量的差异性小于预设阈值。也就是说，在优化后差异性没有达到预设阈值时，则可以重复多次优化，使得优化后的判别参数趋近于第一缺陷图片的特征向量。其中，在多次执行生成步骤的过程中，每次利用的第一神经网络为最近一次优化生成参数后的第一神经网络；在多次执行判别步骤的过程中，每次利用的第二神经网络为最近一次优化判别参数后的第二神经网络。可以看出，在多次优化时，第一神经网络和第二神经网络将不断被迭代更新。
在一个例子中，步骤103中的优化只有一次，在一次优化后，就执行步骤104中的判断过程，而实际应用中，步骤103中的优化可以为多次，在多次优化后，执行步骤104中的判断过程。
继续说明，在一次优化中，通过判别结果确定需要优化第一神经网络或第二神经网络。在一个例子中，若判别结果包括第一缺陷图片为伪造图片，则将第二神经网络输出的对应第一缺陷图片的特征向量反馈至第一神经网络，供第一神经网络优化生成参数；若判别结果包括第一缺陷图片为真实图片，则将第二神经网络输出的对应第一缺陷图片的特征向量反馈至第二神经网络，供第二神经网络优化判别参数。
具体的说，在判别结果确定第一缺陷为伪造图片时，由于第二神经网络成功判别出第一缺陷图片为伪造的图片，则可以认为第二神经网络的判别参数已较为精准；另一方面，由于第一神经网络生成的图片没有瞒过第二神经网络，则可以认为第一神经网络的生成参数还不够精准需要继续优化。所以，此时第二神经网络将第一缺陷图片作为样本反馈给第一神经网络，使第一神经网络继续优化。另一种情况，在判别结果确定第一缺陷为真实图片时，由于第二神经网络被瞒过，将第一缺陷图片误判为真实的图片，则可以认为第二神经网络的判别参数不够精准需要继续优化；另一方面，由于第一神经网络生成的图片成功瞒过第二神经网络，则可以认为第一神经网络的生成参数已较为精准。所以，此时第二神经网络将第一缺陷图片作为样本反馈给第二神经网络，使第二神经网络继续优化。
另外，实际应用中，第一神经网络生成的缺陷图片可以再经过卷积，与第二神经网络输出的对应第一神经网络的特征向量组合输入到第二神经网络的多层卷积特征提取网络，得出的特征映射最后经过1*1卷积层重新线性组合特征和全连接层得出第二神经网络的输出，一个1*22维的特征向量，根据这个特征向量的下标可以分解出输入图片的真伪。
在一个例子中，如图2所示，第二神经网络可以通过以下方式获得判别结果：采用一个标准的k类别分类器，把输入的数据x转成一个k维向量{l1,l2,...,lk}的输出，并且用softmax函数
上述公式(1)由两项构成，x表示真实的各种类别缺陷图片数据，y表示输入到第一神经网络(即g网络)的缺陷的位置，类别与规则数据，z表示输入到第一神经网络的噪声数据，g(y,z)表示第一神经网络生成的缺陷图片。第二神经网络(即d网络)是基于真实数据训练获得的，di(x)表示第二神经网络判断真实缺陷图片是缺陷编码为i的概率，因为x就是真实的缺陷编码为1-k类别图片，所以对于d网络来说，这个值
可以看出，在不断循环的过程中，两个网络g网络和d网络可以交替训练。一开始，我们初始化g网络和d网络为g0和d0，先训练d找到d1满足使r最大
此外，需要说明的是，本实施方式利用是否损失函数的值小于预设阈值作为对优化后判别参数和第一缺陷图片的特征向量的差判别的预设条件，实际应用中，预设条件也可以设置为损失函数值减小的幅度达到某一阈值，可见，预设条件可以根据需求设置，在此不再一一列举。
值得一提的是，本实施方式中分别优化第一神经网络和第二神经网络，在实际应用中，可能预设的第一神经网络或第二神经网络的参数已经达到精准要求，所以可以仅对另一网络进行优化，在此不再赘述。
步骤105，输出优化后的第一神经网络作为缺陷图片生成网络。
具体的说，当步骤103中确定第二神经网络输出的对应第一缺陷图片的特征向量和第二神经网络中的判别参数的相似度是否大于或等于预设阈值，也就是说，第二神经网络中判别参数和第一神经网络生成的缺陷图片的差异非常小时，即可认为是优化完成，输出此时的第一神经网络作为缺陷图片生成网络。由于在不断循环的过程中，第一神经网络将被不断优化，生成的缺陷图片将不断趋近于真实图片，那么设置一个停止优化节点，可以在保证优化效果的同时，避免优化时间过长。
综上，本实施方式与现有技术相比，主要区别及其效果在于：现有技术中通过人为总结缺陷特征，之后根据总结出的特征人为合成缺陷图片，这个过程中，由于总结的缺陷特征具有局限性，使得合成的缺陷图片具有特征不全、缺陷形式较为单一等问题，使得自动检测缺陷精准度较差，而本申请通过两个神经网络互相配合，利用第一网络生成缺陷图片欺骗第二网络，第二网络判别第一网络生成图片的真伪，根据第二网络的判别结果优化第一网络或第二网络，两个网络相互对抗，使得第一网络生成的缺陷图片趋近于真实图片，从而使得缺陷可以被自动检测出，且检测结果精准。
本发明的第二实施方式涉及一种缺陷图片生成网络的获得方法。第二实施方式是在第一实施方式的基础上做了进一步改进，主要改进之处在于：在第一实施方式中，判别步骤判别第一缺陷图片的真伪。而在本发明第二实施方式中，判别步骤除了判别第一缺陷图片的真伪之外，还判别第一缺陷图片所属的缺陷类别，使得提取特征时可以根据不同类别分别提取特征。由于实际应用中，缺陷类别较多，将数据分类别训练有利于加快神经网络的训练速度。
本实施方式中缺陷图片生成网络的获得方法的流程图如图3所示，具体如下：
步骤301，利用第一神经网络以指定的生成规则生成第一缺陷图片。
具体的说，本步骤生成的第一缺陷图片包括缺陷类别信息，其中，缺陷类别信息可以在生成规则中指定。
步骤302，利用第二神经网络对第一缺陷图片分别进行真伪判别和缺陷类别判别，获得判别结果，输出第一缺陷图片的特征向量。
具体的说，本实施方式中第二神经网络在判别第一缺陷图片真实或伪造的同时，还可以判别出第一缺陷图片所属的缺陷类别。同时，本实施方式中第二神经网络中设有对应不同缺陷类别的判别参数，使得后续提取特征时，对不同类别分别提取。
步骤303，根据判别结果、标定结果和第二神经网络输出的对应第一缺陷图片的特征向量优化第一神经网络中的生成参数和第二神经网络中的判别参数。
本实施方式在两个神经网络优化过程中，可以结合缺陷类别的判别结果进行优化。具体的说，若判别结果包括第一缺陷图片为伪造图片，且判定的缺陷类别和标定结果一致，则将第二神经网络输出的对应第一缺陷图片的特征向量和判定的缺陷类别反馈至第一神经网络，供第一神经网络优化生成参数；若判别结果包括第一缺陷图片为真实图片，或判定的缺陷类别和标定结果不一致，则将第二神经网络输出的对应第一缺陷图片的特征向量和判定的缺陷类别反馈至第二神经网络，供第二神经网络优化判别参数。
在一个例子中，第二神经网络可以包括二个输入分支，第一分支输入如上述输入步骤301中生成的第一缺陷图片，第二分支输入真实的第二缺陷图片。其中，真实的第二缺陷图片可以用于训练第二神经网络，优化第二神经网络中判别参数。更具体的说，根据第二神经网络对第二缺陷图片的真伪判别和/或缺陷类别判别的准确性，优化第二神经网络中判别参数。其中，可以预先对第二缺陷图片进行缺陷类别的标定，在训练时，通过对标定结果和判别结果的对比，优化第二神经网络中判别参数。可见，在训练过程中，不仅有缺陷图片的真伪信息，还包括缺陷图片的缺陷类别信息，使得优化后的第二神经网络对真伪判别和缺陷类别的判别更为准确。
步骤304，判断第一缺陷图片的特征向量和对应第一缺陷图片所属缺陷类别的优化后的判别参数的差是否小于预设阈值；若是，则执行步骤305；若否，则返回执行步骤301。
本实施方式中步骤305与第一实施方式中的步骤105相类似，在此不再赘述。
可以发现，本实施方式中第二神经网络不仅需要对第一缺陷图片的真伪判别准确，还需要对其缺陷类别判别准确，只要两者之一判别错误，那么就认为第二神经网络的判别参数不够准确，需要对第二神经网络优化，如果两者都判别准确，那么就认为是第一神经网络的生成参数不够精准，需要对第一神经网络优化。可见，增加缺陷类别参与判别，使判别的类别信息也得以反馈，优化过程可以根据不同类别分别收敛，使得优化的参数更精准。
上面各种方法的步骤划分，只是为了描述清楚，实现时可以合并为一个步骤或者对某些步骤进行拆分，分解为多个步骤，只要包括相同的逻辑关系，都在本专利的保护范围内；对算法中或者流程中添加无关紧要的修改或者引入无关紧要的设计，但不改变其算法和流程的核心设计都在该专利的保护范围内。
本发明第三实施方式涉及一种缺陷图片生成网络的获得装置，如图4所示，包括：
生成模块，利用第一神经网络以指定的生成规则生成第一缺陷图片，第一神经网络中设有缺陷图片的生成参数。
判别模块，用于利用第二神经网络对第一缺陷图片进行真伪判别，获得判别结果，输出第一缺陷图片的特征向量，第二神经网络中设有缺陷图片的判别参数，判别参数用于表征缺陷图片的特征；
优化模块，用于根据判别结果和第二神经网络输出的对应第一缺陷图片的特征向量优化第一神经网络中的生成参数和/或第二神经网络中的判别参数；
处理模块，用于判断第一缺陷图片的特征向量和判别参数的差是否符合预设条件，在差符合预设条件时，触发输出模块；
输出模块，用于输出优化后的第一神经网络作为缺陷图片生成网络。
在一个例子中，处理模块还用于在第一缺陷图片的特征向量和优化后的判别参数的差不符合预设条件时，重复触发生成模块、判别模块和优化模块，直至第一缺陷图片的特征向量和优化后的判别参数的差符合预设条件。
在一个例子中，优化模块，包括：
第一优化子模块，用于在判别结果包括第一缺陷图片为伪造图片时，将第二神经网络输出的对应第一缺陷图片的特征向量反馈至第一神经网络，供第一神经网络优化生成参数。
第二优化子模块，用于在判别结果包括第一缺陷图片为真实图片时，将第二神经网络输出的对应第一缺陷图片的特征向量反馈至第二神经网络，供第二神经网络优化判别参数。
在一个例子中，生成模块具体生成包含缺陷类别信息的第一缺陷图片；
对应地，判别模块，具体利用第二神经网络对第一缺陷图片分别进行真伪判别和缺陷类别判别，获得判别结果，输出第一缺陷图片的特征向量；其中，第二神经网络中设有对应不同缺陷类别的判别参数；
对应地，优化模块，具体用于根据判别结果、第一缺陷图片对应的缺陷类别信息和第二神经网络输出的对应第一缺陷图片的特征向量优化第一神经网络中的生成参数和/或第二神经网络中的判别参数；
对应地，处理步骤，具体判断第一缺陷图片的特征向量和对应第一缺陷图片所属缺陷类别的优化后的判别参数的差是否符合预设条件，在差符合预设条件时，执行输出步骤。
在一个例子中，优化模块，包括：
第三优化子模块，用于在判别结果包括第一缺陷图片为伪造图片，且判定的缺陷类别和第一缺陷图片对应的缺陷类别信息一致时，将第二神经网络输出的对应第一缺陷图片的特征向量和判定的缺陷类别反馈至第一神经网络，供第一神经网络优化生成参数。
第四优化子模块，用于在判别结果包括第一缺陷图片为真实图片，或判定的缺陷类别和第一缺陷图片对应的缺陷类别信息不一致时，将第二神经网络输出的对应第一缺陷图片的特征向量和判定的缺陷类别反馈至第二神经网络，供第二神经网络优化判别参数。
在一个例子中，根据以下公式计算出第一缺陷图片的特征向量和对应第一缺陷图片所属缺陷类别的优化后的判别参数的差：
在一个例子中，缺陷图片生成网络的获得装置还包括：更新模块，用于利用真实的第二缺陷图片训练第二神经网络，优化第二神经网络中判别参数。
在一个例子中，更新模块具体根据第二神经网络对第二缺陷图片的真伪判别和/或缺陷类别判别的准确性，优化第二神经网络中判别参数。
在一个例子中，指定的生成规则至少包括以下之一：缺陷位置、边缘轮廓、缺陷尺寸、对应各缺陷类别的特征、与缺陷位置对应的去伪特征。
在一个例子中，生成步骤生成的第一缺陷图片属于预设的像素范围内，像素范围根据实际缺陷的尺寸确定。
在一个例子中，像素通过行数*列数*通道数表示，其中，行数的范围为5-10，列数的范围为5-10，通道数为1024。
不难发现，本实施方式为与第一实施方式相对应的系统实施例，本实施方式可与第一实施方式互相配合实施。第一实施方式中提到的相关技术细节在本实施方式中依然有效，为了减少重复，这里不再赘述。相应地，本实施方式中提到的相关技术细节也可应用在第一实施方式中。
值得一提的是，本实施方式中所涉及到的各模块均为逻辑模块，在实际应用中，一个逻辑单元可以是一个物理单元，也可以是一个物理单元的一部分，还可以以多个物理单元的组合实现。此外，为了突出本发明的创新部分，本实施方式中并没有将与解决本发明所提出的技术问题关系不太密切的单元引入，但这并不表明本实施方式中不存在其它的单元。
本发明第四实施方式涉及一种缺陷图片生成方法。
本实施方式中缺陷图片生成方法包括：利用缺陷图片生成网络生成缺陷图片。
具体的说，上述缺陷图片生成网络由第一实施方式或第二实施方式中任意一个缺陷图片生成网络的获得方法中获得。
在轮毂缺陷图片生成的实际应用中，采用本实施方式中的缺陷图片生成方法可以得到如图5所示的一系列缺陷图片，图5中各个图片为生成的缺陷图片，编号为每个缺陷图片对应的类别。
本发明第五实施方式涉及一种电子设备，如图6所示，具体包括：
至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行如第一实施方式或第二实施方式中的缺陷图片生成网络的获得方法。
其中，存储器和处理器采用总线方式连接，总线可以包括任意数量的互联的总线和桥，总线将一个或多个处理器和存储器的各种电路连接在一起。总线还可以将诸如外围设备、稳压器和功率管理电路等之类的各种其他电路连接在一起，这些都是本领域所公知的，因此，本文不再对其进行进一步描述。总线接口在总线和收发机之间提供接口。收发机可以是一个元件，也可以是多个元件，比如多个接收器和发送器，提供用于在传输介质上与各种其他装置通信的单元。经处理器处理的数据通过天线在无线介质上进行传输，进一步，天线还接收数据并将数据传送给处理器。
处理器负责管理总线和通常的处理，还可以提供各种功能，包括定时，外围接口，电压调节、电源管理以及其他控制功能。而存储器可以被用于存储处理器在执行操作时所使用的数据。
本发明第六实施方式涉及一种计算机可读存储介质，存储有计算机程序。计算机程序被处理器执行时实现上述方法实施例。
即，本领域技术人员可以理解，实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得一个设备(可以是单片机，芯片等)或处理器(processor)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
本领域的普通技术人员可以理解，上述各实施方式是实现本发明的具体实施例，而在实际应用中，可以在形式上和细节上对其作各种改变，而不偏离本发明的精神和范围。
1.一种缺陷图片生成网络的获得方法，其特征在于，包括：
生成步骤，利用第一神经网络以指定的生成规则生成第一缺陷图片，所述第一神经网络中设有缺陷图片的生成参数；
判别步骤，利用第二神经网络对所述第一缺陷图片进行真伪判别，获得判别结果，输出所述第一缺陷图片的特征向量，所述第二神经网络中设有缺陷图片的判别参数，所述判别参数用于表征缺陷图片的特征；
优化步骤，根据所述判别结果和所述第二神经网络输出的对应第一缺陷图片的特征向量优化所述第一神经网络中的所述生成参数和/或所述第二神经网络中的所述判别参数；
处理步骤，判断所述第一缺陷图片的特征向量和优化后的所述判别参数的差是否符合预设条件，在所述差符合所述预设条件时，执行输出步骤；
所述输出步骤，输出优化后的所述第一神经网络作为缺陷图片生成网络。
2.根据权利要求1所述的缺陷图片生成网络的获得方法，其特征在于，所述处理步骤还包括：
在所述第一缺陷图片的特征向量和优化后的所述判别参数的差不符合所述预设条件时，重复执行所述生成步骤、所述判别步骤和所述优化步骤，直至所述第一缺陷图片的特征向量和优化后的所述判别参数的差符合所述预设条件。
3.根据权利要求2所述的缺陷图片生成网络的获得方法，其特征在于，所述优化步骤，包括：
若所述判别结果包括所述第一缺陷图片为伪造图片，则将所述第二神经网络输出的对应所述第一缺陷图片的特征向量反馈至所述第一神经网络，供所述第一神经网络优化所述生成参数；
若所述判别结果包括所述第一缺陷图片为真实图片，则将所述第二神经网络输出的对应所述第一缺陷图片的特征向量反馈至所述第二神经网络，供所述第二神经网络优化所述判别参数。
4.根据权利要求1所述的缺陷图片生成网络的获得方法，其特征在于，所述生成步骤具体生成包含缺陷类别信息的所述第一缺陷图片；
所述判别步骤，具体利用第二神经网络对所述第一缺陷图片分别进行真伪判别和缺陷类别判别，获得所述判别结果，输出所述第一缺陷图片的特征向量；其中，所述第二神经网络中设有对应不同缺陷类别的判别参数；
所述优化步骤，具体根据所述判别结果、所述第一缺陷图片对应的缺陷类别信息和所述第二神经网络输出的对应所述第一缺陷图片的特征向量优化所述第一神经网络中的生成参数和/或所述第二神经网络中的判别参数；
所述处理步骤，具体判断所述第一缺陷图片的特征向量和对应所述第一缺陷图片所属缺陷类别的优化后的所述判别参数的差是否符合预设条件，在所述差符合所述预设条件时，执行所述输出步骤。
5.根据权利要求4所述的缺陷图片生成网络的获得方法，其特征在于，所述优化步骤，包括：
若所述判别结果包括所述第一缺陷图片为伪造图片，且判定的缺陷类别和所述第一缺陷图片对应的缺陷类别信息一致，则将所述第二神经网络输出的对应所述第一缺陷图片的特征向量和所述判定的缺陷类别反馈至所述第一神经网络，供所述第一神经网络优化所述生成参数；
若所述判别结果包括所述第一缺陷图片为真实图片，或判定的缺陷类别和所述第一缺陷图片对应的缺陷类别信息不一致，则将所述第二神经网络输出的对应所述第一缺陷图片的特征向量和所述判定的缺陷类别反馈至所述第二神经网络，供所述第二神经网络优化所述判别参数。
6.根据权利要求4所述的缺陷图片生成网络的获得方法，其特征在于，根据以下公式计算出所述第一缺陷图片的特征向量和对应所述第一缺陷图片所属缺陷类别的优化后的所述判别参数的差：
其中，所述x表示真实的各种类别缺陷图片数据，所述y表示所述生成步骤中指定的生成规则，所述z表示输入到第一神经网络的噪声数据，所述g(y,z)表示所述第一神经网络生成的缺陷图片，所述di(x)表示第二神经网络判断真实缺陷图片是缺陷编码为i的概率，所述dk 1(g(y,z))是所述第二神经网络判断所述第一缺陷图片是否是真实图片的概率；
所述预设条件为减小至：
7.根据权利要求1所述的缺陷图片生成网络的获得方法，其特征在于，还包括：利用真实的第二缺陷图片训练所述第二神经网络，优化所述第二神经网络中所述判别参数。
8.根据权利要求7所述的缺陷图片生成网络的获得方法，其特征在于，所述利用真实的第二缺陷图片训练所述第二神经网络，优化所述第二神经网络中所述判别参数，包括：
根据所述第二神经网络对所述第二缺陷图片的真伪判别和/或缺陷类别判别的准确性，优化所述第二神经网络中所述判别参数。
9.根据权利要求1至8中任意一项所述的缺陷图片生成网络的获得方法，其特征在于，所述指定的生成规则至少包括以下之一：
缺陷位置、边缘轮廓、缺陷尺寸、对应各缺陷类别的特征、与所述缺陷位置对应的去伪特征。
10.根据权利要求1至8中任意一项所述的缺陷图片生成网络的获得方法，其特征在于，所述生成步骤生成的所述第一缺陷图片属于预设的像素范围内，所述像素范围根据实际缺陷的尺寸确定。
11.根据权利要求10所述的缺陷图片生成网络的获得方法，其特征在于，所述像素通过行数*列数*通道数表示，其中，所述行数的范围为5-10，所述列数的范围为5-10，所述通道数为1024。
12.一种缺陷图片生成网络的获得装置，其特征在于，包括：
生成模块，用于利用第一神经网络以指定的生成规则生成第一缺陷图片，所述第一神经网络中设有缺陷图片的生成参数；
判别模块，用于利用第二神经网络对所述第一缺陷图片进行真伪判别，获得判别结果，输出所述第一缺陷图片的特征向量，所述第二神经网络中设有缺陷图片的判别参数，所述判别参数用于表征缺陷图片的特征；
优化模块，用于根据所述判别结果和所述第二神经网络输出的对应第一缺陷图片的特征向量优化所述第一神经网络中的所述生成参数和/或所述第二神经网络中的所述判别参数；
处理模块，用于判断所述第一缺陷图片的特征向量和所述判别参数的差是否符合预设条件，在所述差符合所述预设条件时，触发输出模块；
所述输出模块，用于输出优化后的所述第一神经网络作为缺陷图片生成网络。
13.根据权利要求12所述的缺陷图片生成网络的获得装置，其特征在于，所述处理模块还用于在所述第一缺陷图片的特征向量和优化后的所述判别参数的差不符合所述预设条件时，重复触发所述生成模块、所述判别模块和所述优化模块，直至所述第一缺陷图片的特征向量和优化后的所述判别参数的差符合所述预设条件。
14.根据权利要求13所述的缺陷图片生成网络的获得装置，其特征在于，所述优化模块，包括：
第一优化子模块，用于在所述判别结果包括所述第一缺陷图片为伪造图片时，将所述第二神经网络输出的对应所述第一缺陷图片的特征向量反馈至所述第一神经网络，供所述第一神经网络优化所述生成参数；
第二优化子模块，用于在所述判别结果包括所述第一缺陷图片为真实图片时，将所述第二神经网络输出的对应所述第一缺陷图片的特征向量反馈至所述第二神经网络，供所述第二神经网络优化所述判别参数。
15.根据权利要求12所述的缺陷图片生成网络的获得装置，其特征在于，所述生成模块具体生成包含缺陷类别信息的所述第一缺陷图片；
所述判别模块，具体利用第二神经网络对所述第一缺陷图片分别进行真伪判别和缺陷类别判别，获得所述判别结果，输出所述第一缺陷图片的特征向量；其中，所述第二神经网络中设有对应不同缺陷类别的判别参数；
所述优化模块，具体用于根据所述判别结果、所述第一缺陷图片对应的缺陷类别信息和所述第二神经网络输出的对应所述第一缺陷图片的特征向量优化所述第一神经网络中的生成参数和/或所述第二神经网络中的判别参数；
所述处理步骤，具体判断所述第一缺陷图片的特征向量和对应所述第一缺陷图片所属缺陷类别的优化后的所述判别参数的差是否符合预设条件，在所述差符合所述预设条件时，执行所述输出步骤。
16.根据权利要求15所述的缺陷图片生成网络的获得装置，其特征在于，所述优化模块，包括：
第三优化子模块，用于在所述判别结果包括所述第一缺陷图片为伪造图片，且判定的缺陷类别和所述第一缺陷图片对应的缺陷类别信息一致时，将所述第二神经网络输出的对应所述第一缺陷图片的特征向量和所述判定的缺陷类别反馈至所述第一神经网络，供所述第一神经网络优化所述生成参数；
第四优化子模块，用于在所述判别结果包括所述第一缺陷图片为真实图片，或判定的缺陷类别和所述第一缺陷图片对应的缺陷类别信息不一致时，将所述第二神经网络输出的对应所述第一缺陷图片的特征向量和所述判定的缺陷类别反馈至所述第二神经网络，供所述第二神经网络优化所述判别参数。
17.根据权利要求15所述的缺陷图片生成网络的获得装置，其特征在于，根据以下公式计算出所述第一缺陷图片的特征向量和对应所述第一缺陷图片所属缺陷类别的优化后的所述判别参数的差：
其中，所述x表示真实的各种类别缺陷图片数据，所述y表示所述生成步骤中指定的生成规则，所述z表示输入到第一神经网络的噪声数据，所述g(y,z)表示所述第一神经网络生成的缺陷图片，所述di(x)表示第二神经网络判断真实缺陷图片是第i个类别的缺陷的概率，所述dk 1(g(y,z))是所述第二神经网络判断所述第一缺陷图片是否是真实图片的概率；
所述预设条件为减小至：
18.根据权利要求12所述的缺陷图片生成网络的获得装置，其特征在于，还包括：更新模块，用于利用真实的第二缺陷图片训练所述第二神经网络，优化所述第二神经网络中所述判别参数。
19.根据权利要求18所述的缺陷图片生成网络的获得装置，其特征在于，所述更新模块具体根据所述第二神经网络对所述第二缺陷图片的真伪判别和/或缺陷类别判别的准确性，优化所述第二神经网络中所述判别参数。
20.根据权利要求12至19中任意一项所述的缺陷图片生成网络的获得装置，其特征在于，所述指定的生成规则至少包括以下之一：
缺陷位置、边缘轮廓、缺陷尺寸、对应各缺陷类别的特征、与所述缺陷位置对应的去伪特征。
21.根据权利要求12至19中任意一项所述的缺陷图片生成网络的获得装置，其特征在于，所述生成步骤生成的所述第一缺陷图片属于预设的像素范围内，所述像素范围根据实际缺陷的尺寸确定。
22.根据权利要求21所述的缺陷图片生成网络的获得装置，其特征在于，所述像素通过行数*列数*通道数表示，其中，所述行数的范围为5-10，所述列数的范围为5-10，所述通道数为1024。
23.一种缺陷图片生成方法，其特征在于，包括：
利用缺陷图片生成网络生成缺陷图片；
其中，所述缺陷图片生成网络由权利要求1至权利要求11中任意一项所述的缺陷图片生成网络的获得方法中获得。
24.一种电子设备，其特征在于，包括：
至少一个处理器；以及，
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如权利要求1至11中任一所述的缺陷图片生成网络的获得方法。
25.一种计算机可读存储介质，存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至11中任一项所述的缺陷图片生成网络的获得方法。
技术总结