本发明属于缺陷图像生成，具体涉及一种基于gan及空间反向注意力机制的划痕缺陷数据扩充方法及系统。
背景技术：
1、缺陷检测是产品生产和维护的重要环节，划痕是一种特殊的表面缺陷，因此对划痕的检测尤为重要。然而工业现场真实划痕缺陷较少，仅有的部分划痕数据不足以用于训练有监督深度学习模型进行划痕缺陷检测，因此需要对现有的划痕数据进行数据扩充。
2、通过数据增强可以对已知划痕样本进行旋转、平移、翻转、对比度变换、加入噪声等方式来增加划痕数据，但是这种方法局限在已知划痕数据的特征空间范围内，不能对具有复杂纹理背景的样本的特征进行充分的表示。近年来cnn(convolutional neuralnetworks，卷积神经网络)凭借优秀的图像生成能力在数据扩充领域有很多应用，但是对于纹理较为复杂的图像生成，一直没有很好的解决方案。直到gan(generative adversarialnetwork，生成对抗网络)的出现，gan网络不再试图人工设计评价标准来量化图像的真实程度，而是将评价任务交给cnn来做，通过训练，逐步提升评估网络的鉴别能力，从而同步提升生成网络的生成能力。然而，现有的基于gan的深度学习方法在划痕缺陷图像的生成上一直不太理想，对于细小划痕和较暗背景下的划痕始终无法生成。
技术实现思路
1、本发明旨在解决现有技术中存在的技术问题，提供了一种基于gan及空间反向注意力机制的划痕数据扩充方法及系统，以解决现有深度学习方法无法很好生成细小划痕(问题和在较暗背景下无法生成划痕的问题。
2、为实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于gan及空间反向注意力机制的划痕数据扩充方法，其包括如下步骤：
3、获取真实划痕图像的样本集，对所述样本集进行预处理，得到训练集和测试集；
4、构建基于gan的数据扩充网络并对数据扩充网络进行训练，所述数据扩充网络包括编码器、生成器和鉴别器，所述训练过程为：利用真实划痕图像样本在所述编码器中进行学习，生成真实划痕图像的风格；利用划痕的语义图和所述编码器生成的真实划痕图像的风格于所述生成器中进行学习，生成模拟图像样本；利用所述鉴别器的多层特征层的预测模块，从不同尺度上判别模拟图像样本和真实划痕图像样本的真伪，同时利用生成图和标签对齐模块将生成图、真实划痕图分别与标签进行点积操作后送入鉴别器判断真伪，当所述鉴别器无法判别真伪时，根据此时的数据扩充网络的特性，提取出编码器和生成器结构；
5、将划痕语义图、具有或没有划痕的真实图像输入提取出的编码器和生成器结构，生成对应真实图像风格的真实划痕图像，对真实划痕图像进行数据扩充。
6、本发明中的数据扩充方法，通过编码器学习真实图像的整体分布，通过在生成器生成模拟图像样本，在鉴别器中设计加入一个生成图和标签对齐模块，能有效解决现有深度学习方法无法很好生成细小划痕问题和在较暗背景下无法生成划痕的问题，从而实现真实划痕图像的生成。
7、根据本发明的一种优选实施方式，所述编码器的处理方法为：
8、将输入的真实划痕图像大小进行调整；
9、经过多个依次堆叠的特征提取模块，每一层特征提取模块包括卷积层以及二维通道归一化函数和激活函数处理；
10、将特征提取模块处理后的特征经过展平操作展平；
11、然后送到两个全连接得到两个向量，分别作为均值μ和方差σ2得到高斯分布。
12、本发明编码器的处理方法可以使模型学习到更加丰富和抽象的特征表示，提高模型的性能和泛化能力。
13、根据本发明的另一种优选实施方式，所述生成器方法的处理方法为：
14、将划痕语义图和高斯分布送入生成器网络，通过线性层将输入的高斯分布展平；
15、通过重塑层将高斯分布转为张量tensor；
16、将划痕语义图和一个随机向量在通道维度上进行拼接，所述随机向量大小和划痕语义图特征大小相同，将拼接结果图和经过重塑层的高斯分布送入sra(spatialreduction attention，空间降维注意力)模块和上采样模块阵列，所述的sra模块和上采样模块依次堆叠，依次堆叠的每个sra模块都是接收划痕语义图和上一层的上采样结果图作为输入。
17、接收一个随机向量作为输入，保证了即使输入是同一张划痕语义图的情况下，依然能够保证生成的划痕真实图像的随机性和多样性。
18、根据本发明的再另一种优选实施方式，sra模块将划痕语义图大小调整为与该sra模块的输入特征一样大小，然后在sra模块内将语义图和输入特征进行卷积、点乘、相加运算。
19、每个sra模块内包含一个空间反向注意力模块，通过调整特征权重，使生成器更加注重划痕的生成。
20、根据本发明的再另一种优选实施方式，所述鉴别器的处理方法为：
21、所述将生成图和标签拼接之后送入鉴别器网络；
22、利用生成图和标签对齐模块将生成图、真实划痕图分别与标签进行点积操作后送入鉴别器网络；
23、利用所述鉴别器的中间特征层和末尾特征层的预测模块从不同尺度上判别模拟图像样本和真实划痕图像样本的真伪。
24、以处理划痕为例，鉴别器不仅从整图(划痕+背景)上对生成图和真实图从不同特征尺度上进行评估，也专注在划痕的细节生成上从不同特征尺度进行评估。
25、为实现本发明的上述目的，根据本发明的第一个方面，本发明提供了一种基于gan及空间反向注意力机制的划痕数据扩充系统，其包括：
26、预处理模块，所述预处理对样本集进行预处理，得到训练集和测试集，所述样本集为真实划痕图像组成的样本集；
27、数据扩充网络，所述数据扩充网络包括编码器、生成器和鉴别器，真实划痕图像样本在所述编码器中进行学习，生成真实划痕图像的风格；划痕的语义图和所述编码器生成的真实划痕图像的风格于所述生成器中进行学习，生成模拟图像样本；所述鉴别器的中间特征层和末尾特征层的预测模块，从不同尺度上判别模拟图像样本和真实划痕图像样本的真伪，同时利用生成图和标签对齐模块将生成图、真实划痕图分别与标签进行点积操作后送入鉴别器判断真伪；当所述鉴别器无法判别真伪时，根据此时的数据扩充网络的特性，提取出编码器和生成器结构；
28、提取出的编码器和生成器结构将划痕语义图、具有或没有划痕的真实图像生成对应真实图像风格的真实划痕图像，对真实划痕图像进行数据扩充。
29、本发明通过编码器学习真实图像的整体分布，通过在生成器生成模拟图像样本，在鉴别器中设计加入一个生成图和标签对齐模块，能有效解决现有深度学习方法无法很好生成细小划痕问题和在较暗背景下无法生成划痕的问题，从而实现真实划痕图像的生成。
30、本发明的附加方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
1.一种基于gan及空间反向注意力机制的划痕缺陷数据扩充方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的基于gan及空间反向注意力机制的划痕缺陷数据扩充方法，其特征在于，所述编码器的处理方法为：
3.根据权利要求1或2所述的基于gan及空间反向注意力机制的划痕缺陷数据扩充方法，其特征在于，所述生成器方法的处理方法为：
4.根据权利要求1所述的基于gan及空间反向注意力机制的划痕缺陷数据扩充方法，其特征在于，sra模块将划痕语义图大小调整为与该sra模块的输入特征一样大小，然后在sra模块内将语义图和输入特征进行卷积、点乘、相加运算；
5.根据权利要求1所述的基于gan及空间反向注意力机制的划痕缺陷数据扩充方法，其特征在于，所述鉴别器的处理方法为：
6.一种基于gan及空间反向注意力机制的划痕缺陷数据扩充系统，其特征在于，包括：
7.根据权利要求6所述的基于gan及空间反向注意力机制的划痕缺陷数据扩充系统，其特征在于，所述编码器包括：
8.根据权利要求6所述的基于gan及空间反向注意力机制的划痕缺陷数据扩充系统，其特征在于，所述生成器包括：
9.根据权利要求6所述的基于gan及空间反向注意力机制的划痕数据扩充系统，其特征在于，sra模块包括：
10.根据权利要求6所述的基于gan及空间反向注意力机制的划痕缺陷数据扩充系统，其特征在于，所述鉴别器包括：
