本发明涉及戏剧脸谱生成，特别涉及基于风格的自注意力戏剧脸谱生成方法。
背景技术：
1、具特色的脸谱艺术是我国传统文化宝库中的精华，在各方面都拥有极高的价值，脸谱是传统戏曲演员面部化妆的一种程式。在面部勾画一定的彩色图案，以显示剧中人物的性格和特征，脸谱图案非常丰富，然而，目前戏剧脸谱面临脸谱图样单一且脸谱数据匮乏的现象，因此采取一定的方法对脸谱进行图像生产可以有效帮助戏剧脸谱丰富图样并且对网络数据做出一定扩充，更是对我国非物质文化遗产的保护和发展具有重要的作用。
2、戏剧脸谱图像增强方法可分为基于颜色域数据和基于图像纹理数据两类，前者计算过程简单、耗时短，但容易引起颜色美观度不匹配，导致生成的脸谱图案失真；后者通过bezier算子等方法生成脸谱纹路后辅助生成脸谱图像，计算复杂度高、耗时严重，且智能程度较低，具体生成依赖于人工，应用价值受限，现有方法生成的戏剧脸谱在分辨率和真实性上效果并不理想。
3、由于脸谱图案具有丰富的纹理特征和几何结构特征，而gan容易捕捉纹理特征但很难捕捉几何结构特征，这归因于gan依靠卷积来建立不同图像区域之间的依赖关系，而依赖关系的传递只能通过大范围的多个卷积层来实现。随着卷积大小的增加，网络的真实容量也在增加，但却损失了计算效率。
技术实现思路
1、本发明的目的在于提供基于风格的自注意力戏剧脸谱生成方法，通过自注意力机制做到依赖性和计算效率的平衡，能够让网络快速准确的定位到图像中的重点关注区域，以进一步优化戏剧脸谱图案的生成效果，并且在训练过程中，对进入判别器的所有图像进行差异化增强，判别器的中间表示被矢量量化，并在判别器上进行对比学习，生成分辨率更高和内容更真实的戏剧脸谱图像，以解决上述背景技术中提出的问题。
2、为实现上述目的，本发明提供如下技术方案：
3、基于风格的自注意力戏剧脸谱生成方法，所述方法包括以下步骤：
4、s1：生成对抗网络：
5、构建无监督深度学习模型计算生成数据，所述无监督深度学习模型通过框架中不少于两个模块生成器和判别器的互相博弈学习产生输出结果；
6、基于所述输出结果构建控制生成图片属性的模型框架，采用渐进式增长生成对抗网络的渐进式分辨率提升策略，基于所述分辨率提升策略生成基于风格的渐进式对抗网络；
7、s2：戏剧脸谱数据处理：
8、获取主动上传的真实戏剧脸谱图像数据，确定所述真实戏剧脸谱图像数据的脸谱性格识别模型，基于所述脸谱性格识别模型对所述真实戏剧脸谱图像数据进行分类；
9、基于分类结果进行多样化差异生成，并进行相似度抽祯处理，得到戏剧脸谱数据集，将所述戏剧脸谱数据集输入至所述基于风格的渐进式对抗网络中进行对抗训练，生成虚假的脸谱图像数据；
10、s3：构建注意力机制：
11、在所述对抗训练中构建注意力机制，确定损失函数；
12、其中，所述注意力机制用于获取序列中所有相关元素，并获取所述元素在所述序列中的位置，计算所述序列中的位置的响应，确定所述对抗网络在网络内部的依赖范围；
13、s4：戏剧脸谱生成结果评估：
14、构建结构相似性训练模型和神经图像评估模型，将生成的所述虚假的脸谱图像数据输入至结构相似性训练模型和神经图像评估模型进行训练评估，获取实验结果评价指标。
15、进一步的，针对s1中，采用渐进式增长生成对抗网络的渐进式分辨率提升策略，具体为：
16、获取低分辨率图像数据，将所述低分辨率的图像输入至所述模型框架中训练生成器和判别器，将所述模型框架分为多个连续的层，基于层依次增加分辨率；
17、学习低分辨率图像中的基本特征，基于所述基本特征创建图像基础，基于每一层的分辨率学习所述图像中的细节特征数据；
18、同时，构建adain层，替换实例归一化层获得优化结果，其定义如下：
19、
20、其中，x为内容图片，y为风格图片编码以后的特征图，σ为均值，μ为标准差。
21、进一步的，针对s2中，生成虚假的脸谱图像数据，具体为：
22、adain层将512维的向量通过一个可学习的仿射变换生成缩放因子与偏差因子，同时，将所述风格图片编码以后的特征图进行实例标准化；
23、将所述缩放因子和偏差因子与实例标准化后的输出做加权求和；
24、将512维的向量的潜在编码送入映射网络，将对隐藏空间进行解耦，获取解耦特征，将所述解耦特征输入至生成器，生成器输出预设虚假脸谱图像数据；
25、同时，对抗网络将所述虚假的脸谱图像数据进行与经过缩放的真实戏剧脸谱图像一同送入判别器，并将所述判别器输出结果送入损失函数中，通过反向传播优化生成器和判别器的参数；
26、所述对抗网络不断迭代上述过程，直至模型收敛输出生成虚假的脸谱图像数据；
27、其中，生成器模块后的图像为未训练完全的脸谱图案，缩放模块前的脸谱图案为数据集内的图像。
28、进一步的，所述对抗网络包括生成器网络和判别器网络；
29、所述对抗网络中的生成器由多个样式框组成，获取常量输入后从所述常量所携带的潜在隐码送入映射网络后得到的特征解耦产生风格的学习仿射变换，确定标准数据；
30、基于3×3的卷积核将所述标准数据由样式网络的平均值进行修正，将干扰信息从所述样式框中移除；
31、将移除后的标准数据输入3×3的卷积核对卷积层的权重进行缩放，w′ijk＝si·wijk，i表示第i个特征图，si是第i个缩放特征图的特征比例；
32、缩放后对卷积层的权重输入至解调器解调，计算得到新的卷积层权重，为：
33、所述对抗网络中的判别器采用渐进式对抗网络，在运行时缩放权重，wi＝wi/c，其中wi表示为权重，c表示为每层标准化常数。
34、进一步的，针对s3，构建注意力机制，其具体过程包括：
35、将隐藏层的图像特征x∈rc×n转化为两个特征空间f,g进行注意力计算，其中：
36、f(x)＝wfx
37、g(x)＝wgx
38、where sij＝f(xi)tg(xj)
39、βj,i表示为模型在合成第j个区域时对第i个位置的关注程度，其中，c为通道数，n为前一隐含层特征的特征位置数；
40、注意力层的输出为o＝(o1,o2，…、oj……on)∈rc×n，其中：
41、
42、h(xi)＝whxi,v(xi)＝wvxi
43、在上述公式中，和wv∈rc×c表示为学习到的权重矩阵，被实现为1×1卷积；将cˉ的通道数减少为c/k，参照基于风格的渐进式对抗网络在图像网络上的尝试，选择k＝8(即cˉ＝c/8)；
44、将所述注意力层的输出乘以一个比例参数，并添加回输入特征图，最终输出为，yi＝γoi+xi，其中γ是一个可学习的标量，初始化为0。
45、进一步的，所述生成器和判别器构成动态对抗过程，在训练过程中，所述生成器的目标函数取最小值，所述判别器的目标函数取最大值，目标函数为：
46、
47、其中，y为生成器生成的图像，d(y|x)为判别器函数，g(z|x)为生成器函数，z为生成器输入的随机噪声，x为条件约束；
48、生成器和判别器在对抗过程中，不断提升自身性能至达到平衡。
49、进一步的，将所述判别器输出结果送入损失函数中，其中，所述损失函数为梯度约束，采用梯度惩罚项代替网络的截取，如下公式所示：
50、
51、进一步的，针对s4中，戏剧脸谱生成结果评估，还包括：
52、所述结构相似性训练模型用于评估网络生成图像和原图在结构上的相似程度，结合亮度、对比度和结构评价生成图像和原图的相似程度，其计算方法为：
53、
54、其中，ssim表示为结构相似性训练模型，μx表示为x的平均值，μy表示为y的平均值，表示为x的方差，是y的方差，σxy是x和y的协方差，c1＝(k1*l)2，c2＝(k2*l)2表示为维持稳定的常数，l表示为像素值的动态范围；
55、结构相似性的范围为-1到1，结构相似性训练模型的值等于1时，两张图像一致；
56、所述神经图像评估模型基于神经网络预测分数对图像数据进行识别计算，所述神经图像评估模型的取值范围为[1，10]。
57、与现有技术相比，本发明的有益效果是：
58、1.通过自主建立了戏剧脸谱数据集，在stylegan的基础上引入了自注意力机制以及矢量量化方法，增强网络对脸谱图案几何结构特征的提取，在对抗训练中构建注意力机制，确定损失函数，构建结构相似性训练模型和神经图像评估模型，将生成的虚假的脸谱图像数据输入至结构相似性训练模型和神经图像评估模型进行训练评估，基于实验结果，提升了戏剧脸谱图像的分辨率和真实性，在主观视觉上得到了理想的效果，对戏剧脸谱的传承与发展具有一定的价值。
59、2.通过在增加矢量量化后，自注意力机制生成式对抗网络网络生成的图像在分辨率和色彩上仅有细微的提升，无矢量量化的自注意力机制生成式对抗网络与有矢量量化生成的戏剧脸谱在分辨率上并没有显著差异，但有矢量量化的自注意力机制生成式对抗网络生成的戏剧脸谱更有层次，脸谱纹路连续性更好，且整体色彩更为明亮，增加矢量量化后，色彩和细节纹理均在一定程度上有了提升。
60、3.通过结构相似性训练模型评估网络生成图像和原图在结构上的相似程度，结合亮度、对比度和结构三个方面，客观地评价生成图像和原图的相似程度，神经图像评估模型依赖于深度目标识别网络，在技术质量和美学质量上均具有最先进的性能，神经图像评估模型的取值越大表明生成的图像美观性越好，提高智能化水平，避免依赖于人工生成，有效提高了本系统的应用价值。
1.基于风格的自注意力戏剧脸谱生成方法，其特征在于：所述方法包括以下步骤：
2.如权利要求1所述的基于风格的自注意力戏剧脸谱生成方法，其特征在于：针对s1中，采用渐进式增长生成对抗网络的渐进式分辨率提升策略，具体为：
3.如权利要求2所述的基于风格的自注意力戏剧脸谱生成方法，其特征在于：针对s2中，生成虚假的脸谱图像数据，具体为：
4.如权利要求3所述的基于风格的自注意力戏剧脸谱生成方法，其特征在于：所述对抗网络包括生成器网络和判别器网络；
5.如权利要求4所述的基于风格的自注意力戏剧脸谱生成方法，其特征在于：针对s3，构建注意力机制，其具体过程包括：
6.如权利要求5所述的基于风格的自注意力戏剧脸谱生成方法，其特征在于：所述生成器和判别器构成动态对抗过程，在训练过程中，所述生成器的目标函数取最小值，所述判别器的目标函数取最大值，目标函数为：
7.如权利要求6所述的基于风格的自注意力戏剧脸谱生成方法，其特征在于：将所述判别器输出结果送入损失函数中，其中，所述损失函数为梯度约束，采用梯度惩罚项代替网络的截取，如下公式所示：
8.如权利要求7所述的基于风格的自注意力戏剧脸谱生成方法，其特征在于：针对s4中，戏剧脸谱生成结果评估，还包括：
