本发明涉及妆容迁移的，尤其是指一种带有参考条件的人脸妆容语义局部判别方法。
背景技术：
1、面部化妆转移的目的是复制参考图像的化妆风格到一个非化妆面部(原图像)上。化妆转移的挑战原于未配对的训练数据和参考图像与原图像之间的不对齐。近年来，为了解决这些问题，现有的方法专注于空间不变的化妆风格转移，通过在生成对抗网络的潜在空间中注入风格信息和转换，合成化妆图像。
2、一方面，大多数化妆转移方法都是通过风格编码来捕捉面部化妆，其空间表达能力较差。此外，现有工作中对风格信息融合的研究也很少。在现实场景中，原人脸图像和参考人脸图像的语义区域通常是错位的。在错位严重的情况下，将参考样式代码注入化妆渲染网络可能会导致不希望的结果出现。另一方面，现有的模型在测量化妆一致性时，往往忽略了参考图像和合成图像之间的域差距。
技术实现思路
1、本发明的目的在于克服现有技术的缺点与不足，提出了一种带有参考条件的人脸妆容语义局部判别方法，可以精确地进行化妆转移，该方法的局部判别器带有参考条件，有效的特征融合和基于统计量的表示导致了化妆感知判别，因此，该方法能够实现最先进的化妆迁移能力。
2、为实现上述目的，本发明所提供的技术方案为：一种带有参考条件的人脸妆容语义局部判别方法，包括以下步骤：
3、s1：准备一个人脸图像数据集以及相对应的人脸分割掩码数据集，其中有化有精致妆容的参考图像和不化妆的原图像，将原图像x与参考图像y分别记为x∈x，y∈y，其中，x为不化妆的原图像数据集，y为化有精致妆容的参考图像数据集；
4、s2：准备一个由神经网络实现的生成器生成器通过原图像x和参考图像y生成分辨率为h×w的高保真人脸图像其中，h为图像的高，w为图像的宽；
5、s3：对步骤s2中生成的人脸图像与参考图像y一起送进全局判别器dglobal判别得到相应的真伪判别结果，对步骤s2中生成的人脸图像与参考图像y的人脸分割掩码按区域划分，根据需要自主选择划分的区域位置及个数；
6、s4：将步骤s2中生成的人脸图像和参考图像y分别与步骤s3划分出来的相应人脸分割掩码做点乘，得到划分出来的各个区域的生成图像局部区域和参考图像局部区域yi，其中i为对应的局部区域标号，将得到的生成图像局部区域与参考图像局部区域yi一起送进局部判别器dlocal判别得到真伪判别结果；
7、s5：通过生成器g、全局判别器dglobal、局部判别器dlocal三者之间通过真伪判别结果的对抗来约束神经网络的学习，当三者的对抗学习达到平衡时，生成器便能够生成将参考图像的精致妆容精确地迁移到原图像的人脸中。
8、进一步，在步骤s1中，准备的人脸图像数据集按照妆容的种类分为ladn数据集、mt数据集和makeup-wild数据集，每个数据集均包括没有妆容的人脸图像作为原图像以及具有精致妆容的人脸图像作为参考图像；准备的人脸分割掩码数据集中，每张人脸分割掩码的图像对应相应的人脸图像，每张人脸分割掩码的图像按照人脸特征区域进行分割，分割成左眼区域、右眼区域、鼻子区域、上嘴唇区域、下嘴唇区域、牙齿区域、左眉毛区域、右眉毛区域、左耳区域、右耳区域、面部区域、头发区域、脖子区域、背景区域共14个区域。
9、进一步，在步骤s2中，生成器需要输入参考图像和原图像为条件，生成器首先是采用一个多层卷积层的特征提取器，提取出参考图像和原图像的风格特征，再输入相应的人脸分割掩码，将图像的特征按照人脸分割掩码划分的各个区域得到相应的14个区域的人脸图像风格特征，再根据参考图像的妆容要迁移到原图像上的对应区域，将参考图像相应的风格特征区域与原图像其余不需要进行妆容迁移的风格特征区域进行融合得到融合后的风格特征；再将原图像与参考图像分别送进相应的卷积网络中提取出相应的人脸图像身份特征；再将参考图像与原图像的身份特征、相应的人脸分割掩码、融合后的风格特征一起送进一个融合的卷积网络中进行特征融合，将输出的结果再送进结构相同的卷积网络中进行特征融合，反复通过三个结构相同的卷积网络进行特征融合后，将得到的结果利用tanh的激活函数进行激活得到最终的生成图像，生成图像用下述公式来表示：
10、
11、其中，每张图像对应的人脸分割掩码默认与图像一起送入，在公式中不表示出来。
12、进一步，在步骤s3中，全局判别器需要输入相应的图像为条件，判别的损失函数如下：
13、ladv＝ey[log(dglobal(y))]+ex,y[log(1-dglobal(g(x,y)))]
14、lrec＝ex,y[||g(gde(y,x),y)-y||1]
15、式中，ladv是对抗损失值；lrec是重建损失值；ey代表输入为y的期望；ex,y表示输入为x，y的期望；gde()表示卸妆过程，g()表示上妆过程，dglobal()表示全局判别过程；
16、划分区域时能够根据人脸分割掩码上的一些重要部位作为参考位置，通过所需的局部区域与参考位置的距离来进行定位该局部区域，从而实现区域的划分。
17、进一步，所述步骤s4的具体操作步骤如下：
18、s41：获得的生成图像局部区域与参考图像局部区域用下述公式来表示：
19、
20、
21、式中，⊙代表点乘，代表原图像的第i个局部区域人脸分割掩码，代表参考图像的第i个局部区域人脸分割掩码；代表生成图像局部区域，即生成图像的第i个局部区域图像；yi代表参考图像局部区域，即参考图像的第i个局部区域图像；
22、s42:送进到局部判别器后，先是经过一个特征对齐网络进行对齐，其相应的损失函数为：
23、
24、式中，llayer表示特征对齐网络得到的损失值，代表特征对齐网络afea第t层卷积层提取出来的特征，代表期望，表示生成图像得到的特征，表示参考图像得到的特征；
25、s43:将步骤s42得到的特征与风格编码器esty对参考图像的局部区域yi提取的风格一起送进特征风格融合模块进行融合，用下述公式来表示：
26、
27、
28、式中，afea()代表特征对齐网络，代表生成图像特征与参考图像风格融合后的特征，代表参考图像特征与参考图像风格融合后的特征；
29、s44：将分别经过各自的卷积层，产生两个分支，其中一个得到相应的特征传递到下一层中作为输入，另一个用来计算相应的静态特征统计量，有平均值、最大值、方差三种，静态特征统计量比较的过程对应的损失函数如下：
30、
31、式中，lreg表示静态特征统计量计算得到损失值，代表相应的卷积层，sk代表相应的计算静态特征统计量的方式；通过计算静态特征统计量的方式能够使得妆容迁移更加精细；
32、s45：将得到的参考图像特征与生成图像特征展平成向量，输入全连接层进行判别，其对应的损失函数如下：
33、
34、
35、式中，lsta表示经过全连接层之后得到的损失值，φ表示一个可学习的线性映射函数来预测区域构成是真实的概率，为相加操作；lk()表示求全连接层判别结果的方式；i表示划分出来的第i个局部区域，k表示第k个静态特征统计量；
36、s46：步骤s45中得到的向量通过对比学习来拉近真实数据之间的距离，以及拉远真实数据与虚假数据之间的距离，对比学习所对应的损失函数为：
37、
38、
39、式中，lsty表示对比学习损失值，ψ()表示一种相似度计算，t()代表仿射变换，用来进行数据增强；其中，为正样本；为负样本。
40、进一步，在步骤s5中，为了使得生成的人脸图像能够包含精确的人脸区域语义信息和具备参考图像的妆容，且保持高的真实性和多样性，需要联合训练生成器、全局判别器、局部判别器，它们之间相互对抗，生成器与局部判别器协同工作引导生成器来捕获精确的局部区域语义信息；在对抗训练过程中生成器、全局判别器、局部判别器的损失函数定义如下：
41、
42、
43、式中，e表示生成器中用来提取原图像和参考图像的特征信息，λ和ρ是控制相应正则化的相对重要性的加权因子。
44、本发明与现有技术相比，具有如下优点与有益效果：
45、1、与现有的基于无条件真实合成妆容判别的模型不同，本发明从一个新的角度出发提出了一种带有参考条件的人脸妆容语义局部判别方法，以促进妆容更加精确地迁移。
46、2、为了指导生成器更多地关注化妆细节，本发明改进了判别体系结构，在区域层次上进行参考条件特征提取和融合，并进行基于静态特征统计量的真实妆容与生成妆容的判别。
47、3、本发明设计了一个特征对齐网络，让生成人脸图像的特征和参考图像的特征在区域级进行对齐，并进一步将特征映射到对齐的特征空间中，可以有效地减少生成人脸图像与参考图像之间的错位。
48、4、本发明的生成器与局部判别器中共享风格编码器，以提供参考图像样式风格。在生成器中，它可以用来规范参考图像的特征，并生成人脸图像，以实现有效的特征融合。在局部判别器中，它又可以为判别过程提供精确的参考图像风格样式，促进局部判别器可以更好地区别出真实数据与虚假数据。
49、5、本发明提出的这种带有参考条件的人脸妆容语义局部判别方法可以更加自由地根据自己的需求划分出局部区域，因此可以在腮红、多颜色眼影、复杂妆容上取得更为优越地性能。
1.一种带有参考条件的人脸妆容语义局部判别方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种带有参考条件的人脸妆容语义局部判别方法，其特征在于，在步骤s1中，准备的人脸图像数据集按照妆容的种类分为ladn数据集、mt数据集和makeup-wild数据集，每个数据集均包括没有妆容的人脸图像作为原图像以及具有精致妆容的人脸图像作为参考图像；准备的人脸分割掩码数据集中，每张人脸分割掩码的图像对应相应的人脸图像，每张人脸分割掩码的图像按照人脸特征区域进行分割，分割成左眼区域、右眼区域、鼻子区域、上嘴唇区域、下嘴唇区域、牙齿区域、左眉毛区域、右眉毛区域、左耳区域、右耳区域、面部区域、头发区域、脖子区域、背景区域共14个区域。
3.根据权利要求2所述的一种带有参考条件的人脸妆容语义局部判别方法，其特征在于，在步骤s2中，生成器需要输入参考图像和原图像为条件，生成器首先是采用一个多层卷积层的特征提取器，提取出参考图像和原图像的风格特征，再输入相应的人脸分割掩码，将图像的特征按照人脸分割掩码划分的各个区域得到相应的14个区域的人脸图像风格特征，再根据参考图像的妆容要迁移到原图像上的对应区域，将参考图像相应的风格特征区域与原图像其余不需要进行妆容迁移的风格特征区域进行融合得到融合后的风格特征；再将原图像与参考图像分别送进相应的卷积网络中提取出相应的人脸图像身份特征；再将参考图像与原图像的身份特征、相应的人脸分割掩码、融合后的风格特征一起送进一个融合的卷积网络中进行特征融合，将输出的结果再送进结构相同的卷积网络中进行特征融合，反复通过三个结构相同的卷积网络进行特征融合后，将得到的结果利用tanh的激活函数进行激活得到最终的生成图像，生成图像用下述公式来表示：
4.根据权利要求3所述的一种带有参考条件的人脸妆容语义局部判别方法，其特征在于，在步骤s3中，全局判别器需要输入相应的图像为条件，判别的损失函数如下：
5.根据权利要求4所述的一种带有参考条件的人脸妆容语义局部判别方法，其特征在于，所述步骤s4的具体操作步骤如下：
6.根据权利要求5所述的一种带有参考条件的人脸妆容语义局部判别方法，其特征在于，在步骤s5中，为了使得生成的人脸图像能够包含精确的人脸区域语义信息和具备参考图像的妆容，且保持高的真实性和多样性，需要联合训练生成器、全局判别器、局部判别器，它们之间相互对抗，生成器与局部判别器协同工作引导生成器来捕获精确的局部区域语义信息；在对抗训练过程中生成器、全局判别器、局部判别器的损失函数定义如下：
