本发明涉及图像处理，特别涉及一种基于身份保持的多类面部表情图片生成技术。
背景技术：
1、面部表情是人类交流中重要的一环，它对于传递人类情感和目的具有至关重要的作用。在人类对面部表情的长期探索中，逐渐形成了一套独特的认识体系，这套体系也运用在了日常生活中。目前普遍认为，基本的面部表情分为七种：中性、愤怒、厌恶、恐惧、快乐、悲伤和惊讶，面部表情编码系统(facs)参考了人脸解剖学，将人脸划分成若干个独立的面部肌肉运动单元(au)，并对这些运动单元的特征进行了分析与归类，最终把不同的面部表情对应到不同的au组合。
2、面部表情生成是指对原有面部图片中的表情进行编辑，从而生成新的面部表情图片。随着计算机技术的不断发展，面部表情生成技术也取得了较大的进展，并逐渐应用到生产生活的各个领域当中。在影视娱乐领域，面部表情生成技术可以用于虚拟现实、影视后期制作和游戏角色面部设计等；在商业营销领域，面部表情生成技术可以用于商品展示和广告创意中，通过生成情感丰富的面部表情图片增强宣传效果；在医疗健康领域，面部表情生成技术能够生成带有各种表情的患者面部图片，从而为临床诊断提供了更加充足的数据。
3、早期的面部表情生成研究主要关注基于传统手工设计特征的生成方法，主要分为基于三维可变形人脸模型的面部表情生成方法和基于加权扭曲的面部表情生成方法，但这两类方法均需要人为干预和大量资源，无法大规模应用。近年来，随着深度学习的发展，以生成对抗网络(gan)为代表的深度学习模型在图片生成方面取得了很大进展，逐渐成为面部表情生成的主流方法。生成对抗网络是一种通过两个神经网络相互博弈的方式进行学习的非监督式生成模型，旨在生成以假乱真的虚拟图片。条件生成对抗网络通过在gan中施加条件约束来引导网络模型生成目标结果，利用条件生成对抗网络的面部表情生成方法通过施加表情类别约束来确保生成包含目标表情的面部图片。然而，这类面部表情生成方法存在两方面局限：第一，每次只能训练模型学习生成单类面部表情图片，例如根据中性面部表情图片生成愤怒面部表情图片，而无法生成多类面部表情图片，例如根据中性面部表情图片生成其余六类基本不同面部表情(愤怒、厌恶、恐惧、快乐、悲伤和惊讶)图片，灵活性和实用性较低；第二，没有考虑在生成面部表情图片的同时保持主体的身份信息，在改变原图片面部表情的同时也改变了其他与表情无关的身份信息，比如脸型和发色，从而降低了表情图片的生成效果。
4、因此本发明提出一种通过条件生成对抗网络实现基于身份保持的多类面部表情图片生成的技术，该技术能够根据主体中性表情图片生成包含该主体其余六类基本不同面部表情(愤怒、厌恶、恐惧、快乐、悲伤、以及惊讶)的面部图片，具有灵活性和实用性；另外，该技术能够在生成主体多类面部表情图片的同时保持主体的身份信息，使得生成图片更为自然逼真。
技术实现思路
1、针对现有技术中的上述不足，本发明提供了一种实用而生成效果逼真的基于身份保持的多类面部表情图片生成技术，可应用于多个领域。
2、一种基于身份保持的多类面部表情图片生成技术，包括以下步骤：
3、s1、条件生成对抗网络模型训练：
4、生成对抗网络模型包含一个生成器g和一个多任务判别器d，所述判别器d包含三个子判别器，分别为对抗相关的子判别器dgan、表情分类相关的子判别器dexp和身份相关的子判别器did，即d＝[dgan，dexp，did]；
5、所述生成器g包括下采样模块、骨干网络以及上采样模块，其中所述下采样模块负责将输入图片编码为潜在向量；所述骨干网络负责对潜在向量进行特征提取；所述上采样模块负责将潜在向量还原为图片；
6、所述判别器d包括输入层、隐藏层和三个相互独立的输出层，所述输入层负责接收输入图片，所述隐藏层负责特征提取，所述输出层负责将提取的特征转换为结果向量，最后三个相互独立的输出层分别输出判别真伪的结果向量、表情分类的结果向量和身份预测的结果向量，分别对应dgan、dexp和did三个子判别器的功能；
7、在生成对抗网络框架中引入表情与身份标签信息约束、循环一致性约束、以及目标一致性约束条件限制，引导模型学习基于身份保持的多类面部表情图片生成；
8、1)表情与身份标签信息约束：
9、在模型中引入表情标签信息约束，使生成器g在目标表情标签c′的引导下，基于输入的真实图片x生成包含目标表情的面部图片x′；与此同时，利用表情标签训练子判别器dexp学习对输入图片进行表情分类；
10、表情标签信息约束通过在模型训练目标函数中引入表情分类损失lcls来实现；
11、其次，在模型中引入身份标签信息约束，身份标签信息约束通过在模型训练目标函数中引入身份预测损失lid来实现；
12、另外，在模型训练目标函数中引入对抗损失ladv，在对抗损失中引入梯度惩罚项以使模型的训练过程更加稳定并提升生成图片的质量；
13、2)循环一致性约束：
14、在模型中引入循环一致性约束，本约束可通过在模型训练目标函数中引入循环一致性损失lcyc来实现；
15、3)目标一致性约束：
16、在模型中引入目标一致性约束，目标一致性约束通过在模型训练目标函数中引入目标一致性损失ltcl来实现；
17、条件生成对抗网络的最终损失函数如公式(6)所示：
18、ltotal＝ladv+λcislcls+λidlid+λcyclcyc+λtclltcl (6)
19、其中，λcls、λid、λcyc和λtcl分别表示表情分类损失lcls、身份预测损失lid、循环一致性损失lcyc和目标一致性损失ltcl的权重超参数；
20、s2、多类面部表情图片生成：
21、在条件生成对抗网络模型的训练完成后，向训练完成的模型生成器中输入主体的中性表情图片和目标表情标签，通过调整目标表情标签使其表示六类基本不同表情，使得生成器生成包含所述主体六类基本不同表情的面部图片，生成的面部表情图片在表现表情特征的同时保留主体的身份信息，该过程用公式(7)表示，
22、iexpr＝g(ineutral，cexpr) (7)
23、其中，g表示训练完成的生成器，ineutral表示主体的中性表情面部图片，cexpr表示目标表情标签，iexpr表示生成的目标表情面部图像。
24、作为优选的，所述表情分类损失lcls的计算形式如公式(1)所示：
25、
26、其中，x*表示输入的真实图片或生成图片，c*表示对应的表情标签；dexp(c*|x*)表示子判别器dexp预测输入图片属于不同表情的概率分布，表示对-logdexp(c*|c*)的极大似然估计。
27、作为优选的，所述身份预测损失lid的其计算形式如公式(2)所示：
28、
29、其中，表示子判别器did输出向量的第i维，表示真实图片x的身份标签，表示对的极大似然估计，表示对的极大似然估计。
30、作为优选的，所述对抗损失ladv的计算形式如公式(3)所示：
31、
32、其中，x和c′分别表示真实图片和目标表情标签，g(x，c′)表示向生成器g输入真实图片和目标表情标签后生成的图片，dgan(x)表示将图片输入子判别器dgan后得到的概率分布；ex[dgan(x)]表示对dgan(x)的极大似然估计，ex，c′[dgan(g(x，c′))]表示对dgan(g(x，c′))的极大似然估计；表示梯度惩罚项，λgp表示其权重超参数；表示从真实图片和生成图片中的均匀采样结果，表示将采样结果输入子判别器dgan后得到的概率分布，表示的梯度，‖·‖2表示l2范数。
33、作为优选的，所述循环一致性损失lcyc的计算形式如公式(4)所示：
34、
35、其中，c表示原始表情标签，表示重构图片，‖·‖1表示l1范数，表示对的极大似然估计。
36、作为优选的，所述目标一致性损失ltcl的计算形式如公式(5)所示：
37、
38、其中，x′表示生成器基于真实图片x和目标表情标签c′生成的图片，表示生成器基于生成图片x′和目标表情标签c′生成的图片，‖·‖1表示l1范数，表示对的极大似然估计。
39、作为优选的，步骤s2中，所述六类基本不同表情包括愤怒、厌恶、恐惧、快乐、悲伤、以及惊讶。
40、本发明的有益效果为：
41、本发明提出了一种基于身份保持的多类面部表情图片生成技术，该技术分为以下两个步骤：第一，利用公共面部表情数据集训练包含表情与身份标签信息约束、循环一致性约束、以及目标一致性约束条件限制的条件生成对抗网络模型，使模型学习七类基本不同面部表情(中性、愤怒、厌恶、恐惧、快乐、悲伤、以及惊讶)之间的映射关系，从而实现生成主体多类面部表情图片的同时保持主体身份信息；第二，向训练完成的生成器中输入主体的中性表情图片和目标表情标签，通过调整目标表情标签使其表示六类基本不同表情(愤怒、厌恶、恐惧、快乐、悲伤、以及惊讶)，从而使生成器生成包含该主体六类基本不同表情(愤怒、厌恶、恐惧、快乐、悲伤、以及惊讶)的面部图片，生成面部表情图片在表现表情特征的同时保持主体的身份信息；
42、本发明能够根据主体中性表情图片生成包含该主体六类基本不同面部表情(愤怒、厌恶、恐惧、快乐、悲伤、以及惊讶)的面部图片，具有灵活性和实用性；另外，该技术能够在生成主体多类面部表情图片的同时保持主体身份信息，使得生成图片更为自然逼真，具有良好的应用前景。
1.一种基于身份保持的多类面部表情图片生成技术，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于身份保持的多类面部表情图片生成技术，其特征在于：所述表情分类损失lcls的计算形式如公式(1)所示：
3.根据权利要求2所述的一种基于身份保持的多类面部表情图片生成技术，其特征在于：所述身份预测损失lid的其计算形式如公式(2)所示：
4.根据权利要求3所述的一种基于身份保持的多类面部表情图片生成技术，其特征在于：所述对抗损失ladv的计算形式如公式(3)所示：
5.根据权利要求4所述的一种基于身份保持的多类面部表情图片生成技术，其特征在于：所述循环一致性损失lcyc的计算形式如公式(4)所示：
6.根据权利要求5所述的一种基于身份保持的多类面部表情图片生成技术，其特征在于：所述目标一致性损失ltcl的计算形式如公式(5)所示：
7.根据权利要求1所述的一种基于身份保持的多类面部表情图片生成技术，其特征在于：步骤s2中，所述六类基本不同表情包括愤怒、厌恶、恐惧、快乐、悲伤、以及惊讶。
