本发明涉及人脸欺诈检测，具体涉及一种针对化妆人脸的欺诈检测方法及系统。
背景技术：
1、人脸欺诈指通过伪造、仿真或使用非真实的面部信息，以欺骗人脸识别系统，达到非法访问、冒用身份或绕过身份验证的行为，主要攻击方式包括相片打印、视频重放和人脸面具等。现有的人脸欺诈检测技术，大多数库内检测效果良好，但是跨库检测性能欠佳，主要原因是库内和库外的数据往往在不同条件下采集，例如拍摄设备、环境光照和呈现设备不同，导致库内和库外数据之间存在域位移，当训练数据的多样性不足时，容易在库内学习过程中过拟合，泛化性能不好。
2、此外，随着各种美妆商业产品的出现，现代人化妆已经越来越日常，涵盖粉底、眼影、口红和腮红等多种化妆方式，现实生活中的大多数化妆人脸以淡妆为主，虽然存在面部纹理和部分区域颜色的改变，但未改变人脸身份，因此仍应被判定为真脸，而现有的技术对于化妆人脸的泛化效果不佳，难以满足检测准确率的需求。
技术实现思路
1、为了克服现有技术存在的缺陷与不足，本发明提供一种针对化妆人脸的欺诈检测方法及系统，本发明仅用少量化妆人脸图像对输入图像进行化妆增广，丰富了输入特征提取网络的样本，基于化妆增广生成的化妆人脸特征学习提高了对于化妆人脸的泛化性，采用自适应参数动态地调整批通道归一化方式，更好地适应不同的数据集和模型，通过计算近邻监督对比损失，最大化同数据库且同类别样本的相似度，提高特征类内紧凑性，有效改善了检测性能，通过构建两个固定的正交向量来替代经典三元组中的正例和负例，可拉近同类样本距离、推远异类样本距离，提升检测性能，相较于经典的三元损失，虚拟三元损失计算量更低。
2、为了达到上述目的，本发明采用以下技术方案：
3、本发明提供一种针对化妆人脸的欺诈检测方法，包括下述步骤：
4、划分数据集，将各数据集的视频解码为帧序列；
5、裁剪出各数据集帧序列和选取的化妆参考图像集的人脸区域，并进行人脸标记点检测；
6、从裁剪出人脸区域的训练集中选取部分素颜真实人脸图像，以裁剪出人脸区域后的化妆参考人脸图像作为参考，进行化妆增广，生成化妆增广图像集；
7、选取特征提取区域，以批通道归一化模块改进后的resnet18网络作为骨干网络，将不同数据库的特征提取区域按批输入骨干网络进行特征提取，提取得到不同数据库的特征；
8、基于不同数据库提取到的特征分别训练二分类器，获得不同数据库的全局最佳真假分类超平面，计算全局交叉熵损失，通过投影梯度方法优化不同数据库的最佳真假分类超平面并收敛为全局的真假分类超平面，输出二分类真假预测标签；
9、建立存储样本特征表示的缓存区，对于以骨干网络提取的新样本特征，计算出缓存区中与其最相似的top-k个样本，从中筛选出与当前样本同数据库且同类的样本作为锚点，计算锚点与新样本间的近邻监督对比损失；
10、构建两个固定的正交向量，与骨干网络提取的特征构成虚拟三元组，计算虚拟三元组的虚拟三元损失；
11、根据全局交叉熵损失、近邻监督对比损失和虚拟三元损失加权求和得到总损失函数，基于总损失函数训练得到预测模型；
12、将人脸图像测试集输入到训练后的预测模型，获取二分类预测概率，输出最终预测结果。
13、作为优选的技术方案，进行化妆增广，生成化妆增广图像集，具体包括：
14、对化妆参考人脸图像进行tps变换，以素颜真实人脸图像的人脸标记点作为tps变换的参考点，以化妆参考人脸图像的人脸标记点作为tps变换的控制点，通过仿射变换将控制点映射到参考点的位置，基于tps插值对其他像素点进行校正；
15、将仿射变换后的控制点坐标带入tps的插值函数，得到化妆参考人脸图像到素颜人脸图像其他像素点的映射；
16、将tps变换后的化妆参考人脸图像和素颜真实人脸图像进行泊松融合，生成化妆增广图像。
17、作为优选的技术方案，所述将tps变换后的化妆参考人脸图像和素颜真实人脸图像进行泊松融合，生成化妆增广图像，具体包括：
18、生成眼部区域掩膜、唇部区域掩膜，将眼部区域掩膜和唇部区域掩膜执行按位或操作，得到眼唇区域掩膜；
19、根据真假标签判断人脸图像是否为真实人脸，并根据是否佩戴眼镜标签判断该人脸图像是否为戴眼镜人脸；
20、随机生成概率值并设定概率值阈值，基于概率值阈值及人脸图像类型分别进行唇部化妆增广、唇部和眼部化妆增广、眼部化妆增广；
21、基于不同的化妆增广选择对应的区域掩膜，将化妆参考人脸图像和素颜真实人脸图像进行泊松融合，其目标函数具体计算公式为：
22、
23、其中，imr_tps(x,y)是化妆参考人脸图像的像素值，ir(x,y)是素颜人脸图像上的像素值，表示图像上的梯度运算，offset(x,y)是化妆参考人脸图像相对于素颜真实人脸图像的偏移。
24、作为优选的技术方案，以批通道归一化模块改进后的resnet18网络作为骨干网络，将不同数据库的特征提取区域按批输入骨干网络进行特征提取，具体包括：
25、用批通道归一化模块替换resnet18中的批归一化层改进resnet18网络，批通道归一化模块分别沿着通道维度和批次维度的对输入数据归一化，计算沿(n，h，w)轴层输入的平均值μ1和方差计算沿(c，h，w)轴的平均值μ2和方差具体表示为：
26、
27、
28、
29、
30、
31、
32、其中，qr为输入，是分别用μ1、和μ2、归一化所得，∈是一个常数，n表示批次，c表示通道，h表示特征高度，w表示特征宽度；
33、将两种归一化后的输出自适应加权作为最终输出，具体计算公式为：
34、
35、其中，y表示提取得到的特征，τ、γ和是可学习参数，τ用于自适应地平衡沿(n，h，w)和(c，h，w)轴的归一化输出，γ用于缩放归一化后的值，用于平移。
36、作为优选的技术方案，所述计算全局交叉熵损失，具体表示为：
37、
38、
39、其中，lcls表示全局交叉熵损失函数，lcls_e表示交叉熵损失函数，e表示数据库，e表示数据库的数量，pz表示一个批次中的某个预测概率值，yz表示真假标签的取值，pz(yz)表示预测为标签yz的概率。
40、作为优选的技术方案，通过投影梯度方法优化不同数据库的最佳真假分类超平面并收敛为全局的真假分类超平面，具体包括：
41、计算全局交叉熵损失对于不同数据库超平面的梯度，对于每个数据库e，选择与当前更新的超平面βe最远的超平面基于插值方法将当前更新的超平面βe与最远超平面进行插值更新，使用梯度下降方法更新特征空间参数，具体表示为：
42、
43、
44、其中，θ为目标点，为损失函数，ξ是学习率，pω()是欧几里得投影，ω是可行集，用于描述超平面β的取值范围，η是对齐参数，用于对当前更新的超平面βe进行插值更新。
45、作为优选的技术方案，建立存储样本特征表示的缓存区，具体包括：
46、在训练开始时，初始化一个空的缓存区；在训练过程中，利用以ema方式进行参数更新的网络φema对样本进行特征提取，将网络φema提取到的样本特征表示存储到缓存区中，φema网络架构与骨干网络相同，采用ema方法更新参数，其具体计算公式如下：
47、φema←(1-θ)φema_old+θφgrad
48、其中，φema_old为上一次更新后的以ema方式进行参数更新的网络，φgrad为骨干网络，骨干网络采用梯度下降法更新参数，φema为通过ema方式更新后的网络，θ为动量系数；
49、缓存区为队列数据结构，新的特征表示从队尾进入缓存区，如果判定此时缓存区已满，则队头特征表示离开缓存区。
50、作为优选的技术方案，对于以骨干网络提取的新样本特征，计算出缓存区中与其最相似的top-k个样本，从中筛选出与当前样本同数据库且同类的样本作为锚点，计算锚点与新样本间的近邻监督对比损失，具体包括：
51、计算新样本特征表示与缓存区域中样本特征表示的点积，得到相似性矩阵；
52、基于knn算法从缓存区中选出与新样本最相似的前k个样本，并将相似性矩阵中除了这k个样本对应元素外的其他元素设为0；
53、将选出k个样本后的相似性矩阵进行归一化，根据真假类别标签和数据库标签，选出其中与新样本同类且同数据库的n个样本作为锚点，计算近邻监督对比损失，具体计算公式为：
54、
55、其中，gu是锚点在相似性矩阵中的权重，u为锚点的索引值。
56、作为优选的技术方案，构建两个固定的正交向量，与骨干网络提取的特征构成虚拟三元组，计算虚拟三元组的虚拟三元损失，具体表示为：
57、构建两个固定的正交向量dc和d1-c，dc和d1-c长度与单个样本提取到特征向量的长度一致；
58、所述虚拟三元损失的具体计算公式为：
59、ldmyt(fz,c)＝max(2fz·d1-c-2fz·dc+ρ,0)
60、其中，fz表示单个样本提取到的特征，c表示真假类别，ρ是损失函数的边缘间隔。
61、本发明还提供一种针对化妆人脸的欺诈检测系统，包括：数据集划分、视频解码模块、人脸区域提取模块、人脸标记模块、化妆增广模块、特征提取模块、不同数据库超平面对齐模块、缓存区构建模块、近邻监督对比模块、虚拟三元组构建模块、虚拟三元损失计算模块、总损失函数构建模块、模型训练模块、预测模块；
62、所述数据集划分用于划分数据集；
63、所述视频解码模块用于将各数据集的视频解码为帧序列；
64、所述人脸区域提取模块用于裁剪出各数据集帧序列和所选取的化妆参考图像集的人脸区域；
65、所述人脸标记模块用于对裁剪出的人脸区域进行人脸标记点检测；
66、所述化妆增广模块用于进行化妆增广，从裁剪出人脸区域的训练集中选取部分素颜真实人脸图像，以裁剪出人脸区域后的化妆参考人脸图像作为参考，化妆增广生成化妆增广图像集；
67、所述特征提取模块用于特征提取，选取特征提取区域，将采用批通道归一化处理的改进后的resnet18网络作为骨干网络，将不同数据库的特征提取区域按批输入骨干网络进行特征提取，得到不同数据库的特征；
68、所述不同数据库超平面对齐模块用于构建全局最佳真假分类超平面，基于不同数据库提取到的特征分别训练二分类器，获得不同数据库的最佳真假分类超平面，计算全局交叉熵损失，通过投影梯度方法优化不同数据库的最佳真假分类超平面并收敛为全局的真假分类超平面，输出二分类真假预测标签；
69、所述缓存区构建模块用于建立存储样本特征表示的缓存区；
70、所述近邻监督对比模块用于计算锚点与新样本间的近邻监督对比损失，对于以骨干网络提取的新样本特征，计算出缓存区中与其最相似的top-k个样本，从中筛选出与当前样本同数据库且同类的样本作为锚点，最大化当前样本与锚点的相似性；
71、所述虚拟三元组构建模块用于构建虚拟三元组，基于构建的两个固定正交向量，与骨干网络提取的特征构成虚拟三元组；
72、所述虚拟三元损失计算模块用于计算虚拟三元组的虚拟三元损失；
73、所述总损失函数构建模块用于根据全局交叉熵损失、近邻监督对比损失和虚拟三元损失加权求和得到总损失函数；
74、所述模型训练模块用于基于总损失函数训练得到预测模型；
75、所述预测模块用于将人脸图像测试集输入到训练后的预测模型，获取二分类预测概率，输出最终预测结果。
76、本发明与现有技术相比，具有如下优点和有益效果：
77、(1)本发明仅用少量化妆参考图像，对素颜真实人脸图像集进行增强，生成化妆增广人脸图像集，丰富了输入特征提取网络的样本，提高了网络对于化妆人脸的泛化性。
78、(2)本发明分别沿着通道维度和批次维度对输入数据进行归一化处理，并采用自适应参数动态地调整归一化方式，从而更好地适应不同的数据集和模型，提高模型的泛化性。
79、(3)本发明通过计算缓存区中与当前样本最相似的k个样本，从中筛选出与当前样本同数据库且同类的样本作为锚点，计算锚点与新样本间的近邻监督对比损失，最大化同数据库且同类别样本的相似度，提高特征类内紧凑性，有效改善了检测性能。
80、(4)本发明通过构建两个固定的正交向量替代经典三元组中的正例和负例，可拉近同类样本距离、推远异类样本距离，提升检测性能，相较于经典的三元损失，虚拟三元损失计算量更低。
1.一种针对化妆人脸的欺诈检测方法，其特征在于，包括下述步骤：
2.根据权利要求1所述的针对化妆人脸的欺诈检测方法，其特征在于，进行化妆增广，生成化妆增广图像集，具体包括：
3.根据权利要求2所述的针对化妆人脸的欺诈检测方法，其特征在于，所述将tps变换后的化妆参考人脸图像和素颜真实人脸图像进行泊松融合，生成化妆增广图像，具体包括：
4.根据权利要求1所述的针对化妆人脸的欺诈检测方法，其特征在于，以批通道归一化模块改进后的resnet18网络作为骨干网络，将不同数据库的特征提取区域按批输入骨干网络进行特征提取，具体包括：
5.根据权利要求1所述的针对化妆人脸的欺诈检测方法，其特征在于，所述计算全局交叉熵损失，具体表示为：
6.根据权利要求1所述的针对化妆人脸的欺诈检测方法，其特征在于，通过投影梯度方法优化不同数据库的最佳真假分类超平面并收敛为全局的真假分类超平面，具体包括：
7.根据权利要求1所述的针对化妆人脸的欺诈检测方法，其特征在于，建立存储样本特征表示的缓存区，具体包括：
8.根据权利要求1所述的针对化妆人脸的欺诈检测方法，其特征在于，对于以骨干网络提取的新样本特征，计算出缓存区中与其最相似的top-k个样本，从中筛选出与当前样本同数据库且同类的样本作为锚点，计算锚点与新样本间的近邻监督对比损失，具体包括：
9.根据权利要求1所述的针对化妆人脸的欺诈检测方法，其特征在于，构建两个固定的正交向量，与骨干网络提取的特征构成虚拟三元组，计算虚拟三元组的虚拟三元损失，具体表示为：
10.一种针对化妆人脸的欺诈检测系统，其特征在于，包括：数据集划分、视频解码模块、人脸区域提取模块、人脸标记模块、化妆增广模块、特征提取模块、不同数据库超平面对齐模块、缓存区构建模块、近邻监督对比模块、虚拟三元组构建模块、虚拟三元损失计算模块、总损失函数构建模块、模型训练模块、预测模块；
