无监督域泛化的人脸防伪方法、系统、介质及电子设备

    专利2026-02-12  1


    本公开涉及计算机视觉,具体地,涉及一种无监督域泛化的人脸防伪方法、系统、介质及电子设备。


    背景技术:

    1、随着人工智能技术的快速发展,计算机视觉技术被越来越多地应用到人类的生产生活中。人脸识别作为一项成熟的生物特征识别技术,被广泛应用于日常生活中的交互式智能应用中,例如手机解锁、门禁验证和金融支付。然而,现有的人脸识别系统存在许多安全隐患,容易受到蓄意攻击,即通过伪装用户的面部来欺骗人脸识别系统,常见的人脸伪造方式包括打印照片、视频回放、3d打印面具等。因此,为了保证人脸识别系统的安全性,提出人脸防伪技术以判别人脸的真伪,早期的人脸防伪技术采用手工设计的特征提取算子,建模人脸的纹理信息、脸部运动信息、三维形状信息和图像质量信息,并判断人脸的真伪。但是这类传统的方法基于人为的先验知识设计,鲁棒性较差,难以用于真实复杂环境的人脸防伪应用。

    2、随着深度学习的兴起,提出采用特征提取能力更强的卷积神经网络来进行端到端地学习人脸防伪任务,通过将真伪问题建模为有监督的二分类问题,采用标签训练神经网络以提取特征。人们还进一步地构造出细粒度更强的监督信号,如伪深度图和反射图,来更好地训练模型提取鲁棒的人脸防伪特征。但是上述方法依赖于昂贵的人为标注数据以进行模型训练,人脸防伪的标注数据较少并且标注成本很高,不适用于真实场景中应用,另外在标注数据较少的情况下,模型难以训练收敛,导致模型性能较差。此外,上述方法在跨数据集的测试(训练数据来自源域数据集,测试数据来自目标域数据集,源域和目标域存在分布的差异)中,由于照度、背景、分辨率的分布差异,导致模型性能急剧下降,表明现有的人脸防伪技术泛化能力较差,影响真实复杂场景中的应用。

    3、计算机视觉的域不变的方法和因果学习的方法被引入到人脸防伪中以提高泛化能力。其中,域不变的方法通过对抗学习来获得域不变的特征空间;因果学习方法通过建模真实的因果关系,来挖掘鲁棒的人脸防伪特征。但是这些方法仍然依赖于大量昂贵的标注数据,阻碍了人脸防伪在真实场景中的发展。对于人脸防伪在复杂的真实场景中的应用的研究具有重要意义。


    技术实现思路

    1、针对现有技术中的缺陷,本公开的目的是提供一种无监督域泛化的人脸防伪方法、系统、介质及电子设备。

    2、为实现上述目的,根据本公开的第一方面,提供一种无监督域泛化的人脸防伪方法,包括:

    3、获取标记域索引的人脸图像训练集,所述人脸图像训练集包括不同采集设备或环境下采集的人脸图像样本,每一域索引对应一种采集设备或环境;

    4、根据当前人脸图像样本的增强特征与同一域索引下的人脸图像样本的增强特征之间的特征相似度,确定第一正样本;

    5、根据所述当前人脸图像的域归一化特征与不同域索引下的人脸图像样本的域归一化特征之间的特征相似度,确定第二正样本;

    6、采用所述人脸图像训练集对预设的无监督孪生网络进行模型训练处理,并根据整体损失函数对所述预设的无监督孪生网络进行优化处理,确定无监督孪生网络模型;

    7、将目标人脸图像输入所述无监督孪生网络模型中,确定所述目标人脸图像的人脸防伪特征。

    8、可选地,所述方法还包括:

    9、对所述人脸图像训练集的人脸图像样本进行数据增强处理,将经过所述数据增强处理后的人脸图像样本输入所述预设的无监督孪生网络中,确定所述人脸图像样本的增强特征。

    10、可选地,所述对所述人脸图像训练集的人脸图像样本进行数据增强处理,将经过所述数据增强处理后的人脸图像样本输入所述预设的无监督孪生网络中,确定所述人脸图像样本的增强特征,包括:

    11、将所述人脸图像样本根据预设尺寸拆分为图像块;

    12、将每一所述图像块进行预设角度的旋转处理,确定旋转图像块;

    13、采样所述人脸图像样本的预设数量的旋转图像块,输入所述预设的无监督孪生网络中,确定所述预设数量的旋转图像块的特征平均值,作为所述人脸图像样本的增强特征。

    14、可选地,所述方法还包括:

    15、将所述人脸图像样本的增强特征进行域归一化处理,确定所述人脸图像样本的域归一化特征。

    16、可选地,所述方法还包括:

    17、根据所述当前人脸图像样本的增强特征预测值与所述当前人脸图像样本的原图像特征之间的余弦相似度,确定第一对比损失函数;

    18、根据所述第一正样本的原图像特征与所述当前人脸图像样本的增强特征预测值之间的余弦相似度,确定第二对比损失函数;

    19、根据所述第二正样本的原图像特征与所述当前人脸图像样本的增强特征预测值之间的余弦相似度,确定第三对比损失函数;

    20、将所述第一对比损失函数、所述第二对比损失函数、所述第三对比损失函数进行加权处理,确定所述整体损失函数。

    21、可选地,所述将所述第一对比损失函数、所述第二对比损失函数、所述第三对比损失函数进行加权处理,确定所述整体损失函数,包括:

    22、l=lsrm+λ1·lidnn+λ2·lcdnn

    23、其中,l表示所述整体损失函数,lsrm表示所述第一对比损失函数,lidnn表示所述第二对比损失函数,λ1表示所述第二对比损失函数的加权权重,lcdnn表示所述第三对比损失函数,λ2表示所述第三对比损失函数的加权权重。

    24、可选地,所述采用所述人脸图像训练集对预设的无监督孪生网络进行模型训练处理,并根据整体损失函数对所述预设的无监督孪生网络进行优化处理,确定无监督孪生网络模型,包括:

    25、将所述人脸图像样本输入所述预设的无监督孪生网络中,输出所述预设的无监督孪生网络编码的人脸图像特征;

    26、采用所述整体损失函数约束所述当前人脸图像样本与所述第一正样本、所述第二正样本的特征空间一致,优化所述预设的无监督孪生网络的网络参数,确定所述无监督孪生网络模型。

    27、根据本公开的第二方面,提供一种无监督域泛化的人脸防伪系统,包括:

    28、获取模块,用于获取标记域索引的人脸图像训练集,所述人脸图像训练集包括不同采集设备或环境下采集的人脸图像样本,每一域索引对应一种采集设备或环境;

    29、第一确定模块,用于根据当前人脸图像样本的增强特征与同一域索引下的人脸图像样本的增强特征之间的特征相似度,确定第一正样本;

    30、第二确定模块,用于根据所述当前人脸图像的域归一化特征与不同域索引下的人脸图像样本的域归一化特征之间的特征相似度,确定第二正样本;

    31、模型训练模块,用于采用所述人脸图像训练集对预设的无监督孪生网络进行模型训练处理,并根据整体损失函数对所述预设的无监督孪生网络进行优化处理,确定无监督孪生网络模型;

    32、第三确定模块,用于将目标人脸图像输入所述无监督孪生网络模型中,确定所述目标人脸图像的人脸防伪特征。

    33、根据本公开的第三方面,提供一种非临时性计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现本公开第一方面提供的无监督域泛化的人脸防伪方法的步骤。

    34、根据本公开的第四方面,提供一种电子设备,包括:

    35、存储器,其上存储有计算机程序;

    36、处理器,用于执行所述存储器中的所述计算机程序,以实现本公开第一方面提供的无监督域泛化的人脸防伪方法的步骤。

    37、与现有技术相比,本公开实施例具有如下至少一种有益效果:

    38、通过上述技术方案,对人脸图像训练集的人脸图像样本进行数据增强处理,广泛的获取无标注数据,无需标注成本,学习泛化性的人脸特征,能够实现高效、低成本地应用于实际部署;采用第一正样本(即相同域的最近邻样本)进行对比学习,消除影响人脸泛化性的人脸特征;将人脸图像训练集中的人脸图像样本进行域归一化处理以消除不同域的偏差,消除影响人脸泛化性的域特征;并且,引入无监督网络模型,采用大量无标注数据训练无监督网络模型,泛化性较强,还能在采用少量标注数据的微调的情况下,有效提升无监督网络模型的防伪性能,实现低成本、高鲁棒性的人脸防伪识别。


    技术特征:

    1.一种无监督域泛化的人脸防伪方法,其特征在于,包括:

    2.根据权利要求1所述的方法,其特征在于,所述方法还包括:

    3.根据权利要求2所述的方法,其特征在于,所述对所述人脸图像训练集的人脸图像样本进行数据增强处理,将经过所述数据增强处理后的人脸图像样本输入所述预设的无监督孪生网络中,确定所述人脸图像样本的增强特征,包括:

    4.根据权利要求2所述的方法,其特征在于,所述方法还包括:

    5.根据权利要求1所述的方法,其特征在于,所述方法还包括:

    6.根据权利要求5所述的方法,其特征在于,所述将所述第一对比损失函数、所述第二对比损失函数、所述第三对比损失函数进行加权处理,确定所述整体损失函数,包括:

    7.根据权利要求1所述的方法,其特征在于,所述采用所述人脸图像训练集对预设的无监督孪生网络进行模型训练处理,并根据整体损失函数对所述预设的无监督孪生网络进行优化处理,确定无监督孪生网络模型,包括:

    8.一种无监督域泛化的人脸防伪系统,其特征在于,包括:

    9.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。

    10.一种电子设备,其特征在于,包括:


    技术总结
    本公开提供一种无监督域泛化的人脸防伪方法、系统、介质及电子设备,其中人脸防伪方法包括:获取标记域索引的人脸图像训练集;根据当前人脸图像样本的增强特征与同一域索引下的人脸图像样本的增强特征之间的特征相似度,确定第一正样本;根据当前人脸图像的域归一化特征与不同域索引下的人脸图像样本的域归一化特征之间的特征相似度,确定第二正样本;采用人脸图像训练集对预设的无监督孪生网络进行模型训练处理,确定无监督孪生网络模型;将目标人脸图像输入无监督孪生网络模型中,确定目标人脸图像的人脸防伪特征。通过本公开,有效提升无监督网络模型的防伪性能,提高泛化性,实现低成本高鲁棒性的人脸防伪识别。

    技术研发人员:熊红凯,刘育辰,陈亚博,戴文睿,李成林,邹君妮
    受保护的技术使用者:上海交通大学
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-95093.html

    最新回复(0)