本发明属于人脸活体检测，具体涉及一种基于使用rgb与深度图异常检测的人脸活体检测方法及装置。
背景技术：
1、人脸识别技术由于其便捷性和显著的准确性，已在签到、移动支付等少数交互式智能应用中得到应用。然而，现有的人脸识别系统很容易受到来自打印、回放、化妆、3d面具等演示攻击的攻击。因此，为了保证人脸识别系统的安全，开发人脸反欺骗(也被称为“人脸表示攻击检测(pad)”或“人脸活动性检测(fas)”)技术受到了学术界和工业界的广泛关注，同时也是计算机视觉中一个活跃的研究课题，近年来发表的论文越来越多。
2、在早期阶段，许多传统的手工特征被提出用于表示攻击检测。大多数传统算法是基于人类活动线索和手工特征设计的，这需要丰富的任务感知先验知识来进行设计。随后，针对静态和动态面部检测，提出了一些混合(手工特征+深度学习)和端到端基于深度学习的方法。大多数研究将人脸活体检测视为一个二元分类问题(例如，“0”表示活，“1”表示欺骗人脸，反之亦然)，因此由一个简单的二元交叉熵损失来监督。
3、传统的基于端到端深度学习的人脸活体检测方法可能在不可见的主导条件(例如，照明、面部外观和相机质量)和未知的攻击类型(例如，由新材料制成的新兴高保真掩模)下泛化效果较差。因此，这些方法在安全性要求较高的实际应用中是不可靠的。有鉴于此，越来越多的研究者开始关注如何提高深层人脸活体检测模型的泛化能力。一方面，利用领域自适应和泛化技术在无限的领域变化下实现鲁棒的实时/欺骗分类。另一方面，将零/少镜头学习和异常检测框架应用于未知人脸识别类型的检测。
4、qin等人提出了一种元学习框架，该框架结合了元损失函数搜索(meta lossfunction search,mls)策略来搜索更好的损失函数，帮助元学习者处理单类域泛化任务。mohammadi等人提出了一个框架，通过域引导修剪来处理单类域泛化任务。在该框架下，利用源域和目标域真实人脸样本之间的特征差异估计预训练人脸活体检测模型中不同滤波器的泛化能力，并对泛化能力差的滤波器进行俢剪。此外，fatemifar等人建议使用在目标客户域中收集的一些真实人脸样本开发针对客户的人脸活体检测模型。利用预训练的深度神经网络作为特征提取器，利用传统的单类分类器构建人脸活体检测模型。
5、上述方法虽然均可以完成人脸活体检测任务，然而，这些方法无法在未知域上对齐分布，特别是在看不见的攻击中导致性能下降。域偏移严重影响人脸识别模型的可靠性，近年来人们采用领域自适应技术来解决人脸识别中的跨领域问题。领域自适应技术通过利用目标领域数据来提高跨领域性能。然而，在目标域收集和标注足够的数据样本用于自适应是困难和昂贵的。此外，收集攻击样本需要面部伪造，人脸伪造的制作过程比较复杂，无法保证采集到的攻击样本与攻击者发起的攻击样本完全相同。
技术实现思路
1、为了解决现有技术中存在的上述问题，本发明提供了一种基于使用rgb与深度图异常检测的人脸活体检测方法及装置。本发明要解决的技术问题通过以下技术方案实现：
2、第一方面，本发明提供了一种基于使用rgb与深度图异常检测的人脸活体检测方法包括：
3、s100，从监控设备获取当前时刻的监控图像，并从所述监控图像中截取rgb人脸图像作为待检测人脸图像；
4、s200，将所述待检测人脸图像作预处理得到深度人脸图像；
5、s300，所述待检测人脸图像和所述深度人脸图像输入至训练完成的双流网络模型中，以使所述双流网络模型提取所述待检测深度人脸图像的深度图多尺度特征和所述待检测人脸图像的rgb多尺度特征，并将两者融合得到多尺度融合特征；根据所述多尺度融合特征重建所述深度人脸图像的模拟人脸，以及根据所述rgb多尺度特征重建所述rgb人脸图像的模拟人脸。
6、第二方面，本发明提供了一种基于使用rgb与深度图异常检测的人脸活体检测装置，包括：
7、获取模块，被配置为从监控设备获取当前时刻的监控图像，并从所述监控图像中截取rgb人脸图像作为待检测人脸图像；
8、处理模块，被配置为将所述待检测人脸图像作预处理得到深度人脸图像；
9、重建模块，被配置为所述待检测人脸图像和所述深度人脸图像输入至训练完成的双流网络模型中，以使所述双流网络模型提取所述待检测深度人脸图像的深度图多尺度特征和所述待检测人脸图像的rgb多尺度特征，并将两者融合得到多尺度融合特征；根据所述多尺度融合特征重建所述深度人脸图像的模拟人脸，以及根据所述rgb多尺度特征重建所述rgb人脸图像的模拟人脸。
10、有益效果：
11、1)本发明基于使用rgb与深度图异常检测的人脸活体检测网络框架，采用异常检测训练的思想克服了非活体样本获取成本高的问题，同时提高了对活体样本的利用效率，提高了人脸活体检测的精确率。
12、2)本发明基于使用rgb与深度图异常检测的人脸活体检测网络框架，使用双流网络模型结构，同时对rgb图像和深度图像使用gan的方式训练网络，同时使用rgb图像特征与深度图特征的中期融合方式，进一步提高检测准确率。
13、3)本发明着重考虑到多模态图像的输入情况，在最后的测试阶段，通过对rgb与深度图两种模态分别计算两种模态的异常分数，接着进行后处理，综合利用两种模态的优势，完成最后的检测。
14、以下将结合附图及实施例对本发明做进一步详细说明。
1.一种基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，包括：
2.根据权利要求1所述的基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，所述双流网络模型包括深度图流子模型和rgb流子模型，所述深度图流子模型包括深度图流生成器和深度图流判别器，所述rgb流子模型包括rgb流生成器和rgb流判别器；
3.根据权利要求2所述的基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，所述深度图流编码器和所述rgb流生成器均用于提取输入图像的图像特征，所述深度图流编码器输出深度图多尺度特征，所述rgb流生成器输出rgb流多尺度特征至所述多尺度特征融合网络和所述深度图流判别器中；
4.根据权利要求2所述的基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，所述rgb流生成器中的第一个rgb流编码器用于提取所述输入图像的rgb流多尺度特征，rgb流解码器用于根据所述rgb流多尺度特征重建所述rgb人脸图像的第二模拟人脸；第二rgb流编码器用于提取所述第二模拟人脸的特征向量。
5.根据权利要求2所述的基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，所述训练完成的双流网络模型利用训练样本训练得到，所述训练样本的生成过程包括：
6.根据权利要求5所述的基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，所述训练完成的双流网络模型的训练过程包括：
7.根据权利要求6所述的基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，f2包括：
8.根据权利要求6所述的基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，在得到训练完成的双流网络模型之后，所述基于使用rgb与深度图异常检测的人脸活体检测方法还包括：利用测试样本对训练完成的双流网络模型进行测试。
9.根据权利要求8所述的基于使用rgb与深度图异常检测的人脸活体检测方法，其特征在于，所述利用测试样本对训练完成的双流网络模型进行测试包括：
10.一种基于使用rgb与深度图异常检测的人脸活体检测装置，其特征在于，包括：
