一种基于语音、手势和人脸的安全验证方法及系统与流程

    专利2025-12-04  2


    本申请涉及安全验证,尤其是涉及一种基于语音、手势和人脸的安全验证方法及系统。


    背景技术:

    1、生物特征识别技术能提供一个方便、安全、可靠的身份认证解决方案,是当前信息安全、图像处理、模式识别等学术领域极为关注的热点问题。

    2、目前需要登录一个系统的话,除账号密码的登录方式,就是人脸或指纹方式。仅使用单生物特征对身份进行识别容易被伪造和欺骗,例如单一的指纹图片容易被伪造,易模仿与窃取,并且指纹识别最初被用在犯罪领域中使一些用户存在抵触心理,还有一部分用户的单一指纹特征不能采集到有效清晰的图像,使单模态生物特征系统在实际应用中有了一定的局限性。多模态生物特征系统提高了安全系数,降低识别系统被攻破的风险,但仍有生物特征被逐一伪造导致识别系统被攻破的情况发生,因此如何进一步提高多模态生物特征验证的准确性十分重要。


    技术实现思路

    1、为了解决多模态生物特征验证中存在生物特征被逐一伪造导致识别系统被攻破的问题,本申请提供了一种基于语音、手势和人脸的安全验证方法及系统。

    2、在本申请的第一方面,提供一种基于语音、手势和人脸的安全验证方法,包括:

    3、获取用户的音频信息和人像采集区域的视频信息,所述音频信息中包含对应系统的不同操作指令的唤醒词,所述视频信息包括人脸信息和手势信息;

    4、根据所述音频信息和视频信息,验证用户是否为本人独自操作;

    5、当验证本人独自操作后,再根据所述唤醒词、人脸信息和手势信息完成安全验证。

    6、通过采用上述技术方案,根据语音、人脸和手势三个生物特征对用户的身份进行验证,并验证三个生物特征是否属于单独一个用户,从而降低了伪造生物特征的可能性,降低多模态生物特征验证中存在生物特征被逐一伪造导致识别系统被攻破的风险。

    7、在一种可能的实现方式中,根据所述音频信息和视频信息,验证用户是否为本人独自操作,包括:

    8、提取音频信息的声纹特征并计算音频信息的处理时间;

    9、提取视频信息中人脸信息的口型变化时间,以及手势信息及手臂动作信息;

    10、根据所述声纹特征和人脸信息,确定所述声纹特征与视频中用户身份的关联性;

    11、根据所述视频信息中的手势信息和手臂动作信息,确定所述手势信息与视频中用户的关联性;

    12、根据音频信息的处理时间、人脸信息的口型变化时间,确定音频信息与视频中用户的关联性;

    13、根据所述音频信息与视频中用户的关联性、手势信息与视频中用户的关联性,以及声纹特征与视频中用户身份的关联性,判断用户是否为本人独自操作。

    14、在一种可能的实现方式中,根据所述声纹特征和人脸信息,确定所述声纹特征与视频中用户身份的关联性,包括:

    15、根据所述声纹特征,从预存的声纹特征库中匹配用户的身份信息;

    16、根据所述用户的身份信息,从预存的人脸信息库中调取对应身份信息的人脸信息;

    17、将所述视频信息中的人脸信息与对应身份信息的人脸信息进行匹配,判断声纹特征与视频中用户身份是否存在关联。

    18、在一种可能的实现方式中,根据所述声纹特征和人脸信息,确定所述声纹特征与视频中用户身份的关联性,还包括:

    19、根据所述声纹特征,获取对应声纹特征的用户的历史音频数据;

    20、将所述唤醒词对应的音频信息转换成频谱图;

    21、当所述唤醒词对应的频谱图与所述历史音频数据转换的频谱图均不相同时,确定所述声纹特征与视频中用户身份关联。

    22、在一种可能的实现方式中,根据所述视频信息中的手势信息和手臂动作信息,确定所述手势信息与视频中用户的关联性,包括:

    23、根据所述手势信息,确定视频中用户使用的手臂;

    24、基于动作匹配模型,判断对应手臂的手臂动作信息是否与手势信息匹配;

    25、当所述手势信息与对应手臂的手臂动作信息匹配时,手势信息与视频中用户相关联。

    26、在一种可能的实现方式中,根据音频信息的处理时间、人脸信息的口型变化时间,确定音频信息与视频中用户的关联性,包括:

    27、将所述音频信息按照用户的发音的音量进行分段;

    28、统计用户每段发音的开始时间和结束时间;

    29、记录人脸信息中用户口型变化时间;

    30、当用户每段发音的开始时间、结束时间均与用户口型变化时间相匹配时,音频信息与视频中用户存在关联。

    31、在一种可能的实现方式中,获取用户的音频信息和人像采集区域的视频信息,包括:

    32、获取人体感应信号,所述人体感应信号用于反映登录设备前是否存在用户;

    33、当所述人体感应信号显示人像采集区域存在用户时,采集用户的音频信息。

    34、在一种可能的实现方式中,根据所述唤醒词、人脸信息和手势信息完成安全验证,包括:

    35、获取所述唤醒词对应的验证程序,以及手势信息对应的验证指令;

    36、判断所述唤醒词对应的验证程序与手势信息对应的验证指令是否匹配;

    37、根据所述人脸信息,基于预存的人脸数据库,判断用户是否具有验证权限;

    38、当所述验证程序与验证指令匹配,且用户具有验证权限时,安全验证通过。

    39、在本申请的第二方面,提供一种基于语音、手势和人脸的安全验证系统,包括:

    40、图像采集设备、音频采集设备、人体感应设备和处理设备,所述处理设备电连接图像采集设备、音频采集设备和人体感应设备,所述图像采集设备的摄像端朝向用户的设置。

    41、在一种可能的实现方式中,所述处理设备被配置为:

    42、获取模块,用于获取用户的音频信息和人像采集区域的视频信息,所述音频信息中包含对应系统的不同操作指令的唤醒词,所述视频信息包括人脸信息和手势信息;

    43、第一验证模块,用于根据所述音频信息和视频信息,验证用户是否为本人独自操作;

    44、第二验证模块,用于根据所述唤醒词、人脸信息和手势信息完成安全验证。

    45、综上所述,本申请包括以下至少一种有益技术效果:根据语音、人脸和手势三个生物特征对用户的身份进行验证,并验证三个生物特质是否属于单独一个用户,从而降低了伪造生物特征的可能性,降低多模态生物特征验证中存在生物特征被逐一伪造导致识别系统被攻破的风险。



    技术特征:

    1.一种基于语音、手势和人脸的安全验证方法,其特征在于,包括:

    2.根据权利要求1所述的基于语音、手势和人脸的安全验证方法,其特征在于,根据所述音频信息和视频信息,验证用户是否为本人独自操作,包括:

    3.根据权利要求2所述的基于语音、手势和人脸的安全验证方法,其特征在于,根据所述声纹特征和人脸信息,确定所述声纹特征与视频中用户身份的关联性,包括:

    4.根据权利要求2所述的基于语音、手势和人脸的安全验证方法,其特征在于,根据所述声纹特征和人脸信息,确定所述声纹特征与视频中用户身份的关联性,还包括:

    5.根据权利要求2所述的基于语音、手势和人脸的安全验证方法,其特征在于,根据所述视频信息中的手势信息和手臂动作信息,确定所述手势信息与视频中用户的关联性,包括:

    6.根据权利要求2所述的基于语音、手势和人脸的安全验证方法,其特征在于,根据音频信息的处理时间、人脸信息的口型变化时间,确定音频信息与视频中用户的关联性,包括:

    7.根据权利要求1所述的基于语音、手势和人脸的安全验证方法,其特征在于,获取用户的音频信息和人像采集区域的视频信息,包括:

    8.根据权利要求1所述的基于语音、手势和人脸的安全验证方法,其特征在于,根据所述唤醒词、人脸信息和手势信息完成安全验证,包括:

    9.一种基于语音、手势和人脸的安全验证系统,其特征在于,包括:

    10.根据权利要求9所述的基于语音、手势和人脸的安全验证系统,其特征在于,所述处理设备被配置为:


    技术总结
    本申请涉及一种基于语音、手势和人脸的安全验证方法及系统,涉及安全验证技术领域,其包括:获取用户的音频信息和人像采集区域的视频信息,所述音频信息中包含对应系统的不同操作指令的唤醒词,所述视频信息包括人脸信息和手势信息;根据所述音频信息和视频信息,验证用户是否为本人独自操作;当验证本人独自操作后,再根据所述唤醒词、人脸信息和手势信息完成安全验证。本申请具有多模态生物特征验证的安全性的效果。

    技术研发人员:段克
    受保护的技术使用者:北京视通科技有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-92474.html

    最新回复(0)