本发明属于智能信息安全技术领域，尤其涉及一种基于可信执行环境的声纹及面部识别验证系统及方法，通过将声纹及面部识别双重认证融合部署在可信执行环境中，提高智能家居远程控制的安全性。
背景技术：
随着物联网技术的发展，智能家居产业日益繁荣，现在越来越多的人都接受智能家居设备，智能家居能为人们提供舒适，便捷的生活。智能家居集中运用了现代传感、视频控制、人机交互、信息融合、网络通信、人工智能及大数据分析等技术，是典型的高新技术综合体。智能家居设备和传统家居设备的主要区别，即是否有联网和远程控制行为。目前智能家居系统架构主要包括云端、设备终端以及手机终端，其安全风险主要包括云端、设备终端、手机app以及通信四个方面。
但是因其互联网连接，难免担心家庭智能安防设备被黑客入侵，导致家庭安全受到威胁，在黑客手中，小米、三星推出的智能摄像头纷纷被攻破，还有许多常见的可以控制家中灯光、家电等的智能硬件也未能幸免。如果这些设备被不法分子破解和利用，那么用户的隐私就没有了，家里的设备也不再听从主人“使唤”，带来的后果将不堪设想。因此保证智能家居的安全性成了各大厂商亟需解决的难题。
许多智能设备允许房主通过集成第三方移动应用程序或智能家居平台来远程打开和关闭照明灯或打开和关闭车库门。但是，未经安全授权的应用程序可能会让你以外的其他人冒充你，并在你的手机上操作设备时对其进行操作。另外，一些应用程序将在设备上执行操作的权限分组，而不是对每个功能要求单独的权限。这可以使黑客能够，比如说，远程锁定和打开你的前门。
智能家居设备拥有大量的个人信息，从你的出生日期到信用卡信息，如果这些设备缺乏强有力的保护来阻止攻击，网络罪犯可以通过黑客手段窃取这些信息。然后，他们可以利用窃取的数据发动有针对性的攻击，把你拉入黑幕交易。例如，如果一个黑客发现你的一个家庭成员有债务，他可以代表那个亲戚给你发一个假的要钱的请求。
此外，控制家庭关键功能(如制冷和供暖)的智能设备被破坏，可能会造成更大的灾难。黑客可以使用你的恒温器摆弄它，迫使你的暖通空调系统过度驱动，并导致它故障。更糟糕的是，黑客会在你离家的时候，把烤箱打开，引发一场火灾。
因此，对远程控制智能家居时的安全认证显得极为重要，这样可以避免由于黑客冒充用户身份，对智能家居设备及个人隐私信息进行不法利用和窃取。
技术实现要素：
为了克服上述现有技术的不足，本发明的目的是提供一种基于可信执行环境的声纹及面部识别验证系统及方法；针对处于同一局域网下的物联网智能家居设备，在云端设备使用trustzone技术，将用户声纹及面部信息存储至可信执行环境数据库中，并将双重身份认证过程部署至可信执行环境。通过在可信执行环境中对声纹及面部特征的双重身份识别，提高智能家居安全性。当用户通过终端进入验证界面，验证界面显示一句日常会话用语，会话用语来源于日常会话资料库随机抽取生成的，用户复述所述会话用语，语音模块开启采集语音声纹信息，并且面部特征采集模块采集所述用户面部信息。声纹识别验证模块以及面部特征验证模块对用户信息双重验证之后方可控制智能家居设备。
为了实现上述目的，本发明采用的技术方案是：
一种基于可信执行环境的声纹及面部识别验证系统，包括声纹特征提取模块，面部特征提取模块、声纹识别验证模块以及面部特征验证模块：
所述的可信执行环境指使用trustzone技术将云端服务器环境隔离为普通世界和安全世界，将用户特征信息的存储及校验部署在该环境中，提高智能家居系统的安全性；
所述的声纹特征提取模块，用于采集用户语音特征信息；
所述的面部特征提取模块，用于采集用户面部特征信息；
所述的声纹识别验证模块，指文本相关的声纹信息识别，用于用户身份校验的一部分；
所述的面部特征识别，指对所述用户的面部信息识别，用于用户身份校验的一部分。
一种基于可信执行环境的声纹及面部识别的验证方法，包括以下步骤：
步骤1、开启用于身份验证的随机文本的显示界面，包括：
1)随机文本显示：
用户打开移动端控制软件，进入认证界面，界面会显示一句验证的随机文本。所述用于验证的随机文本来源于日常会话语料库，作为语音采集的认证信息来源；
2)身份认证按钮：
用户点击“认证”按钮，复述所述文本，移动设备检测所述用户对所述“认证”按钮的操作，根据所述操作启动语音采集及面部信息采集模式，将会开启摄像头和录音，对所述用户声音和面部信息进行采集；
步骤2、启动语音采集模块，对声纹信息进行采集；
用户点击“认证”按钮，将开启所述语音采集模块通过移动端录音器进行录音获取所述用户语音信息，并将所述用户语音信息上传至云端服务器可信执行环境中；
步骤3、启动面部信息采集模块，对面部信息进行采集；
面部信息采集通过移动端摄像头拍摄获取三张所述用户面部图像，并将所述用户面部信息上传至云端服务器可信执行环境中；
步骤4、对用户语音信息进行声纹识别认证；
1)语音预处理；
将采集到的语音由模拟信号转化为数字信号后，将含噪的语音信号通过去噪处理；
2)特征提取；
预处理之后，进行预加重和分帧加窗处理，获取操作得到的帧序列信息的语音帧序列使用倒谱，计算使用梅尔频率倒谱系数(melfrequencycepstralcoefficients,mfcc)作为声纹特征参数，采用mfcc作为语音的特征参数对语音信息进行声纹提取，得到语音信息的声纹特征信息，再使用基于矢量量化方法进行模式匹配；
3)声纹识别比对；
使用基于矢量量化(vectorquantity，vq)方法进行模式匹配，在训练阶段,把每一说话者所提取的特征参量进行分类,产生不同码字所组成的码本。在识别阶段,先从待识别的语音中提取特征矢量序列x,然后计算待识别人语音的特征矢量x与集合内每个人的码本的距离,距离测度使用绝对值平均误差。根据计算得出的距离值最小的说话人作为结果输出。在说话人确认中还需要设置一个阈值,用于判断是否为说话人本人,这个阈值可以根据实际的结果进行调整。根据计算得到的相似度，进行身份匹配验证。
步骤5、对用户面部信息进行身份识别认证；
1)图像预处理；
首先采用对数和非线性变换对人脸图像动态范围进行压缩；然后利用锐化掩模滤波算法消除图像模糊，增强人脸图像细节信息。然后，利用直方图均衡化得到灰度归一化的图像，再对图像使用双边滤波其进行平滑滤波处理，可有效去除人脸图像像素噪声；
2)特征提取；
使用基于圆形lbp(localbinarypattern，局部二值模式)算法从人脸图像中提取有用的lbp特征，然后对有用的lbp特征进行计算后，利用灰度直方图对其进行描述和统计，最后对各自的灰度直方图进行比较后得出结果；
3)人脸图像识别比对；
将采集验证图像和数据库中存储图像的lbp直方图进行相似度比较，最后使用k近邻分类器近邻学习(k-nearestneighbor，knn)对直方图进行分类识别，选取欧氏距离作为相似度度量标准进行身份识别；
步骤6、根据步骤4和步骤5返回结果，若所述声纹特征信息和面部特征信息的结果识别均正确，则所述用户身份认证成功，否则显示身份认证失败。
进一步，所述步骤4对用户语音信息进行声纹识别认证详细步骤包括以下步骤：
1)预处理：将采集到的语音由模拟信号转化为数字信号后，再将含噪的语音信号通过去噪处理；
2)预加重：语音信号经过传输设备，其高频分量会有所下降，采用高通滤波器进行预加重对高频分量进行补偿；
y(n)＝s(n)-a×s(n-1)(1)
其中，s(n)代表原始语音信号，y(n)为得到的新的语音信号，a为预加重系数，通常的取值范围在0.9到1.0之间；
其次，进行分帧加窗，语音分帧处理之后，会出现频谱泄露的情况，使用汉明窗函数来解决这一问题；
3)声纹识别比对：将语音信号进行预处理后，通过使用基于mfcc算法对语音信号进行特征提取，对预处理分帧长度为d的每一帧声控信号补零得到长度为n的序列，记为x(n),{n＝0,1,...,n},通过快速傅里叶变换(fastfouriertransform，fft)得到的频谱为
然后，对频谱x(k)的平方得到的能量谱|x(k)|2进行mel滤波，并计算每个滤波器的对数能量s(m)，将对数能量s(m)经过离散余弦变换(discretecosinetransformation，dct)转换得到每一帧mfcc系数c(n)，为更好地拟合人发声和人耳听觉的动态特征，计算每一帧多维特征向量的一阶差分(δmfcc)，将提取的mfcc和(δmfcc)参数结合构成语音信号的特征向量skt，即skt＝{c(n,e(n)},0≤n≤l；
3)使用基于矢量量化(vectorquantity，vq)方法进行模式匹配。在训练阶段,把每一说话者所提取的特征参量进行分类,产生不同码字所组成的码本。在识别阶段,先从待识别的语音中提取特征矢量序列x,然后计算待识别人语音的特征矢量x与集合内每个人的码本的距离,距离测度使用绝对值平均误差。根据计算得出的距离值最小的说话人作为结果输出。在说话人确认中还需要设置一个阈值,用于判断是否为说话人本人,这个阈值可以根据实际的结果进行调整。根据计算得到的相似度，进行身份匹配验证。
进一步，所述的对用户面部信息进行身份识别认证详细包括以下步骤：
1)图像预处理；
首先采用对数和非线性变换对人脸图像动态范围进行压缩；然后利用锐化掩模滤波算法消除图像模糊，增强人脸图像细节信息。然后，利用直方图均衡化得到灰度归一化的图像。再对图像使用双边滤波其进行平滑滤波处理，可有效去除人脸图像像素噪声；
2)特征提取；
使用基于圆形lbp(localbinarypattern，局部二值模式)算法从人脸图像中提取有用的lbp特征，然后对这些特征进行计算后，利用灰度直方图对其进行描述和统计，最后对各自的灰度直方图进行比较后得出结果；
对每个图像分块的灰度方差进行计算，并根据得出的灰度方差值选择合适的m作为离散的阈值，圆形lbp算法以像素点为圆心，r为半径，提取半径上p个采样点，根据像素值比较方法，进行像素值大小的比较，得到该点的lbp特征值。
3)人脸图像识别比对；
将采集验证图像和数据库中存储图像的lbp直方图进行相似度比较。最后使用k近邻分类器近邻学习(k-nearestneighbor，knn)对直方图进行分类识别。常用两幅人脸直方图的相似值来表示距离的值，其计算公式表示为：
本发明的有益效果是：
本发明提供一种基于可信执行环境的声纹及面部融合识别安全验证系统，针对智能家居身份认证信息防止篡改和盗用问题，基于可信执行环境，构建声纹及面部识别系统。用户注册时，所述系统将采集用户面部信息使用基于圆形lbp的人脸哈希加密算法加密传输至云端服务器可信执行环境中，使用mfcc算法对语音信号进行特征提取，将特征数据使用哈希加密算法传输至云端可信执行环境中。用户在移动设备端控制智能家居设备时，首先进行身份验证，移动设备端采集验证信息并将声纹和面部信息返回给云端服务器进行双重验证匹配。
本发明的基于可信执行环境的声纹及面部识别融合的智能家居安全验证系统，包括语音采集模块，面部特征采集模块、声纹识别验证模块以及面部特征验证模块；通过对所述语音信息进行声纹提取，使用基于矢量量化(vectorquantity，vq)方法进行模式匹配。使用圆形lbp算法，从所述人脸图像面部信息中提取有用的lbp特征，将采集验证图像和数据库存储图像的lbp直方图进行相似度比较，使用k近邻分类器近邻学习(k-nearestneighbor，knn)对直方图进行分类识别。
附图说明
图1为本发明的语音信息采集模块示意图。
图2为本发明的面部信息采集模块示意图。
图3为本发明的声纹识别模块结构示意图。
图4为本发明的面部识别模块结构示意图。
图5为本发明的系统工作流程示意图。
具体实施方式
以下结合附图对本发明进一步叙述。
一种基于可信执行环境的声纹及面部识别验证系统，包括声纹特征提取模块，面部特征提取模块、声纹识别验证模块以及面部特征验证模块：
所述的可信执行环境指使用trustzone技术将云端服务器环境隔离为普通世界和安全世界，将用户特征信息的存储及校验部署在该环境中，提高智能家居系统的安全性；
所述的声纹特征提取模块，用于采集用户语音特征信息；
所述的面部特征提取模块，用于采集用户面部特征信息；
所述的声纹识别验证模块，指文本相关的声纹信息识别，用于用户身份校验的一部分；
所述的面部特征识别，用于对用户身份校验的部分。
如图1所示为所述语音信息采集模块，用户在移动端打开控制软件进入认证界面，点击“认证”按钮，读取显示界面所示验证文本，后台开启录音机采集所述用户语音信息，并将该语音信息上传至云端服务器。
如图2所示为所述面部信息采集模块，所述用户在读取显示界面所示验证文本，开启摄像机拍照功能，随机拍摄三张用户面部图像，并将所拍摄的图像打包上传至云端服务器。
如图3所示为所述声纹识别模块，包括：
1)语音预处理。将采集到的语音由模拟信号转化为数字信号后，将含噪的语音信号通过去噪处理。
2)特征提取。预处理之后，进行预加重和分帧加窗处理，获取所述操作得到的帧序列信息的语音帧序列使用倒谱。计算使用梅尔频率倒谱系数(melfrequencycepstralcoefficients,mfcc)作为声纹特征参数。
预加重。语音信号经过传输设备，其高频分量会有所下降，采用高通滤波器进行预加重对高频分量进行补偿。
y(n)＝s(n)-a×s(n-1)(1)
其中，s(n)代表原始语音信号，y(n)为得到的新的语音信号，a为预加重系数，通常的取值范围在0.9到1.0之间。
其次，进行分帧加窗。语音分帧处理之后，会出现频谱泄露的情况，使用汉明窗函数来解决这一问题。
将语音信号进行预处理后，通过使用基于mfcc算法对语音信号进行特征提取。对预处理分帧长度为d的每一帧声控信号补零得到长度为n的序列，记为x(n),{n＝0,1,...,n},通过快速傅里叶变换(fastfouriertransform，fft)得到的频谱为
然后，对频谱x(k)的平方得到的能量谱|x(k)|2进行mel滤波，并计算每个滤波器的对数能量s(m)。将对数能量s(m)经过离散余弦变换(discretecosinetransformation，dct)转换得到每一帧mfcc系数c(n)，为更好地拟合人发声和人耳听觉的动态特征，计算每一帧多维特征向量的一阶差分(δmfcc)。将提取的mfcc和(δmfcc)参数结合构成语音信号的特征向量skt，即skt＝{c(n,e(n)},0≤n≤l。
3)声纹识别比对。使用基于矢量量化(vectorquantity，vq)方法进行模式匹配。在训练阶段,把每一说话者所提取的特征参量进行分类,产生不同码字所组成的码本。在识别阶段,先从待识别的语音中提取特征矢量序列x,然后计算待识别人语音的特征矢量x与集合内每个人的码本的距离,距离测度使用绝对值平均误差。根据计算得出的距离值最小的说话人作为结果输出。在说话人确认中还需要设置一个阈值,用于判断是否为说话人本人,这个阈值可以根据实际的结果进行调整。根据计算得到的相似度，进行身份匹配验证。
如图4为所述面部信息采集模块，包括：
1)图像预处理。首先采用对数和非线性变换对人脸图像动态范围进行压缩；然后利用锐化掩模滤波算法消除图像模糊，增强人脸图像细节信息。然后，利用直方图均衡化得到灰度归一化的图像。再对图像使用双边滤波其进行平滑滤波处理，可有效去除人脸图像像素噪声。
2)特征提取。使用基于圆形lbp(localbinarypattern，局部二值模式)算法从人脸图像中提取有用的lbp特征，然后对这些特征进行计算后，利用灰度直方图对其进行描述和统计，最后对各自的灰度直方图进行比较后得出结果。对每个图像分块的灰度方差进行计算，并根据得出的灰度方差值选择合适的m作为离散的阈值。圆形lbp算法以像素点为圆心，r为半径，提取半径上p个采样点，根据像素值比较方法，进行像素值大小的比较，得到该点的lbp特征值。
3)人脸图像识别比对。将采集验证图像和数据库中存储图像的lbp直方图进行相似度比较。最后使用k近邻分类器近邻学习(k-nearestneighbor，knn)对直方图进行分类识别。常用两幅人脸直方图的相似值来表示距离的值，其计算公式表示为：
1.一种基于可信执行环境的声纹及面部识别验证系统，包括声纹特征提取模块，面部特征提取模块、声纹识别验证模块以及面部特征验证模块，其特征在于：
所述的可信执行环境指使用trustzone技术将云端服务器环境隔离为普通世界和安全世界，将用户特征信息的存储及校验部署在该环境中，提高智能家居系统的安全性；
所述的声纹特征提取模块，用于采集用户语音特征信息；
所述的面部特征提取模块，用于采集用户面部特征信息；
所述的声纹识别验证模块，指文本相关的声纹信息识别，用于用户身份校验的一部分；
所述的面部特征识别，指对所述用户的面部信息识别，用于用户身份校验的一部分。
2.一种基于可信执行环境的声纹及面部识别的验证方法，其特征在于，包括以下步骤：
步骤1、开启用于身份验证的随机文本的显示界面，包括：
1)随机文本显示：
用户打开移动端控制软件，进入认证界面，界面会显示一句验证的随机文本。所述用于验证的随机文本来源于日常会话语料库，作为语音采集的认证信息来源；
2)身份认证按钮：
用户点击“认证”按钮，复述所述文本，移动设备检测所述用户对所述“认证”按钮的操作，根据所述操作启动语音采集及面部信息采集模式，将会开启摄像头和录音，对所述用户声音和面部信息进行采集；
步骤2、启动语音采集模块，对声纹信息进行采集；
用户点击“认证”按钮，将开启所述语音采集模块通过移动端录音器进行录音获取所述用户语音信息，并将所述用户语音信息上传至云端服务器可信执行环境中；
步骤3、启动面部信息采集模块，对面部信息进行采集；
面部信息采集通过移动端摄像头拍摄获取三张所述用户面部图像，并将所述用户面部信息上传至云端服务器可信执行环境中；
步骤4、对用户语音信息进行声纹识别认证；
1)语音预处理；
将采集到的语音由模拟信号转化为数字信号后，将含噪的语音信号通过去噪处理；
2)特征提取；
预处理之后，进行预加重和分帧加窗处理，获取操作得到的帧序列信息的语音帧序列使用倒谱，计算使用梅尔频率倒谱系数(melfrequencycepstralcoefficients,mfcc)作为声纹特征参数，采用mfcc作为语音的特征参数对语音信息进行声纹提取，得到语音信息的声纹特征信息，再使用基于矢量量化方法进行模式匹配；
3)声纹识别比对；
使用基于矢量量化(vectorquantity，vq)方法进行模式匹配，根据文本内容及声纹信息判别是否由同一说话人产生；根据计算得到的相似度，进行身份匹配验证；
步骤5、对用户面部信息进行身份识别认证；
1)图像预处理；
首先采用对数和非线性变换对人脸图像动态范围进行压缩；然后利用锐化掩模滤波算法消除图像模糊，增强人脸图像细节信息。然后，利用直方图均衡化得到灰度归一化的图像，再对图像使用双边滤波其进行平滑滤波处理，可有效去除人脸图像像素噪声；
2)特征提取；
使用基于圆形lbp(localbinarypattern，局部二值模式)算法从人脸图像中提取有用的lbp特征，然后对有用的lbp特征进行计算后，利用灰度直方图对其进行描述和统计，最后对各自的灰度直方图进行比较后得出结果；
3)人脸图像识别比对；
将采集验证图像和数据库中存储图像的lbp直方图进行相似度比较，最后使用k近邻分类器近邻学习(k-nearestneighbor，knn)对直方图进行分类识别，选取欧氏距离作为相似度度量标准进行身份识别；
步骤6、根据步骤4和步骤5返回结果，若所述声纹特征信息和面部特征信息的结果识别均正确，则所述用户身份认证成功，否则显示身份认证失败。
3.根据权利要求2所述的一种基于可信执行环境的声纹及面部识别的验证方法，其特征在于，所述步骤4对用户语音信息进行声纹识别认证详细步骤包括以下步骤：
1)预处理：将采集到的语音由模拟信号转化为数字信号后，再将含噪的语音信号通过去噪处理；
2)预加重：语音信号经过传输设备，其高频分量会有所下降，采用高通滤波器进行预加重对高频分量进行补偿；
y(n)＝s(n)-a×s(n-1)(1)
其中，s(n)代表原始语音信号，y(n)为得到的新的语音信号，a为预加重系数，通常的取值范围在0.9到1.0之间；
其次，进行分帧加窗，语音分帧处理之后，会出现频谱泄露的情况，使用汉明窗函数来解决这一问题；
3)声纹识别比对：将语音信号进行预处理后，通过使用基于mfcc算法对语音信号进行特征提取，对预处理分帧长度为d的每一帧声控信号补零得到长度为n的序列，记为x(n),{n＝0,1,...,n},通过快速傅里叶变换(fastfouriertransform，fft)得到的频谱为
然后，对频谱x(k)的平方得到的能量谱|x(k)|2进行mel滤波，并计算每个滤波器的对数能量s(m)，将对数能量s(m)经过离散余弦变换(discretecosinetransformation，dct)转换得到每一帧mfcc系数c(n)，为更好地拟合人发声和人耳听觉的动态特征，计算每一帧多维特征向量的一阶差分(δmfcc)，将提取的mfcc和(δmfcc)参数结合构成语音信号的特征向量skt，即skt＝{c(n,e(n)},0≤n≤l；
3)使用基于矢量量化(vectorquantity，vq)方法进行模式匹配。在训练阶段,把每一说话者所提取的特征参量进行分类,产生不同码字所组成的码本。在识别阶段,先从待识别的语音中提取特征矢量序列x,然后计算待识别人语音的特征矢量x与集合内每个人的码本的距离,距离测度使用绝对值平均误差。根据计算得出的距离值最小的说话人作为结果输出。在说话人确认中还需要设置一个阈值,用于判断是否为说话人本人,这个阈值可以根据实际的结果进行调整。根据计算得到的相似度，进行身份匹配验证。
4.根据权利要求2所述的一种基于可信执行环境的声纹及面部识别的验证方法，其特征在于，所述的对用户面部信息进行身份识别认证详细包括以下步骤：
1)图像预处理；
首先采用对数和非线性变换对人脸图像动态范围进行压缩；然后利用锐化掩模滤波算法消除图像模糊，增强人脸图像细节信息。然后，利用直方图均衡化得到灰度归一化的图像。再对图像使用双边滤波其进行平滑滤波处理，可有效去除人脸图像像素噪声；
2)特征提取；
使用基于圆形lbp(localbinarypattern，局部二值模式)算法从人脸图像中提取有用的lbp特征，然后对这些特征进行计算后，利用灰度直方图对其进行描述和统计，最后对各自的灰度直方图进行比较后得出结果；
对每个图像分块的灰度方差进行计算，并根据得出的灰度方差值选择合适的m作为离散的阈值，圆形lbp算法以像素点为圆心，r为半径，提取半径上p个采样点，根据像素值比较方法，进行像素值大小的比较，得到该点的lbp特征值。
3)人脸图像识别比对；
将采集验证图像和数据库中存储图像的lbp直方图进行相似度比较。最后使用k近邻分类器近邻学习(k-nearestneighbor，knn)对直方图进行分类识别。常用两幅人脸直方图的相似值来表示距离的值，其计算公式表示为：
