本发明属于智能物流领域，具体涉及基于rgb-d信息改进r-fcn网络的智能取件方法。
背景技术：
在过去几年里，随着大数据的加持和人工智能的发展，人脸识别和字符识别算法取得了较大的进步。人脸支付、人脸解锁、在线扫描等便捷的应用在不断重塑我们的生活。
在快递签收应用中，人脸识别与快递单号匹配技术可以通过采集图像，检测出人脸和单号，进而识别人脸和快递单号信息，通过搜索数据库，比对人脸与快递单号对应的信息，完成收件人与快递的匹配，确保快递签收的准确性。同时与工作人员手工验证的方式相比，还能够减少取快递的排队等候时间，提升效率。
但是在实际应用过程中还存在一些急需解决的问题：其一是相机拍摄得到的图像尺寸很大，需要先定位出人脸和快递面单纸的位置再进行后续的检测，才能减少算法运算量，提高检测速度。其二是通常快递签收区域内会存在多个人脸，需要先定位收件人的人脸位置，才能进行下一步的识别检测检测。其三是需要对识别的人脸进行活体检测，防止利用照片或视频中的人脸进行快递签收。其四是需要系统能够从不同尺度与角度的面单纸上准确识别快递单号，使收件人保持正常姿势就能完成识别签收。
技术实现要素：
针对现有技术的不足，本发明提出了基于rgb-d信息改进r-fcn网络的智能取件方法，首先对相机拍摄得到的深度图像进行预分割和粗估计，然后结合rgb图像进行进行更精准的估计，得到大尺寸图像中的人脸区域与快递面单号区域，然后在人脸区域的图像中确定收件人人脸位置以及活体检测，再进行身份识别。同时对快递面单号区域中的图像进行仿射变换后，识别快递单号，匹配收件人信息。最后将识别的身份与匹配的收件人信息进行验证。
基于rgb-d信息改进r-fcn网络的智能取件方法，具体包括以下步骤：
步骤一、人脸与单号定位检测
使用相机拍摄签收区域的图像，得到大尺度的深度图像和rgb图像，通过以下步骤提取大尺度图像中的人脸区域与面单纸区域，用于后续的人脸识别与单号匹配。
s1.1、将拍摄得到的深度图像下采样m倍后输入vasp网络中进行深度图像的特征提取，其中vasp网络的结构为将现有vgg网络特征提取部分的层数降低一半，然后将卷积层替换为aspp卷积组。在vasp网络结构后面连接一个全连接层，进行目标粗分类，得到人脸与面单纸的大致区域。
作为优选，m∈(2,4,8,16)。
s1.2、将步骤1.1提取得到的深度图像特征输入segnet的解码网络部分，对深度图像特征进行上采样，对输出的结果进行像素级别的分类，将输出结果分成前景、中景以及背景，保留前景与中景部分的深度图像特征。
s1.3、将步骤1.2得到的前景与中景部分的深度图像特征与拍摄得到的rgb图像相与，得到无背景的rgb图像，然后无背景的rgb图像输入vgg网络中，进行rgb图像的特征提取。
s1.4、将步骤1.1中目标粗分类的结果映射到步骤1.3提取的rgb图像特征中，得到候选区域。
s1.5、将步骤1.4得到的候选区域输入psroi网络中，得到人脸区域和面单纸区域。
步骤二、人脸身份识别
根据步骤一定位得到的人脸区域图像中的深度信息，进行目标取件人判断、活体检测以及人脸身份识别，具体包括以下步骤：
s2.1、根据步骤一定位得到存在多个人脸的区域，对每个区域获取到对应的深度图中的深度距离信息，对每个人脸区域的距离信息进行滤波获取平均距离，比较不同人脸区域的距离信息，将距离最近的人脸区域作为目标取件人的人脸区域，判断出目标取件人位置。
s2.2、统计步骤2.1中得到的目标取件人的人脸区域的深度信息，输入训练好的支持向量机算法中，进行活体检测；若目标取件人为活体，进入人脸身份识别，若目标取件人非活体，则发出警报。
所述支持向量机的训练方法为人工采集n个活体人脸和非活体人脸的数据样本，所述数据样本指人脸区域的深度图。根据深度图中的距离信息计算出相对距离并进行归一化，根据归一化后的数据估计每个数据样本中人脸区域的分布信息，将这些分布信息输入svm分类算法进行分类训练。
s2.3、使用基于特征脸的pca降维人脸识别算法获取步骤2.2中被判断为活体的目标收件人的人脸特征，与数据库中收集的人脸信息进行比对，识别目标取件人身份。
步骤三、快递单号匹配
识别步骤一定位的面单纸上的快递单号，匹配数据库中的收件人。
s3.1、对步骤一定位到的面单纸区域图像进行仿射变换。
s3.2、对步骤3.1仿射变换后的面单纸roi区域进行快递单号ocr识别。
s3.3、在数据库中搜索步骤3.2识别得到的快递单号的收件人信息。
步骤四、人脸与快递单号匹配
将步骤二识别的目标收取件人身份与步骤三通过快递单号匹配到的收件人信息进行对比，若二者信息相同，则提示成功取件，打开闸机；若二者信息不同则提示信息不匹配。
本发明具有以下有益效果：
(1)结合快递工作环境单一的情况，提出的基于深度图的预分割和粗估计网络，对大尺寸图像中的目标区域进行初步定位，提高人脸检测与单号匹配过程的运算量，提高检测速度。
(2)根据提取的深度图像中的深度特征，结合人脸区域位置与人脸检测面积，可以迅速从多张人脸中定位目标取件人的位置。
(3)采用基于深度信息分布估计的活体检测方法可以更加简单有效的进行人脸安全分析，无需收件人额外进行眨眼、摇头或张嘴等特定动作。
(4)通过对面单纸进行多角度的仿射变换，可以增加鲁棒性，降低环境等因素对算法结果造成的影响，取件人保持正常姿势的即可完成单号识别。
附图说明
图1为基于rgb-d信息改进r-fcn网络的智能取件方法流程图；
图2为人脸与单号定位检测方法流程图；
图3为人脸身份识别算法流程图；
图4为快递单号匹配算法流程图。
具体实施方式
以下结合附图对本发明作进一步的解释说明；
如图1所示，本方法包括人脸与单号定位检测、人脸身份识别、快递单号匹配以及人脸与快递单号匹配，具体包括以下步骤：
步骤一、人脸与单号定位检测
如图2所示，使用相机拍摄签收区域的图像，得到大尺度的深度图像和rgb图像，通过设计的网络提取大尺度图像中的人脸区域与面单纸区域，用于后续的人脸识别与单号匹配。
s1.1、将拍摄得到的深度图像下采样16倍，减少网络计算量，然后输入vasp网络中进行深度图像的特征提取，其中vasp网络的结构为将现有vgg网络特征提取部分的层数降低一半，然后将卷积层替换为aspp卷积组。使用aspp卷积组，可以以不同的采样率捕捉多比例的上下文信息，提高特征提取的有效性。在vasp网络后面连接一个全连接层，进行目标粗分类，得到人脸与面单纸的大致区域。
s1.2、将步骤1.1提取得到是深度图像特征输入segnet的解码网络部分，对深度图像特征进行上采样，对输出的结果进行像素级别的分类，将深度图像特征分成前景、中景以及背景，考虑到快递取件场景的环境比较单一，目标取件人与包裹通常不会出现在背景区域，因此仅保留前景与中景部分的深度图像特征，进一步降低候选区域的可能性，减少搜索区间。
s1.3、将步骤1.2得到的前景与中景部分的深度图像特征与拍摄得到的rgb图像相与，得到无背景的rgb图像，然后无背景的rgb图像输入vgg网络中，进行rgb图像的特征提取。
s1.4、将步骤1.1中目标粗分类的结果映射到步骤1.3提取的rgb图像特征中，得到候选区域，使用目标粗分类的结果作为预选的候选框，可以将原先个数为wxhxk的候选区域减少至个位数，降低了算法的复杂度与运算量，解决算法冗余，有利于算法收敛，可以实现在1080x970的大尺度图像上实时检测、定位人脸与面单纸区域。
s1.5、将步骤1.4得到的候选区域输入psroi网络中，得到人脸区域和面单纸区域。
步骤二、人脸身份识别
如图3所示，根据步骤一定位得到的人脸区域图像中的深度信息，使用基于深度统计分布信息的svm分类算法进行目标取件人判断和活体检测，利用特征脸的pca降维人脸识别算法进行人脸身份识别。
s2.1、根据步骤一定位得到存在多个人脸的区域，对每个区域获取到对应的深度图中的深度距离信息，对每个人脸区域的距离信息进行滤波获取平均距离，比较不同人脸区域的距离信息，将距离最近的人脸区域作为目标取件人的人脸区域，判断出目标取件人位置。
s2.2、统计步骤2.1中得到的目标取件人的人脸区域的深度信息，输入训练好的支持向量机算法中，进行活体检测；若目标取件人为活体，进入人脸身份识别，若目标取件人非活体，则发出警报。
所述支持向量机的训练方法为人工采集n个活体人脸和非活体人脸的数据样本，所述数据样本指人脸区域的深度图；根据深度图中的距离信息计算出相对距离并进行归一化，根据归一化后的数据估计每个数据样本中人脸区域的分布信息，将这些分布信息输入svm分类算法进行分类训练。
s2.3、使用基于特征脸的pca降维人脸识别算法获取步骤2.2中被判断为活体的目标收件人的人脸特征，与数据库中收集的人脸信息进行比对，识别目标取件人身份。相对于利用深度学习算法进行人脸识别，基于特征脸的pca降维人脸识别算法的特征获取比较简单，算法复杂度低，检测速度快。
步骤三、快递单号匹配
如图4所示，识别步骤一定位的面单纸上的快递单号，匹配数据库中的收件人。
s3.1、对步骤一定位到的面单纸区域图像进行仿射变换。
s3.2、对步骤3.1仿射变换后的面单纸roi区域进行快递单号ocr识别。
s3.3、在数据库中搜索步骤3.2识别得到的快递单号的收件人信息。
步骤四、人脸与快递单号匹配
将步骤二识别的目标收取件人身份与步骤三通过快递单号匹配到的收件人信息进行对比，若二者信息相同，则提示成功取件，打开闸机；若二者信息不同则提示信息不匹配。
1.基于rgb-d信息改进r-fcn网络的智能取件方法，其特征在于：具体包括以下步骤：
步骤一、人脸与单号定位检测
使用相机拍摄签收区域的图像，得到大尺度的深度图像和rgb图像，通过以下步骤提取大尺度图像中的人脸区域与面单纸区域，用于后续的人脸识别与单号匹配；
s1.1、将拍摄得到的深度图像下采样m倍后输入vasp网络中进行深度图像的特征提取，其中vasp网络的结构为将现有vgg网络特征提取部分的层数降低一半，然后将卷积层替换为aspp卷积组；在vasp网络结构后面连接一个全连接层，进行目标粗分类，得到人脸与面单纸的大致区域；
s1.2、将步骤1.1提取得到的深度图像特征输入segnet的解码网络部分，对深度图像特征进行上采样，对输出的结果进行像素级别的分类，将输出结果分成前景、中景以及背景，保留前景与中景部分的深度图像特征；
s1.3、将步骤1.2得到的前景与中景部分的深度图像特征与拍摄得到的rgb图像相与，得到无背景的rgb图像，然后无背景的rgb图像输入vgg网络中，进行rgb图像的特征提取；
s1.4、将步骤1.1中目标粗分类的结果映射到步骤1.3提取的rgb图像特征中，得到候选区域；
s1.5、将步骤1.4得到的候选区域输入psroi网络中，得到人脸区域和面单纸区域；
步骤二、人脸身份识别
根据步骤一定位得到的人脸区域图像中的深度信息，进行目标取件人判断、活体检测以及人脸身份识别，具体包括以下步骤：
s2.1、根据步骤一定位得到存在多个人脸的区域，对每个区域获取到对应的深度图中的深度距离信息，对每个人脸区域的距离信息进行滤波获取平均距离，比较不同人脸区域的距离信息，将距离最近的人脸区域作为目标取件人的人脸区域，判断出目标取件人位置；
s2.2、统计步骤2.1中得到的目标取件人的人脸区域的深度信息，输入训练好的支持向量机算法中，进行活体检测；若目标取件人为活体，进入人脸身份识别，若目标取件人非活体，则发出警报；
s2.3、使用基于特征脸的pca降维人脸识别算法获取步骤2.2中被判断为活体的目标收件人的人脸特征，与数据库中收集的人脸信息进行比对，识别目标取件人身份；
步骤三、快递单号匹配
识别步骤一定位的面单纸上的快递单号，匹配数据库中的收件人；
s3.1、对步骤一定位到的面单纸区域图像进行仿射变换；
s3.2、对步骤3.1仿射变换后的面单纸roi区域进行快递单号ocr识别；
s3.3、在数据库中搜索步骤3.2识别得到的快递单号的收件人信息；
步骤四、人脸与快递单号匹配
将步骤二识别的目标收取件人身份与步骤三通过快递单号匹配到的收件人信息进行对比，若二者信息相同，则提示成功取件，打开闸机；若二者信息不同则提示信息不匹配。
2.如权利要求1所述基于rgb-d信息改进r-fcn网络的智能取件方法，其特征在于：步骤1.1中对深度图像进行下采样的倍数为2、4、8或16。
3.如权利要求1所述基于rgb-d信息改进r-fcn网络的智能取件方法，其特征在于：所述支持向量机算法的训练方法为人工采集n个活体人脸和非活体人脸的数据样本，所述数据样本指人脸区域的深度图；根据深度图中的距离信息计算出相对距离并进行归一化，根据归一化后的数据估计每个数据样本中人脸区域的分布信息，将这些分布信息输入svm分类算法进行分类训练。
技术总结