本发明旨在设计一种改进型级联回归人脸特征点定位算法，该算法通过对传统的级联回归算法进行改进，克服了由于较大遮挡和姿态变化导致人脸对齐失败的问题，从而显著提升了基于级联回归算法的性能。
技术背景
人脸对齐是计算机视觉领域的热点之一。人脸对齐是指面部特征点(例如眉毛、眼睛、鼻尖和嘴角)的定位。高效的人脸对齐通常被视为许多视觉任务的预处理步骤，例如人脸识别、表情分析、面部化妆和三维人脸建模等。随着多媒体技术的快速发展及普及，高效的人脸对齐在多媒体应用中显得至关重要。
近年来，人脸特征点定位发展迅速，特别是级联回归模型在人脸特征点定位领域的应用，这一应用的使用在对于正脸或接近正脸的人脸图片特征点定位中取得了良好的效果。当前，用于人脸特征点定位的算法学习经历了从图像外观到最终形状的特征映射函数的发展过程。经典的主动外观模型(aam)利用当前外观估计值与目标图像之间的差异来驱动优化问题，然而，对于有遮挡和大姿态变化的图像，aam是不可行的。为解决这一问题，提出了一种快速的aam人脸对齐方法。xiang和delatorre提出了一种基于尺度不变特征变换(sift)的有监督下降算法来求解非线性最小二乘问题，并在人脸跟踪中取得了良好的效果。由于在遮挡区域提取的特征描述子在每次迭代时都会对人脸形状的更新产生很大的影响，这将导致提取的形状远离真正的坐标位置，因此上述算法可能难以处理复杂的场景，并且无法准确预测坐标。由此，相继提出了一种新的级联形状回归(csr)算法，csr算法利用图像特征以级联方式对人脸点进行估计，在人脸对齐训练和测试中具有很高的效率。kazemi和sullivan通过使用一组梯度回归树来检测坐标，ren等人进一步改进了该算法，并设计了用于形状回归的局部二元特征。
上述大多数算法都是从一个平均形状开始，迭代优化人脸形状，然而，如果初始化不好或错误，基于回归的算法通常会陷入局部最优。同时，由于较大遮挡和姿态变化会导致人脸对齐失败，本发明针对这种问题，提出了一种改进型级联回归初始化算法。
技术实现要素：
针对由于较大遮挡和姿态变化会导致人脸对齐失败的问题，本发明设计一种改进型人脸特征点定位算法。
本发明的技术方案是：大多数传统的回归算法通常使用平均形状作为初始化，但由于较大遮挡，初始不当可能会导致人脸对齐失败。为此我们提出一种投影映射初始形状方法。基于可以通过相似人脸的线性组合来近似人脸，本发明利用一组稀疏的点通过映射得到人脸坐标，这些稀疏点集的信息可以用来生成高质量的初始形状，从而减少了人脸特征点定位的误差。因此，首先通过jda(jointdetectionandalignment)人脸检测器获得5个关键点：两个瞳孔、一个鼻尖和两个嘴角，再通过五个关键点与标准模板信息估计相似变换参数(旋转、平移和缩放)求得对应的68点坐标，在本发明中加入了人脸坐标微调算法用于形状微调和最终初始化。针对人脸姿态变化较大引起对齐失败问题，本发明在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度。根据初始化得到的68个关键点预测人脸视图(左、前、右)，然后选择对应的视图模板，最后使用多视角级联回归算法来完成人脸面部形状定位。与传统的使用平均形状作为初始化的算法相比，本发明具有以下优点：
1：5点集的平均误差低于68点集，更容易逼近真实人脸。
2：5点集是人脸最突出的点，即使在遮挡、姿势和表情的变化中也能获得良好的效果。
3：本发明采用多视角级联回归方法，我们将人脸视图分为正面(-15°-15°)、左侧(-30°-0°)、右侧(0°-30°)三部分，克服因偏转角度太大而导致回归失败的问题。
附图说明
图1是改进型多视角级联回归算法结构框图。
图2是图1中视图形状初始化。
图3是人脸68特征点视图。
图4是算法效果对比图。
具体实施方案
基于回归的人脸对齐算法通过迭代更新初始形状来预测人脸的坐标，该算法是学习回归函数，该函数直接将图像外观映射到目标输出。初始形状的质量对最终对准精度具有重要影响。该算法通常使用平均人脸作为初始形状，或这在测试过程中从训练图像中随机选则形状。由于较大的遮挡和姿态变化，不良的初始形状可能会使人脸对齐达到局部最优。而这些稀疏点集(5点坐标)是人脸上最突出的点，即使在遮挡、姿势和表情的变化中也能获得良好的表现，所以这5个特征点可以近似人脸面部形状和姿势。
下面结合附图和具体实例对本发明的系统实现方法进行详细描述：
本发明提出的算法结构框图如图1所示，首先通过jda人脸检测器识别人脸，并返回5点坐标：两个瞳孔、一个鼻尖和两个嘴角。然后根据5点坐标与标准模板信息求得相似变换参数(旋转、平移和缩放)，通过相似变换参数得到对应的68点坐标，具体的公式推导如下：
三维空间坐标经过旋转平移压缩后投影到二维空间，可以看作是一个信息压缩的过程，其数学表达式为：
s_3d_5*r＝s_2d_5(1)
其中s_3d_5是一个5x3的矩阵，表示三维空间标准模型中5的点坐标集，r表示包含旋转和平移信息的投影矩阵，s_2d_5是一个5x2的矩阵，表示通过jda返回的5点坐标集。因为只有方阵才可能具有特征值，对于实际遇到的一些最小二乘问题，往往是长方阵，为了确保方程有解，公式(1)两边同时乘以s_3d_5矩阵的转置，即：
s_3d_5t*s_3d_5*r＝s_3d_5t*s_2d_5(2)
通过移项最终得到r的表达式为：
r＝(s_3d_5t*s_3d_5)t*s_3d_5t*s_2d_5(3)
已知三维模型空间与二维空间之间的投影关系，故二维空间下5点坐标集对应的68点坐标集为：
s_2d_68＝s_3d_68*r(4)
其中，s_3d_68是一个68x3的矩阵，表示三维空间模型中68点坐标集，s_2d_68是一个68x2的矩阵，表示二维下的68点坐标集，也就是我们需要的人脸初始坐标集，r为投影矩阵。
接下来以眼睛处的点对初始形状进行微调，如图2所示，36-41点是人脸左眼坐标，42-47点是人脸右眼坐标，左眼中心坐标为：
右眼中心坐标为：
根据jda返回的5点坐标可求得两者间缩放的比例关系：
其中reye表示jda返回的右眼瞳孔坐标，leye表示jda返回的左眼瞳孔坐标，则通过该比例更新初始化形状和左右眼中心坐标为：
则在x轴和y轴处的微调距离tx，ty为：
对x轴与y轴坐标分别更新。得到最终坐标集合为：
此时shape即为最终初始化后的结果，通过映射完成形状初始化。
如图3所示，由于已经知道初始形状，则通过初始形状的坐标点信息估计人脸视图状态，得到
其中vi是视图状态，pi∈r136x1是68特征点的坐标，r是上述投影矩阵。如图2所示，我们将人脸视图分为正视图(-15°-15°)、左视图(-30°-0°)和右视图(0°-30°)三部分，利用正视图和侧视图之间的重叠，使视图估计更加可靠。根据视图选择最佳的级联回归模型，完成人脸特征点定位。级联回归模型的主要思想是以相加的方式组合一系列的回归因子，以逼近初始形状与真实形状之间复杂的映射关系。给定一幅人脸图片ii，一个初始形状
其中，i表示第i张图片；第t级的回归器rt通过更新上一级人脸形状
其中，
本发明在传统的级联回归技术上对人脸初始化和回归进行改进，采用投影映射初始化和多视角人脸级联回归技术，克服了因遮挡、较大姿态变化和表情下的人脸对齐失败问题。如图4所示，在同等条件下，与传统方法比较得知，本发明的方法设计比传统的方法效果更好，结果更加可靠。因此该方法在人脸特征点定位中更具有实际应用价值。
1.一种基于改进的级联回归的人脸特征点定位算法，本算法对传统的级联回归技术的初始化和回归进行有效的改进，使用领域(5点坐标)来生成投影的初始形状，并进行微调、矫正，这大大提高了基于级联回归算法的性能；在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度，大大减小了回归模型构建中的形状方差，从而使学习的回归模型对形状变化有更好的鲁棒性。与传统的级联回归算法相比，改进后的级联回归人脸特征点定位算法的鲁棒性更高，传统的方法通常是从平均形状开始的，或者使用复杂的算法进行初始化，但在较大遮挡下，人脸对齐问题往往无法处理。本算法中，我们通过5点的集映射完成初始化，由于5点集是人脸最突出的点，即使在较大遮挡、姿势和表情的变化中也能获得良好的效果，这极大地提高了级联回归算法的性能；传统的回归算法中，通常都是单一模型，当姿态变化较大时，就会导致人脸对齐失败。本算法中，我们在不同的视角下建立不同的模型，通过初始形状评估当前姿态，最后根据评估的姿态选择相对应的模型，进而实现特征点的精确定位。
2.根据权利要求1所述的算法，其优点在于：采用稀疏点(5个关键点)：两个瞳孔、一个鼻尖和两个嘴角，从五个关键点估计相似变换参数(旋转、平移和缩放)，通过相似变换参数求得对应的68点坐标，从而完成初始化。因为这些稀疏点是人脸最突出的点，即使在严重遮挡、复杂的姿势和表情变化的情况下，仍能获得良好的效果，这极大地提高了级联回归算法的性能。
3.根据权利要求1所述的算法，其优势在于：在不同的人脸姿态视角下建立不同的模型，以多模型代替单一模型来提高人脸特征点定位的精度。我们将训练数据分为三个视图(左视图、右视图和正视图)减少形状变化，接着在每个数据集中训练特点视图模型。我们利用这些稀疏点(两个瞳孔、一个鼻尖和两个嘴角)估计面部视图，最后根据评估的姿态选择相应的模型，进而实现特征点的精确定位。
技术总结