一种人脸识别方法、装置、终端设备及存储介质与流程

    专利2022-07-08  105


    本发明属于人脸识别技术领域,尤其涉及一种人脸识别方法、装置、终端设备及存储介质。



    背景技术:

    人脸识别技术是基于人的脸部特征,对输入的人脸图像或者视频流,首先判断其是否存在人脸,如果存在人脸,则进一步的给出每个脸的位置、大小和各个主要面部器官的位置信息,并依据这些信息,进一步提取每个人脸中所蕴涵的身份特征,并将其与已知的人脸进行对比,从而识别每个人脸的身份。人脸识别技术作为一种新的身份认证技术广泛应用于机器人、手机、个人数字助理、安防摄像头等终端设备。在进行人脸识别时,人脸所处的环境中的复杂背景和强光会对人脸识别的准确性造成消极影响,如何提高在复杂背景和强光下进行人脸识别的准确性成为亟待解决的问题。



    技术实现要素:

    有鉴于此,本发明实施例提供了一种人脸识别方法、装置、终端设备及存储介质,能够有效提高在复杂背景和强光下进行人脸识别的准确性。

    本发明实施例的第一方面提供了一种人脸识别方法,包括:

    对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得与每张所述原始人脸图像对应的人脸框;

    根据每个所述人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像;

    对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集;

    通过所述逆光样本集和所述正常光样本集对卷积神经网络进行训练,直到所述卷积神经网络达到预设停止条件时为止。

    本发明实施例的第二方面提供了一种人脸识别装置,包括:

    人脸检测单元,用于对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得与每张所述原始人脸图像对应的人脸框;

    图像截取单元,用于根据每个所述人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像;

    图像预处理单元,用于对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集;

    网络训练单元,用于通过所述逆光样本集和所述正常光样本集对卷积神经网络进行训练,直到所述卷积神经网络达到预设停止条件时为止。

    本发明实施例的第三方面提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现如本发明实施例的第一方面所述的人脸识别方法的步骤。

    本发明实施例的第四方面提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现如本发明实施例的第一方面所述的人脸识别方法的步骤。

    本发明实施例的第一方面提供的一种人脸识别方法,通过对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得与每张所述原始人脸图像对应的人脸框;根据每个所述人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像;对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集;通过所述逆光样本集和所述正常光样本集对卷积神经网络进行训练,直到所述卷积神经网络达到预设停止条件时为止,利用由包含背景像素的新人脸图像构成的逆光样本集和正常光样本集对卷积神经网络进行训练,可以有效提高基于该卷积神经网络实现的终端设备在复杂背景和强光下进行人脸识别的准确性。

    可以理解的是,上述第二方面至第四方面的有益效果可以参见上述第一方面中的相关描述,在此不再赘述。

    附图说明

    为了更清楚地说明本发明实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

    图1是本发明实施例提供的人脸识别方法的第一种流程示意图;

    图2是本发明实施例提供的人脸识别方法的第二种流程示意图;

    图3是本发明实施例提供的原始人脸图像、人脸框和新人脸图像的示意图;

    图4是本发明实施例提供的人脸识别方法的第三种流程示意图;

    图5本发明实施例提供的人脸框及其一组斜对角点的坐标,新人脸框及其一组斜对角点的坐标的示意图;

    图6是本发明实施例提供的人脸识别方法的第四种流程示意图;

    图7是本发明实施例提供的人脸识别方法的第五种流程示意图;

    图8是本发明实施例提供的人脸识别装置的结构示意图;

    图9是本发明实施例提供的终端设备的结构示意图。

    具体实施方式

    以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本发明实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本发明的描述。

    应当理解,当在本发明说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

    还应当理解,在本发明说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。

    如在本发明说明书和所附权利要求书中所使用的那样,术语“如果”可以依据上下文被解释为“当...时”或“一旦”或“响应于确定”或“响应于检测到”。类似地,短语“如果确定”或“如果检测到[所描述条件或事件]”可以依据上下文被解释为意指“一旦确定”或“响应于确定”或“一旦检测到[所描述条件或事件]”或“响应于检测到[所描述条件或事件]”。

    另外,在本发明说明书和所附权利要求书的描述中,术语“第一”、“第二”、“第三”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

    在本发明说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本发明的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”,除非是以其他方式另外特别强调。

    本发明实施例提供的人脸识别方法可以应用于具有摄像头或可与摄像头通信连接的机器人、自动导引车(automatedguidedvehicle,agv)、无人机、手机、智能环(智能手环、智能颈环等)、平板电脑、笔记本电脑、上网本、数字助理(digitalassistant,pda)、服务器等终端设备,用于对环境中的人脸,特别是复杂背景和强光下的人脸进行准确识别,具体可以由终端设备的处理器在运行具有相应功能的计算机程序时执行。机器人具体可以是服务机器人,例如,教育机器人、娱乐机器人、物流机器人、保姆机器人、迎宾机器人等。本发明实施例对终端设备的具体类型不作任何限制

    如图1所示,本发明实施例提供的人脸识别方法,包括由终端设备的处理器执行的如下步骤s101至s104:

    步骤s101、对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得与每张所述原始人脸图像对应的人脸框。

    在应用中,原始人脸图像样本集是由多张原始人脸图像构成的图像集合。原始人脸图像是由摄像头拍摄人脸得到的、包含背景像素和人脸像素的图像。背景像素是人脸所处环境中的背景物体在原始人脸图像中对应的像素,人脸像素是人脸在原始人脸图像中对应的像素。相对于背景像素,人脸像素又可称为前景像素。

    在一个实施例中,步骤s101包括:

    通过摄像头拍摄多张不同的原始人脸图像;

    构建包括所有所述原始人脸图像的原始图像样本集。

    在应用中,可以通过人脸检测器(retinaface)来对每张原始人脸图像进行人脸检测,获得人脸检测器输出的与每张原始人脸图像对应的人脸框和人脸关键点信息,通常包括左右两个眼睛的中心、鼻子和左右两个嘴角共5个人脸关键点信息。人脸框是包括全部人脸像素和人脸像素周围的少量背景像素的矩形框。

    在一个实施例中,步骤s101包括:

    通过人脸检测器对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得所述人脸检测器输出的与每张所述原始人脸图像对应的人脸框。

    步骤s102、根据每个所述人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像。

    在应用中,由于人脸框中主要包含人脸像素,包含的背景像素较少甚至没有,因此,需要根据人脸框重新截取原始人脸图像,获得包含较多背景像素的新人脸图像。

    如图2所示,在一个实施例中,步骤s102包括如下步骤s201和s202:

    步骤s201、扩大每个所述人脸框,获得与每张所述原始人脸图像对应的新人脸框;

    步骤s202、根据每个所述新人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像。

    在应用中,在获得人脸框之后,对人脸框进行扩大获得新人脸框,然后利用新人脸框截取原始人脸图像,获得包含人脸像素和较多背景像素的新人脸图像。截取原始人脸图像的方式具体可以是对原始人脸图像中新人脸框所在的区域进行裁剪,仅保留新人脸框所在区域中的人脸像素和背景像素,删去新人脸框之外的背景像素。

    图3示例性的示出了原始人脸图像、人脸框和新人脸图像的示意图;其中,从左到右依次是原始人脸图像、人脸框和新人脸图像。

    如图4所示,在一个实施例中,步骤s201包括如下步骤s401和s402:

    步骤s401、获取每个所述人脸框的一组斜对角点的坐标;

    步骤s402、根据每个所述人脸框的一组斜对角点的坐标扩大每个所述人脸框,获得与每张所述原始人脸图像对应的包含背景像素的新人脸框的角点坐标。

    在应用中,由于人脸框为矩形框,其四个角点中位于任一边的两个角点都具有相同的横坐标或纵坐标,而每组对角点的横坐标和纵坐标均不相同,因此,只需获知人脸框的人一组斜对角的点的坐标,即可获知其四个角点的坐标。在获知人脸框的任一组斜对角点的坐标之后,即以此来扩大人脸框,使得扩大之后得到的新人脸框所包含的像素范围大于人脸框且小于等于原始人脸图像,也即新人脸框的四个角点的横坐标中的最小值应当小于人脸框的四个角点的横坐标中的最小值且大于或等于原始人脸图像中所有像素点的横坐标中的最小值,新人脸框的四个角点的横坐标中的最大值应当大于人脸框的四个角点的横坐标中的最大值且小于或等于原始人脸图像中所有像素点的横坐标中的最小值,新人脸框的四个角点的纵坐标中的最小值应当小于人脸框的四个角点的纵坐标中的最小值且大于或等于原始人脸图像中所有像素点的纵坐标中的最小值,新人脸框的四个角点的纵坐标中的最大值应当大于人脸框的四个角点的纵坐标中的最大值且小于或等于原始人脸图像中所有像素点的横坐标中的最小值。

    在一个实施例中,步骤s302包括:

    根据每个所述人脸框的一组斜对角点的坐标,获得每个所述人脸框的中心点的坐标;

    根据预设比例扩大系数以及每个所述人脸框的一组斜对角点的坐标和中心点的坐标,获得与每张所述原始人脸图像对应的包含背景像素的新人脸框的角点坐标。

    在应用中,新人脸框,可以以人脸框的中心点为原点,向人脸框的横坐标的正方向和负方向以及人脸框的纵坐标的正方向和负方向扩大,也即以人脸框的中心点为原点向人脸框的四周扩大。预设扩大比例系数可以根据实际需要进行设置,预设扩大比例系数的设置值应当使得新人脸框大于人脸框且小于原始人脸图像。新人脸框的横坐标和纵坐标可以对应不同的预设扩大比例系数,也即横坐标和纵坐标的扩大比例可以不同。

    在一个实施例中,每个所述人脸框的中心点的坐标的计算公式如下:

    xcenter=(x2-x1)/2

    ycenter=(y2-y1)/2

    其中,xcenter表示任一人脸框的中心点的横坐标,ycenter表示所述任一人脸框的中心点的纵坐标,x1表示所述任一人脸框的一组斜对角点中的一个斜对角点的横坐标,x2表示所述任一人脸框的一组斜对角点中的另一个斜对角点的横坐标,y1表示所述任一人脸框的一组斜对角点中的一个斜对角点的纵坐标,y2表示所述任一人脸框的一组斜对角点中的另一个斜对角点的纵坐标;

    与每张所述原始人脸图像对应的包含背景像素的新人脸框的角点坐标的计算公式如下:

    max_long=max((x2-x1),(y2-y1))

    xnew1=xcenter-(max_long*α1)/2

    xnew2=xcenter (max_long*α1)/2

    ynew1=ycenter-(max_long*α2)/2

    ynew2=ycenter (max_long*α2)/2

    其中,max表示取最大值函数,xnew1表示任一新的人脸框的一组斜对角点中的一个斜对角点的横坐标,xnew2表示任一新的人脸框的一组斜对角点中的另一个斜对角点的横坐标,ynew1表示任一新的人脸框的一组斜对角点中的一个斜对角点的纵坐标,ynew2表示任一新的人脸框的一组斜对角点中的另一个斜对角点的纵坐标,α1表示第一预设扩大比例系数,α2表示第二预设扩大比例系数。

    在应用中,第一预设扩大比例系数和第二预设扩大比例系数可以根据实际需要设置为相同或不同。由于新人脸框为矩形框,其四个角点中位于任一边的两个角点都具有相同的横坐标或纵坐标,而每组对角点的横坐标和纵坐标均不相同,因此,获知新人脸框的人一组斜对角的点的坐标,即可获知其四个角点的坐标。

    图5示例性的示出了人脸框51及其一组斜对角点的坐标(x1,y1)、(x2,y2),新人脸框52及其一组斜对角点的坐标(xnew1,ynew1)和(xnew2,ynew2)。

    步骤s103、对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集。

    在应用中,为了使得卷积神经网络既能够识别复杂背景下的人脸,又能识别强光下的人脸,在对原始人脸图像进行截取获得包含背景像素的新人脸图像之后,还需要进一步的对新人脸图像进行预处理,得到由多张逆光样本构成的逆光样本集和由多张正常光样本构成的正常光样本集。其中,逆光样本定义为人脸五官缺失或面部特征轮廓模糊的新人脸图像,正常光样本定义为人脸五官完整且面部特征轮廓清晰的新人脸图像。

    在应用中,卷积神经网络可以是轻量级卷积神经网络,例如,shufflenetv20.5x[2]模型或hufflenetv20.25x模型;其中,shufflenetv20.5x[2]模型识别人脸图像的准确度为96%,准确度高,可输入的最大图像尺寸为224*224;hufflenetv20.25x模型的识别人脸图像的准确度为90%,准确度相对于shufflenetv20.5x[2]模型低,但输出通道数很少,计算量小。

    在一个实施例中,步骤s103之前,包括:

    按预设缩小比例缩小每张所述新人脸图像。

    在应用中,可以缩小每张新人脸图像的尺寸,从而可以降低卷积神经网络的计算量。预设缩小比例可以根据实际需要设置,只要保证缩小后的新人脸图像的尺寸大于或等于被卷积神经网络可识别的最小图像尺寸即可,例如,当采用shufflenetv20.5x[2]模型时,可以将每张新人脸图像的尺寸缩小为128*128,也即预设缩小比例为(128/224)*(128/224)=1/3,从而可以将shufflenetv20.5x[2]模型的计算量缩小为原来的1/3。

    如图6所示,在一个实施例中,步骤s103包括如下步骤s601至s603:

    步骤s601、将每张所述新人脸图像分类为逆光样本或正常光样本;

    步骤s602、对每张所述逆光样本进行几何变换,获得与每张所述逆光样本对应的至少一张预处理逆光样本;

    步骤s603、构建包括所有所述逆光样本和所有所述预处理逆光样本的逆光样本集,构建包括所有所述正常光样本的正常光样本集。

    在应用中,先根据每张新人脸图像中人脸五官的完整程度和面部轮廓特征的清晰程度,对每张新人脸图像进行分类,将人脸五官缺失或面部特征轮廓模糊的新人脸图像分类为逆光样本并加入逆光样本集,将人脸五官完整且面部特征轮廓清晰的新人脸图像分类为正常光样本并加入正常光样本集。

    在应用中,由于逆光样本的数量通常比正常光样本少,因此,可以对每张逆光样本进行镜像翻转、旋转、平移、缩放等几何变换处理,获得与每张逆光样本对应的预处理逆光样本并加入逆光样本集中,用来丰富逆光样本集,使逆光样本集和正常光样本集中的样本数量保持平衡。

    步骤s104、通过所述逆光样本集和所述正常光样本集对卷积神经网络进行训练,直到所述卷积神经网络达到预设停止条件时为止。

    在应用中,构建逆光样本集和正常光样本集之后,即可利用其对卷积神经网络进行训练,直到卷积神经网络达到预设停止条件时,停止训练。预设停止条件可以根据实际需要设置,例如,卷积神经网络对逆光样本或正常光样本进行分类的准确度大于预设准确度阈值,卷积神经网络收敛、损失函数降低至预设损失值,卷积神经网络的性能不再提升等。卷积神经网络的性能不再提升具体可以是指其对逆光样本或正常光样本进行分类的准确度不再提升,或者,损失不再降低。预设准确度阈值和预设损失值可以根据实际需要设置,例如,预设准确度阈值可以是93%~99%之间的任意值,具体可以是96%。

    如图7所示,在一个实施例中,步骤s104包括如下步骤s701至s704:

    步骤s701、通过所述第一逆光样本子集和所述第一正常光样本子集对卷积神经网络进行训练,获得已训练的所述卷积神经网络;

    步骤s702、通过已训练的所述卷积神经网络对所述第二逆光样本子集和所述第二正常光样本子集进行分类,获得分类结果;

    步骤s703、将所述分类结果中分类错误的第二逆光样本加入所述第一逆光样本子集,将所述分类结果中分类错误的第二正常光样本加入所述第一正常光样本子集;

    步骤s704、返回通过所述第一逆光样本子集和所述第一正常光样本子集对卷积神经网络进行训练,获得已训练的所述卷积神经网络,直到所述卷积神经网络达到预设停止条件时为止。

    在应用中,可以将逆光样本集和正常光样本集分别划分为两个子集,得到两组子集,利用其中的第一组子集对卷积神经网络进行训练,然后利用第二组子集对已训练的卷积神经网络进行测试,使已训练的卷积神经网络对第二组子集中的样本进行分类,获得分类结果,然后基于分类结果,将分类结果中被错误分类为正常光样本的逆光样本和被错误分类为逆光样本的正常光样本加入第一组子集中,并利用第一组子集再次对已训练的卷积神经网络进行训练,如此循环往复,直到卷积神经网络达到预设停止条件时为止。

    在应用中,用于对卷积神经网络进行训练的样本集也可以是逆光样本集和正常光样本集。每次用于对已训练的卷积神经网络进行测试,以获得分类结果的样本集也可是新逆光样本集和新正常光样本集,新逆光样本集和新正常光样本集采用新原始人脸图像以及与构建逆光样本集和正常光样本集相同的方式构建。

    在一个实施例中,步骤s104之后包括:

    通过摄像头采集人脸图像;

    通过已训练的所述卷积神经网络对所述人脸图像进行分类,获得分类结果。

    在应用中,在将卷积神经网络训练达到预设停止条件之后,即可利用该卷积神经网络来对任意人脸图像进行分类,训练达到预设停止条件之后的卷积神经网络能够准确区分逆光下的人脸和正常光下的人脸,能够提升人脸识别效果和提高基于人脸的身份识别信息录入的准确度,从而提高应用该人脸识别方法的终端设备的人脸识别准确度,提升用户的使用感受,满足用户的需求。

    本发明实施例提供的一种人脸识别方法,利用由包含背景像素的新人脸图像构成的逆光样本集和正常光样本集对卷积神经网络进行训练,可以有效提高基于该卷积神经网络实现的终端设备在复杂背景和强光下进行人脸识别的准确性。

    应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本发明实施例的实施过程构成任何限定。

    本发明实施例还提供一种人脸识别装置,用于执行上述人脸识别方法实施例中的步骤。人脸识别装置可以是终端设备中的虚拟装置(virtualappliance),由终端设备的处理器运行,也可以是终端设备本身。

    如图8所示,本发明实施例提供的人脸识别装置100,包括:

    人脸检测单元101,用于对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得与每张所述原始人脸图像对应的人脸框;

    图像截取单元102,用于根据每个所述人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像;

    图像预处理单元103,用于对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集;

    网络训练单元104,用于通过所述逆光样本集和所述正常光样本集对卷积神经网络进行训练,直到所述卷积神经网络达到预设停止条件时为止。

    在一个实施例中,所述人脸识别装置,还包括:

    图像缩放单元,用于按预设缩小比例缩小每张所述新人脸图像。

    在一个实施例中,所述人脸识别装置,还包括:

    图像采集单元,用于通过摄像头采集人脸图像;

    图像分类单元,用于通过已训练的所述卷积神经网络对所述人脸图像进行分类,获得分类结果。

    在应用中,人脸识别装置中的各单元可以为软件程序单元,也可以通过处理器中集成的不同逻辑电路实现,还可以通过多个分布式处理器实现。

    如图9所示,本发明实施例还提供一种终端设备200,包括:至少一个处理器201(图9中仅示出一个处理器)、存储器202以及存储在存储器202中并可在至少一个处理器201上运行的计算机程序203,还包括与处理器201连接的摄像头204,处理器201执行计算机程序203时实现上述任意方法实施例中的步骤。

    在应用中,终端设备可包括,但不仅限于,处理器、存储器、摄像头。本领域技术人员可以理解,图9仅仅是终端设备的举例,并不构成对终端设备9的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。

    在应用中,处理器可以是中央处理单元(centralprocessingunit,cpu),该处理器还可以是其他通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现成可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。

    在应用中,存储器在一些实施例中可以是终端设备的内部存储单元,例如终端设备的硬盘或内存。存储器在另一些实施例中也可以是终端设备的外部存储设备,例如,终端设备上配备的插接式硬盘,智能存储卡(smartmediacard,smc),安全数字(securedigital,sd)卡,闪存卡(flashcard)等。进一步地,存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等,例如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。

    需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本发明方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。

    所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。上述系统中单元的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

    本发明实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序,处理器执行计算机程序时实现上述各个方法实施例中的步骤。

    本发明实施例还提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。

    本发明实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。

    集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本发明实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,计算机程序包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括:能够将计算机程序代码携带到装置/设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。

    在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。

    本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本发明的范围。

    在本发明所提供的实施例中,应该理解到,所揭露的装置/设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/设备实施例仅仅是示意性的,例如,模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。

    作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

    以上实施例仅用以说明本发明的技术方案,而非对其限制;尽管参照前述实施例对本发明进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围,均应包含在本发明的保护范围之内。


    技术特征:

    1.一种人脸识别方法,其特征在于,包括:

    对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得与每张所述原始人脸图像对应的人脸框;

    根据每个所述人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像;

    对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集;

    通过所述逆光样本集和所述正常光样本集对卷积神经网络进行训练,直到所述卷积神经网络达到预设停止条件时为止。

    2.如权利要求1所述的人脸识别方法,其特征在于,所述根据每个所述人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像,包括:

    扩大每个所述人脸框,获得与每张所述原始人脸图像对应的新人脸框;

    根据每个所述新人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像。

    3.如权利要求2所述的人脸识别方法,其特征在于,所述扩大每个所述人脸框,获得与每张所述原始人脸图像对应的包含背景像素的新人脸框,包括:

    获取每个所述人脸框的一组斜对角点的坐标;

    根据每个所述人脸框的一组斜对角点的坐标扩大每个所述人脸框,获得与每张所述原始人脸图像对应的包含背景像素的新人脸框的角点坐标。

    4.如权利要求3所述的人脸识别方法,其特征在于,所述根据每个所述人脸框的一组斜对角点的坐标扩大每个所述人脸框,获得与每张所述原始人脸图像对应的包含背景像素的新人脸框的角点坐标,包括:

    根据每个所述人脸框的一组斜对角点的坐标,获得每个所述人脸框的中心点的坐标;

    根据预设扩大比例系数以及每个所述人脸框的一组斜对角点的坐标和中心点的坐标,获得与每张所述原始人脸图像对应的包含背景像素的新人脸框的角点坐标。

    5.如权利要求4所述的人脸识别方法,其特征在于,每个所述人脸框的中心点的坐标的计算公式如下:

    xcenter=(x2-x1)/2

    ycenter=(y2-y1)/2

    其中,xcenter表示任一人脸框的中心点的横坐标,ycenter表示所述任一人脸框的中心点的纵坐标,x1表示所述任一人脸框的一组斜对角点中的一个斜对角点的横坐标,x2表示所述任一人脸框的一组斜对角点中的另一个斜对角点的横坐标,y1表示所述任一人脸框的一组斜对角点中的一个斜对角点的纵坐标,y2表示所述任一人脸框的一组斜对角点中的另一个斜对角点的纵坐标;

    与每张所述原始人脸图像对应的包含背景像素的新人脸框的角点坐标的计算公式如下:

    max_long=max((x2-x1),(y2-y1))

    xnew1=xcenter-(max_long*α1)/2

    xnew2=xcenter (max_long*α1)/2

    ynew1=ycenter-(max_long*α2)/2

    ynew2=ycenter (max_long*α2)/2

    其中,max表示取最大值函数,xnew1表示任一新的人脸框的一组斜对角点中的一个斜对角点的横坐标,xnew2表示任一新的人脸框的一组斜对角点中的另一个斜对角点的横坐标,ynew1表示任一新的人脸框的一组斜对角点中的一个斜对角点的纵坐标,ynew2表示任一新的人脸框的一组斜对角点中的另一个斜对角点的纵坐标,α1表示第一预设扩大比例系数,α2表示第二预设扩大比例系数。

    6.如权利要求1至5任一项所述的人脸识别方法,其特征在于,所述对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集,包括:

    将每张所述新人脸图像分类为逆光样本或正常光样本;其中,所述逆光样本定义为人脸五官缺失或面部特征轮廓模糊的新人脸图像,所述正常光样本定义为人脸五官完整且面部特征轮廓清晰的新人脸图像;

    对每张所述逆光样本进行几何变换,获得与每张所述逆光样本对应的至少一张预处理逆光样本;

    构建包括所有所述逆光样本和所有所述预处理逆光样本的逆光样本集,构建包括所有所述正常光样本的正常光样本集。

    7.如权利要求6所述的人脸识别方法,其特征在于,所述对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集之前,包括:

    按预设缩小比例缩小每张所述新人脸图像。

    8.如权利要求1至5任一项所述的人脸识别方法,其特征在于,所述逆光样本集包括第一逆光样本子集和第二逆光样本子集,所述正常光样本集包括第一正常光样本子集和第二正常光样本子集;

    所述通过所述逆光样本集和所述正常光样本集对卷积神经网络进行训练,直到所述卷积神经网络达到预设停止条件时为止,包括:

    通过所述第一逆光样本子集和所述第一正常光样本子集对卷积神经网络进行训练,获得已训练的所述卷积神经网络;

    通过已训练的所述卷积神经网络对所述第二逆光样本子集和所述第二正常光样本子集进行分类,获得分类结果;

    将所述分类结果中分类错误的第二逆光样本加入所述第一逆光样本子集,将所述分类结果中分类错误的第二正常光样本加入所述第一正常光样本子集;

    返回通过所述第一逆光样本子集和所述第一正常光样本子集对卷积神经网络进行训练,获得已训练的所述卷积神经网络,直到所述卷积神经网络达到预设停止条件时为止。

    9.一种人脸识别装置,其特征在于,包括:

    人脸检测单元,用于对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得与每张所述原始人脸图像对应的人脸框;

    图像截取单元,用于根据每个所述人脸框截取对应的所述原始人脸图像,获得与每张所述原始人脸图像对应的包含背景像素的新人脸图像;

    图像预处理单元,用于对所有所述新人脸图像进行预处理,获得逆光样本集和正常光样本集;

    网络训练单元,用于通过所述逆光样本集和所述正常光样本集对卷积神经网络进行训练,直到所述卷积神经网络达到预设停止条件时为止。

    10.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至8任一项所述的人脸识别方法的步骤。

    11.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至8任一项所述的人脸识别方法的步骤。

    技术总结
    本发明适用于人脸识别技术领域,提供一种人脸识别方法、装置、终端设备及存储介质,通过对原始人脸图像样本集中的每张原始人脸图像进行人脸检测,获得与每张原始人脸图像对应的人脸框;根据每个人脸框截取对应的原始人脸图像,获得与每张原始人脸图像对应的包含背景像素的新人脸图像;对所有新人脸图像进行预处理,获得逆光样本集和正常光样本集;通过逆光样本集和正常光样本集对卷积神经网络进行训练,直到卷积神经网络达到预设停止条件时为止,利用由包含背景像素的新人脸图像构成的逆光样本集和正常光样本集对卷积神经网络进行训练,可以有效提高基于该卷积神经网络实现的终端设备在复杂背景和强光下进行人脸识别的准确性。

    技术研发人员:王涵柳;程骏;庞建新
    受保护的技术使用者:深圳市优必选科技股份有限公司
    技术研发日:2020.12.17
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-19402.html

    最新回复(0)