本申请涉及图像处理领域,特别是涉及一种行人属性识别方法、电子设备及存储介质。
背景技术:
近年来,为了满足人们越来越高的安全防范需求,监控系统被部署在大街小巷,以通过监控系统获取视频数据,对视频数据进行分析是否存在不法行为。而监控系统的增加,意味着获取到的视频数据量呈指数级增长,提高了对视频数据进行分析的难度。
其中,行人是视频数据中需要重点分析的目标之一。现有的做法是通过行人属性识别方法来对视频数据中的行人进行分析,得到行人的类别,以减轻人工观察的负担和提高效率。但是,现有的行人属性识别方法的准确性不高。
技术实现要素:
本申请提供一种行人属性识别方法、电子设备及存储介质,能够解决现有的目前的行人属性识别方法得到的类别准确性不高的问题。
为解决上述技术问题,本申请采用的一个技术方案是:提供一种行人属性识别方法。该方法包括:获取行人图像;利用属性识别模型对行人图像进行识别,得到行人图像的置信度结果,其中,置信度结果包括行人图像属于同一属性下各类别的置信度;获取各类别的参考概率;基于各类别的参考概率调整对应类别的置信度;基于经调整的置信度确定行人图像的类别。
为解决上述技术问题,本申请采用的另一个技术方案是:提供一种电子设备,该电子设备包括处理器、与处理器连接的存储器,其中,存储器存储有程序指令;处理器用于执行存储器存储的程序指令以实现上述方法。
为解决上述技术问题,本申请采用的又一个技术方案是:提供一种存储介质,存储有程序指令,该程序指令被执行时能够实现上述方法。
通过上述方式,通过本实施例的实施,本申请中通过属性识别模型获取行人图像的置信度结果,但是没有直接将获取到的该置信度结果的类别作为行人图像的类别,而是利用参考概率对置信度结果中包括的各类别的置信度进行调整,将经调整的置信度结果的类别作为行人图像的类别,能够提高行人图像的类别识别的准确度。
附图说明
图1是本申请行人属性识别方法实施例一的流程示意图;
图2是本申请行人属性识别方法实施例二的流程示意图;
图3是本申请行人属性识别方法实施例三的流程示意图;
图4是图3中s32的具体流程示意图;
图5是图4中s322的具体流程示意图;
图6是本申请行人属性识别方法实施例四的流程示意图;
图7是图6中s42的具体流程示意图;
图8是图7中s421的具体流程示意图;
图9是本申请电子设备一实施例的结构示意图;
图10是本申请存储介质一实施例的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。
本申请中的术语“第一”、“第二”、“第三”仅用于描述目的,而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此,限定有“第一”、“第二”、“第三”的特征可以明示或者隐含地包括至少一个该特征。本申请的描述中,“多个”的含义是至少两个,例如两个,三个等,除非另有明确具体的限定。
在本文中提及“实施例”意味着,结合实施例描述的特定特征、结构或特性可以包含在本申请的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例,也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是,在不冲突的情况下,本文所描述的实施例可以与其它实施例相结合。
图1是本申请行人属性识别方法实施例一的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图1所示的流程顺序为限。如图1所示,本实施例可以包括:
s11:获取行人图像。
行人图像可以为包含行人的图像,其可以通过布设在监控区域的摄像器件获取得到。
s12:利用属性识别模型对行人图像进行识别,得到行人图像的置信度结果。
其中,置信度结果包括行人图像属于同一属性下各类别的置信度。
行人的属性可以包括颜色、性别、年龄等等。每一属性可以包括多种类别。例如,颜色可以包括红色、绿色和黄色3种类别,性别可以包括男、女两种类别,年龄可以包括1-18岁、19-30岁等多种类别。
可以利用属性识别模型对行人图像进行识别,得到行人图像每一属性的置信度结果。其中,属性识别模型可以为训练好的神经网络模型,其可以对行人图像的多种属性进行识别,也可以仅对行人图像的单个属性进行识别。换句话说,本步骤中,用于识别行人图像不同属性的属性识别模型可以相同,也可以不同。本申请后文是针对行人图像的一种属性进行说明的。
置信度结果包括的最大置信度对应的类别即为通过属性识别模型得到该置信度结果的类别。置信度结果可以为各类别的置信度组成的置信度向量。例如,属性k的置信度向量
但是,考虑到通过属性识别模型得到的各类别的置信度可能不准确,因此通过属性识别模型得到的置信度结果的类别可能不准确。故本申请不直接将通过属性识别模型得到的置信度结果的类别作为行人图像的类别,而是先对属性识别模型得到的置信度结果进行如下调整。
s13:获取各类别的参考概率。
对于同一属性下的每一种类别,都具有对应的参考概率。具体获取方式请参见后面的实施例。
s14:基于各类别的参考概率调整对应类别的置信度。
本步骤详细描述请参见后面的实施例。
s15:基于经调整的置信度确定行人图像的类别。
在对各类别的置信度进行调整之后,可以将经调整得到的最大置信度对应的类别确定为行人图像的类别。例如,属性识别模型得到的置信度结果中,最大置信度为
可以理解的是,基于各类别的参考概率调整对应类别的置信度之后,也即对置信度结果包括的各类别的置信度进行调整之后,如果置信度结果的类别没有改变,则意味着属性识别模型得到的置信度结果是可信的;如果置信度结果中的最大置信度对应类别改变了,则意味着属性识别模型得到的置信度结果不可信。
通过本实施例的实施,本申请中通过属性识别模型获取行人图像的置信度结果,但是没有直接将获取到的该置信度结果的类别作为行人图像的类别,而是利用参考概率对置信度结果中包括的各类别的置信度进行调整,将经调整的置信度结果的类别作为行人图像的类别,能够提高行人图像的类别识别的准确度。
图2是本申请行人属性识别方法实施例二的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图2所示的流程顺序为限。本实施例是对实施例一的进一步扩展。如图2所示,本实施例可以包括:
s21:获取行人图像。
s22:利用属性识别模型对行人图像进行识别,得到行人图像的置信度结果。
其中,置信度结果包括行人图像属于同一属性下各类别的置信度。
s23:判断各类别的置信度是否均小于置信度阈值。
若是,则执行s24。
可以理解的是,若通过属性识别模型得到的行人图像的各类别的置信度均小于置信度阈值,则意味着属性识别模型对该行人图像的辨别能力较弱,识别错误的可能性较高,得到的该行人图像的置信度结果的不够准确,在此情况下才对置信度结果进行调整,更有效。
s24:获取各类别的参考概率。
s25:基于各类别的参考概率调整对应类别的置信度。
s26:基于经调整的置信度确定行人图像的类别。
本步骤其他详细描述请参见实施例一,在此不再重复。
图3是本申请行人属性识别方法实施例三的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图3所示的流程顺序为限。本实施例是对s13/s24的进一步扩展,如图3所示,本实施例可以包括:
s31:分别获取行人图像的置信度结果与至少一张参考图像的置信度结果之间的差异。
可以理解的是,在s31之前,预先建立有参考图像集,参考图像集中可以包括多张参考图像。在对预设图像的置信度进行调整时,可以将参考图像的置信度结果作为参考。参考图像的置信度结果也是由属性识别模型识别得到的。
其中,可以以参考图像集中部分或全部参考图像的置信度结果作为参考来调整行人图像的置信度结果。具体而言,可以基于行人图像的置信度结果与参考图像的置信度结果之间的差异来衡量行人图像与参考图像的特征相似度。行人图像的置信度结果与参考图像的置信度结果之间的差异,可以体现为行人图像的置信度向量与参考图像的置信度向量之间的距离,距离越大,差异越大。
因此s31可以包括:分别获取行人图像的置信度向量与至少一张参考图像的置信度向量之间的距离。
例如,行人图像k属性的置信度向量为p=[p1,p2,…,pc],参考图像的置信度向量为t=[t1,t2,…,tc],其中t1为类别1的置信度,t2为类别2的置信度,…,tc为类别c的置信度。t与p之间的距离
s32:将差异满足预设差异要求的预设数量张参考图像的置信度结果作为参考置信度结果,基于参考置信度结果获取各类别的参考概率。
预设差异要求可以为差异最小的前预设数量位。因此,将差异满足预设差异要求的预设数量张参考图像的置信度结果作为参考置信度结果,也即将与行人图像的置信度向量距离最小的预设数量张参考图像的置信度结果作为参考置信度结果。
预设数量可以为k。在此情况下,上述获取k个参考置信度结果的方法可以被称为k近邻法。
结合参阅图4,s32中基于参考置信度结果获取各类别的参考概率,可以包括以下子步骤:
s321:确定参考置信度结果的类别。
参考置信度结果的类别可以为参考置信度结果中最大置信度对应的类别。
s322:基于同一类别的参考置信度结果中的最大置信度与所有参考置信度结果中对应类别的置信度之间的关系,获取对应类别的参考概率。
结合参阅图5,s322可以包括以下子步骤:
s3221:获取同一类别的参考置信度结果之间的最大置信度的第一和,获取所有参考置信度结果之间的对应类别的置信度的第二和。
s3222:获取第一和与第二和之间的第一比值,作为对应类别的参考概率。
下面以类别a为例对s3221-s3222进行说明:
参考置信度结果有k个,类别a的参考置信度结果有ka个。获取
图6是本申请行人属性识别方法实施例四的流程示意图。需注意的是,若有实质上相同的结果,本实施例并不以图6所示的流程顺序为限。本实施例是对s14/s25的进一步扩展,如图6所示,本实施例可以包括:
s41:获取各类别的置信度与对应类别的参考概率之间的乘积。
s42:基于各类别对应的乘积,调整各类别的置信度。
结合参阅图7,s42可以包括以下子步骤:
s421:对各类别对应的乘积进行归一化处理,得到各类别对应的归一化处理结果。
结合参阅图8,s421可以包括以下子步骤:
s4211:获取所有类别对应的乘积之和。
s4212:对于每个类别,获取其对应的乘积与乘积之和的第二比值,作为归一化处理结果。
s422:将各类别的置信度替换为对应的所述归一化处理结果。
下面仍然以类别a为例对本实施例进行说明:
类别a的置信度为pa,类别a的参考概率为t(a)。类别a的置信度与参考概率的乘积为pat(a),各类别的置信度与参考概率的乘积之和为
在上述实施例使用训练好的属性识别模型之前,还可以对属性识别模型进行验证。具体可以如下:
获取验证图像集,验证图像集中可以包括多张验证图像,每张验证图像带有真实类别标签,验证图像集与用于训练属性识别模型的训练图像集独立同分布;利用属性识别模型对各验证图像进行识别,得到各验证图像的置信度结果;基于置信度结果的类别来评估属性识别模型的效果,其中,若验证图像的置信度结果包括的各类别的置信度均小于置信度阈值(以下称为难样本),则意味着模型对该类验证图像的辨别能力较弱。
上述实施例提供的行人属性识别方法在真正投入使用之前,还可以先对其进行测试,以评估其效果。具体可以如下:
获取测试图像集,测试图像集中可以包括多张测试图像,每张测试图像带有真实类别标签,测试图像集与验证图像集独立同分布,因此测试图像集中的难样本与验证图像集中的难样本具有相似的特征;利用前面提及的行人属性识别方法对各测试图像进行处理,得到各测试图像的类别;将各测试图像的类别与真实类别进行比较,根据比较结果评估行人属性识别方法的效果。
图9是本申请电子设备一实施例的结构示意图。如图9所示,该电子设备包括处理器51、与处理器51耦接的存储器52。
其中,存储器52存储有用于实现上述任一实施例的方法的程序指令;处理器51用于执行存储器52存储的程序指令以实现上述方法实施例的步骤。其中,处理器51还可以称为cpu(centralprocessingunit,中央处理单元)。处理器51可能是一种集成电路芯片,具有信号的处理能力。处理器51还可以是通用处理器、数字信号处理器(dsp)、专用集成电路(asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
图10是本申请存储介质一实施例的结构示意图。如图10所示,本申请实施例的计算机可读存储介质60存储有程序指令61,该程序指令61被执行时实现本申请上述实施例提供的方法。其中,该程序指令61可以形成程序文件以软件产品的形式存储在上述计算机可读存储介质60中,以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式方法的全部或部分步骤。而前述的计算机可读存储介质60包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。
在本申请所提供的几个实施例中,应该理解到,所揭露的系统,装置和方法,可以通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如,单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。以上仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。
1.一种行人属性识别方法,其特征在于,包括:
获取行人图像;
利用属性识别模型对所述行人图像进行识别,得到所述行人图像的置信度结果,其中,所述置信度结果包括所述行人图像属于同一属性下各类别的置信度;
获取所述各类别的参考概率;
基于所述各类别的参考概率调整对应所述类别的所述置信度;
基于经调整的所述置信度确定所述行人图像的类别。
2.根据权利要求1所述的方法,其特征在于,所述获取所述各类别的参考概率,包括:
分别获取所述行人图像的置信度结果与至少一张参考图像的置信度结果之间的差异,所述参考图像的置信度结果是由所述属性识别模型识别得到的;
将所述差异满足预设差异要求的预设数量张所述参考图像的置信度结果作为参考置信度结果,基于所述参考置信度结果获取所述各类别的参考概率。
3.根据权利要求2所述的方法,其特征在于,所述置信度结果为所述各类别的置信度组成的置信度向量;所述分别获取所述行人图像的置信度结果与至少一张参考图像的置信度结果之间的差异,包括:
分别获取所述行人图像的置信度向量与至少一张所述参考图像的置信度向量之间的距离;
和/或,所述预设差异要求为所述差异最小的前预设数量位;
和/或,所述基于所述参考置信度结果获取所述各类别的参考概率,包括:
确定所述参考置信度结果的类别,所述参考置信度结果的类别为所述参考置信度结果中最大置信度对应的类别;
基于同一所述类别的参考置信度结果中的所述最大置信度与所有所述参考置信度结果中对应所述类别的置信度之间的关系,获取对应所述类别的参考概率。
4.根据权利要求3所述的方法,其特征在于,所述基于同一所述类别的参考置信度结果中的所述最大置信度与所有所述参考置信度结果中对应所述类别的置信度之间的关系,获取对应所述类别的参考概率,包括:
获取所述同一类别的参考置信度结果之间的最大置信度的第一和,获取所有所述参考置信度结果之间的对应所述类别的置信度的第二和;
获取所述第一和与所述第二和之间的第一比值,作为对应所述类别的参考概率。
5.根据权利要求1所述的方法,其特征在于,所述基于所述各类别的参考概率调整对应所述类别的所述置信度,包括:
获取所述各类别的置信度与对应所述类别的参考概率之间的乘积;
基于所述各类别对应的所述乘积,调整所述各类别的置信度。
6.根据权利要求5所述的方法,其特征在于,所述基于所述各类别对应的所述乘积,调整所述各类别的置信度,包括:
对所述各类别对应的所述乘积进行归一化处理,得到所述各类别对应的归一化处理结果;
将所述各类别的置信度替换为对应的所述归一化处理结果。
7.根据权利要求6所述的方法,其特征在于,所述对所述各类别对应的所述乘积进行归一化处理,包括:
获取所有所述类别对应的所述乘积之和;
对于每个所述类别,获取其对应的所述乘积与所述乘积之和的第二比值,作为所述归一化处理结果。
8.根据权利要求1所述的方法,其特征在于,在所述获取所述各类别的参考概率之前,包括:
判断所述各类别的置信度是否均小于置信度阈值;
若是,则执行所述获取所述各类别的参考概率的步骤;
和/或,所述基于经调整的所述置信度确定所述行人图像的类别,包括:
将经调整得到的最大置信度对应的所述类别确定为所述行人图像的类别。
9.一种电子设备,其特征在于,包括处理器、与所述处理器连接的存储器,其中,
所述存储器存储有程序指令;
所述处理器用于执行所述存储器存储的所述程序指令以实现权利要求1-8中任一项所述的方法。
10.一种存储介质,其特征在于,所述存储介质存储程序指令,所述程序指令被执行时实现如权利要求1-8中任一项所述的方法。
技术总结