一种对象检测方法及相关装置与流程

    专利2022-07-08  99


    本申请涉及图像处理技术领域,具体涉及一种对象检测方法及相关装置。



    背景技术:

    人脸检测广泛应用于门禁机和视频监控中,对于视频监控的场景由于景深变化大,人脸变化尺度巨大,对检测造成一定的困难。目前传统的人脸检测方法通常是在不同尺度下的特征图进行预测相应测度的目标,而这种方法容易发生漏检错检等问题。



    技术实现要素:

    本申请实施例提供了一种对象检测方法及相关装置,以提升人脸的检测精度。

    第一方面,本申请实施例提供一种对象检测方法,包括:

    基于获取到的待检测图像得到特征图集合;

    基于所述特征图集合进行初级融合,得到初级融合特征图;

    基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据,所述层级特征融合操作是指提取不同层次的特征数据,以及对不同层次的特征数据进行融合的操作;

    基于所述多个待检测数据进行对象检测,得到检测结果。

    第二方面,本申请实施例提供一种对象检测装置,

    包括处理单元和通信单元,其中,

    所述处理单元,用于通过基于所述通信单元获取到的待检测图像得到特征图集合;以及,用于基于所述特征图集合进行初级融合,得到初级融合特征图;以及,用于基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据,所述层级特征融合操作是指对提取不同层次的特征数据以及对不同层次的特征数据进行融合的操作;以及,用于基于所述多个待检测数据进行对象检测,得到检测结果。

    第三方面,本申请实施例提供一种电子设备,包括处理器、存储器、通信接口以及一个或多个程序,其中,上述一个或多个程序被存储在上述存储器中,并且被配置由上述处理器执行,上述程序包括用于执行本申请实施例第一方面任一方法中的步骤的指令。

    第四方面,本申请实施例提供了一种计算机可读存储介质,其中,上述计算机可读存储介质存储用于电子数据交换的计算机程序,其中,上述计算机程序使得计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。

    第五方面,本申请实施例提供了一种计算机程序产品,其中,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如本申请实施例第一方面任一方法中所描述的部分或全部步骤。该计算机程序产品可以为一个软件安装包。

    可以看出,本申请实施例中,电子设备通过基于获取到的待检测图像得到特征图集合;然后根据所述特征图集合进行初级融合,得到初级融合特征图;并根据所述初级融合特征图进行层级特征融合操作,得到多个待检测数据,所述层级特征融合操作是指对提取不同层次的特征数据以及对不同层次的特征数据进行融合的操作;最后基于所述多个待检测数据进行对象检测,得到检测结果。在本申请实施例中,待检测图像经过特征提取后,将得到的多个人特征图进一步经过初级融合,以及层级特征融合来提取所述待检测图像中深浅层次的特征,从而提升所述待检测图像中目标对象的检测精度。

    附图说明

    为了更清楚地说明本申请实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

    图1是本申请实施例提供的一种对象检测系统的示意图;

    图2a是本申请实施例提供的一种对象检测方法的流程示意图;

    图2b是本申请实施例提供的一种融合过程示意图;

    图2c是本申请实施例提供的一种层级特征融合示意图;

    图2d是本申请实施例提供的一种对象检测框架示意图;

    图3本申请实施例提供的一种电子设备的结构示意图;

    图4本申请实施例提供的一种对象检测装置的功能单元组成框图。

    具体实施方式

    下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

    如图1所示,图1为一个对象检测系统100的示意图,该对象检测系统100包括图像获取装置110、图像处理装置120,所述图像获取装置110连接所述图像处理装置120,图像获取装置110用于获取图像数据并发给图像处理装置120进行处理,图像处理装置120用于对图像数据进行处理并输出处理结果,该对象检测系统100可以包括集成式单体设备或者多设备,为方便描述,本申请将对象检测系统100统称为电子设备。显然该电子设备可以包括各种具有无线通信功能的手持设备、车载设备、可穿戴设备、计算设备或连接到无线调制解调器的其他处理设备,以及各种形式的用户设备(userequipment,ue),移动台(mobilestation,ms),终端设备(terminaldevice)等等。

    人脸检测广泛应用于门禁机和视频监控中,对于视频监控的场景由于景深变化大,人脸变化尺度巨大,对检测造成一定的困难。目前的技术方案通常是在不同尺度下的特征图进行预测相应测度的目标,而这种做法存在一定的不合理,容易发生漏检错检等问题。在监控场景下,由于景深变化大,进而导致人脸尺度变化大。为了实现多尺度的人脸检测通常是在不同的尺度下特征图进行人脸检测,例如,在yolov3(一种检测器)中,以416*416输入为例,在13*13特征图像进行大尺寸人脸的检测;在26*26特征图像上进行中等尺寸的人脸检测;在52*52的特征图像上进行小尺寸人脸的检测。这种处理方式下,由于候选框(anchorbox)仅与最后的卷积层相关,其感受野较小,从而容易导致漏检错检等问题。

    基于此,本申请实施例提出一种对象检测方法以解决上述问题,下面对本申请实施例进行详细介绍。

    请参阅图2a,图2a是本申请实施例提供了一种对象检测方法的流程示意图,应用于如图1所示的电子设备,如图所示,本对象检测方法包括:

    201:电子设备基于获取到的待检测图像得到特征图集合。

    在本申请实施例中,上述电子设备可以为用户设备(userequipment,ue)、移动设备、用户终端、终端、蜂窝电话、无绳电话、个人数字处理(personaldigitalassistant,pda)、手持设备、计算设备、车载设备、可穿戴设备等。在一些可能的实现方式中,该图像处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。

    在具体实现中,可以使用卷积网络来对所述待检测图像进行特征提取得到一个固定尺度的特征图(即尺度最大的特征图),然后对这个固定尺度的特征图进行下采样操作得到较小尺度的特征图,接着继续对较小尺度额特征图进行下采样操作得到更小尺度的特征图,如此循环直到获得预设数量的特征图,即相当于大尺度的特征图表示浅层次的特征,小尺度的特征图表示深层次的特征。其中,此处的下采样操作可以包括卷积和/或池化操作。

    例如,假设上述预设数量为3,即包括3个特征图。当通过卷积网络对待检测图像进行特征提取后得到尺度为52*52*256的第一级特征图,然后对第一级特征图进行卷积和池化操作后得到尺度为26*26*512的第二级特征图,接着对第二级特征图继续进行上述卷积和池化操作后得到尺度为13*13*1024的第三级特征图。其中,尺度的最后一个数字表示通道数,如上述第一级特征图的尺度中的256表示256个通道。

    202:所述电子设备基于所述特征图集合进行初级融合,得到初级融合特征图。

    其中,上述初级融合是指将特征图集合融合为一个特征图的过程,即相当于将深层特征与浅层特征相融合的过程。

    在具体实现中,可以通过尺度变换将特征图集合的尺度变成一样,然后将得到的多个尺度一样的特征图相加,从而得到所述初级融合特征图。

    203:所述电子设备基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据,所述层级特征融合操作是指对提取不同层次的特征数据以及对不同层次的特征数据进行融合的操作。

    其中,所述层级特征融合操作为基于所述初级融合特征图逐级进行多次特征提取以及融合,从而得到包含不同层次特征的待检测数据的过程。

    例如,假设所述多个待检测数据包括两个层次的待检测数据,分别为第一待检测数据和第二待检测数据。则第一待检测数据为:将所述初级融合特征图进行进一步特征提取后得到的检测数据;第二待检测数据为;将所述第一待检测数据与所述初级融合特征图融合后,更进一步的进行特征提取得到的检测数据。所以第二待检测数据相对于第一待检测数据包含了更深层次且更全面的特征信息。即逐级特征提取和融合的次数越多,得到的检测数据包含的特征信息越细致精确,从而可以检测出待检测图像中尺度越小的对象。

    204:所述电子设备基于所述多个待检测数据进行对象检测,得到检测结果。

    在具体实现中,当得到所述多个待检测数据后,则分别使用所述多个待检测数据进行对象检测,得到与每个待检测数据对应的对象检测结果,然后将得到的检测结果进行合并得到最终的检测结果。

    例如,上述对象检测为对所述待检测图像中的人脸进行检测,则当得到所述多个待检测数据后,则分别使用所述多个待检测数据进行人脸检测,得到与每个待检测数据对应的人脸检测结果。由于每个待检测数据中包含的特征层次不同,所以各个检测数据对应的检测结果可能存在差异,即只包含浅层次特征的检测数据的检测结果中对于尺度较小的人脸存在漏检;而对于多次的特征提取后包含深层次特征较多的待检测数据,由于特征提取的次数增加,包含的浅层次特征减少,从而导致在人脸检测时,对大尺度的人脸对象造成漏检。因此,最后需要将多个待检测数据对应的检测结果进行合并从而得到更加精确的检测结果。

    可以看出,本申请实施例中,电子设备通过基于获取到的待检测图像得到特征图集合;然后根据所述特征图集合进行初级融合,得到初级融合特征图;并根据所述初级融合特征图进行层级特征融合操作,得到多个待检测数据;最后基于所述多个待检测数据进行对象检测,得到检测结果。在本申请实施例中,待检测图像经过特征提取后,将得到的多个人特征图进一步经过初级融合,以及层级特征融合来提取所述待检测图像中深浅层次的特征,从而提升所述待检测图像中目标对象的检测精度。

    在一个可能的示例中,所述特征图集合中包括n个尺度不同的特征图,所述基于所述特征图集合进行初级融合,得到初级融合特征图,包括:变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图,所述第i 1个待融合特征图与第i 1个特征图的通道数和尺度相同,所述第i 1个特征图为所述特征图集合中的特征图,所述i为大于等于1且小于等于n-1的整数,第1至i 1个特征图互为不同的特征图;其中,在所示i=1的情况下,第i个融合特征图为第1个特征图;融合所述第i 1个待融合特征图和所述第i 1个特征图,得到第i 1个融合特征图;在i 1=n的情况下,将第i 1个融合特征图确定为所述初级融合特征图。

    在具体实现中,上述融合所述第i 1次的待融合特征图和所述第i 1个特征图,得到第i 1次融合后的融合特征图是指:将尺度相同的两个特征图(即第i 1次的待融合特征图和所述第i 1个特征图)对应位置的像素值相加,得到融合后的第i 1次融合后的融合特征图,如图2b所示。

    在一个可能的示例中,所述变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图,包括:对所述第i个融合特征图进行卷积得到与所述第i 1个特征图的通道数相同的融合特征图;对卷积后的第i个融合特征图进行上采样,得到所述第i 1个待融合特征图。

    在一种可能的示例中,在得到所述初级融合特征图的过程中,第1个特征图到第n个特征图的尺度可以是从小到大,也可以是从大到小,还可以是随机的。即特征图的融合顺序可以是根据尺寸从小到大进行融合,也可以是从大到小进行融合,还可以是随机进行融合,即,只要最后将所有的特征图融合到一起得到所述初级融合特征图即可,具体融合顺序,本申请实施例不做限定。

    在具体实现中,第1个特征图到第n个特征图的尺度可以是从小到大,则所述电子设备基于所述特征图集合进行初级融合,得到初级融合特征图,包括:从所述特征图集合中尺度最小的特征图开始,首先通过1*1的卷积将所述尺度最小的特征图的通道数变换为与所述特征图集合中尺度第二小的特征图的通道数一致;然后进一步对齐进行相应尺度的上采样操作,以使所述尺度最小的特征图的长和宽也与所述尺度第二小的特征图的长和宽一致;接着,将经过尺度变换后的尺度最小的特征图与所述尺度第二小的特征图进行融合,得到一个融合后的特征图,即将经过尺度变换后的尺度最小的特征图与所述尺度第二小的特征图相加;再然后,将当前融合后的特征图执行与上尺度最小的特征图相同的操作,以得到与尺度第三小的特征图的尺度一致的特征图,并与尺度第三小的特征图进行融合。按照上述特征图的尺度从小到大的顺序依次执行上述步骤,直到将前得到的融合特征图进行尺度变换成与所述特征图集合中尺度最大的特征图的尺度一致,并与所述尺度最大的特征图进行融合得到所述初步融合特征图为止。

    例如,通过对所述待检测图像进行特征提取得到n1、n2、n3三个尺度依次减小的特征图,n1、n2、n3的尺度分别为52*52*256、26*26*512、13*13*1024。首先使用通道数为512,尺度为13*13*1024的卷积核对n3进行卷积操作,使得n3的尺度变为13*13*512;然后对n3进行2*2的上采样操作(例如双线性插值)使得n3的尺度变换为26*26*512,接着将n3与n2相加(即上述融合)得到n32;再接着,采用与n1类似的变换操作使得n32的尺度变换为52*52*256,最后将n32与n1相加得到初级融合特征图n。

    在本申请实施例中,对于对所述待检测图像进行初级融合的过程中,得到的初级融合特征图中融合了不同层级的特征图,而该不同层级的特征图包含了不同深浅层次的特征信息;所以经过上述初级融合操作后得到的初级融合特征图也包含了不同深浅层次的特征信息,有效的减小了特征提取过程中有用信息的丢失。从而可以进一步使得后续根据所述初级融合特征图进行对象检测的检测结果更加准确,提升对象检测的质量。

    在一个可能的示例中,所述多个待检测数据的数量为m;所述基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据,包括:融合所述初级融合特征图和第k个待检测数据,得到第k 1个融合特征数据,所述k为大于等于1且小于等于m-1的整数;其中,在所述k=1的情况下,第k个待检测数据为对所述初级融合特征图进行特征提取得到的;对所述第k 1个融合特征数据进行特征提取,得到第k 1个待检测数据。

    其中,在所述电子设备对所述第k 1个融合特征数据进行特征提取,得到第k 1个待检测数据的过程中,特征提取的过程包括卷积、池化以及上采样等操作。其中,这里的上采样是为了使得到的待检测数据的尺度满足对象检测的要求。所述融合所述初级融合特征图和第k个待检测数据,得到第k 1个融合特征数据是指将所述初级融合特征图和第k个待检测数据的各个对应位置的数值相加,得到第k 1个融合特征数据。

    举例来说,如图2c所示,假设所述预设数量为3,初级融合特征为n。首先将n经过三次卷积操作,以提取n的特征,接着对其进行三次上采样操作(即上述尺度变换),以得到与所述初级融特征图的尺度一致的第一待检测数据k1;接着将k1与n相加,并对k1与n相加后的结果进行三次卷积操作以及上采样操作,得到第二待检测数据k2;最后k2与n相加,并对k2与n相加后的结果进行三次卷积操作以及上采样操作,得到第三待检测数据k3。

    在对象检测中,浅层次的特征信息对大尺寸的待检测对象的检测效果较好,深层次的特征信息对小尺寸的待检测对象的检测效果较好。在本方案中,由于得到的多个待检测数据是逐级对初级融合特征图进行特征提取以及融合得到的,即不同的待检测数据使经过不同次数的特征提取以及融合得到的,特征提取及融合次数越多,得到的待检测数据包含越深层次的特征信息。因此,通过上述层级特征融合的操作得到的所述多个待检测数据,不同程度的包含了深浅层次的特征信息。进一步可以通过对所述多个待检测数据进行对象检测后既可以有效满足大尺寸的对象检测,也可以有效的满足中小尺寸的对象检测,从而可以有效的提升对象检测的质量。

    在一个可能的示例中,所述电子设备基于输入的待检测图像得到特征图集合,包括:所述电子设备对所述待检测图像进行下采样得到预设分辨率的待检测图像;以及对所述预设分辨率的待检测图像进行特征提取,得到所述特征图集合。

    在本申请实施例中,为了减小计算量,在对所述待检测图像进行特征提取之前,所述电子设备对上述待检测图像进行下采样操作,以减小所述待检测图像的分辨率,从而使待检测图像的分辨率达到预设分辨率。然后,对具有预设分辨率的待检测图像进行特征提取操作,以得到所述特征图集合。

    为了进一步减小计算量,可以改变特征提取网络的结构,从而达到快速降低特征图,提升计算效率的效果。

    例如,为了更快地缩小特征图的尺寸,可以对特征提取网络的前面几个卷积进行修改。对第一个卷积层使用核大小7*7,步长为4的卷积;第二层卷积则使用5*5,步长为2的卷积;第3和第4个卷积层使用的是3*3,步长为2的卷积;从而能够快速地将特征图降低,有效的降低计算量。为了进一步减少计算量和快速增加特征图的深度,因此前三个卷积层通过c.relu激活函数。

    基于上述对象检测方法本申请实施例还提供了一种对象检测的系统框架,包括但不限于人脸的检测。

    具体的,可以参见图2d所示的对象检测框架示意图,如图2d所示,首先将待检测图像经过预处理模块进行预处理,其中该预处理模块可以对待检测图像的分辨率进行处理。通过所述预处理模块处理后,可以得到满足预设分辨率的待检测图像。然后将满足预设分辨率的待检测图像经过特征提取网络模块进行特征提取,得到第一级特征图、第二级特征图以及第三级特征图(也可以根据需要得到更多级数的特征图,例如五级特征图、六级特征图等)。接着,将得到的三个级别的特征图经过初级融合模块,得到初级融合特征图。再接着,将初级融合特图输入到层级特征融合模块,得到多个待检测数据。最后,通过检测模块对得到的多个待检测数据进行对象检测,得到对象检测结果。

    其中,上述特征网络提取模块、初级特征融合模块以及层级特征融合模块的具体实现过程可以参考上述图2a-图2c对应的实施例的描述。此处不再赘述。

    可以看出,在本申请实施例中,待检测图像经过特征提取后,将得到的多个人特征图进一步经过初级融合,以及层级特征融合来提取所述待检测图像中深浅层次的特征,从而提升所述待检测图像中目标对象的检测精度。

    与上述图2a所示的实施例一致的,请参阅图3,图3是本申请实施例提供的一种电子设备300的结构示意图,如图所示,所述电子设备300包括应用处理器310、存储器320、通信接口330以及一个或多个程序321,其中,所述一个或多个程序321被存储在上述存储器320中,并且被配置由上述应用处理器310执行,所述一个或多个程序321包括用于执行以下步骤的指令;

    基于获取到的待检测图像得到特征图集合,所述特征图集合中包括多个尺度不同的特征图;以及基于所述特征图集合进行初级融合,得到初级融合特征图;以及基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据;以及基于所述多个待检测数据进行对象检测,得到检测结果。

    可以看出,本申请实施例中,电子设备通过基于获取到的待检测图像得到特征图集合,所述特征图集合中包括多个尺度不同的特征图;然后根据所述特征图集合进行初级融合,得到初级融合特征图;并根据所述初级融合特征图进行层级特征融合操作,得到多个待检测数据;最后基于所述多个待检测数据进行对象检测,得到检测结果。在本申请实施例中,待检测图像经过特征提取后,将得到的多个人特征图进一步经过初级融合,以及层级特征融合来提取所述待检测图像中深浅层次的特征,从而提升所述待检测图像中目标对象的检测精度。

    在一个可能的示例中,所述特征图集合中包括n个尺度不同的特征图,在所述基于所述特征图集合进行初级融合,得到初级融合特征图方面,所述程序中的指令具体用于执行以下操作:变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图,所述第i 1个待融合特征图与第i 1个特征图的通道数和尺度相同,所述第i 1个特征图为所述特征图集合中的特征图,所述i为大于等于1且小于等于n-1的整数,第1至i 1个特征图互为不同的特征图;其中,在所示i=1的情况下,第i个融合特征图为第1个特征图;融合所述第i 1个待融合特征图和所述第i 1个特征图,得到第i 1个融合特征图;将第n个融合特征图确定为所述初级融合特征图。

    在一个可能的示例中,在所述变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图方面,所述程序中的指令具体用于执行以下操作:对所述第i个融合特征图进行卷积得到与所述第i 1个特征图的通道数相同的融合特征图;对卷积后的第i个融合特征图进行上采样,得到所述第i 1个待融合特征图。

    在一个可能的示例中,所述多个待检测数据的数量为m;在所述基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据方面,所述程序中的指令具体用于执行以下操作:融合所述初级融合特征图和第k个待检测数据,得到第k 1个融合特征数据,所述k为大于等于1且小于等于m-1的整数;其中,在所述k=1的情况下,第k个待检测数据为对所述初级融合特征图进行特征提取得到的;对所述第k 1个融合特征数据进行特征提取,得到第k 1个待检测数据。

    在一个可能的示例中,在所述基于输入的待检测图像得到特征图集合方面,所述程序中的指令具体用于执行以下操作:对所述待检测图像进行下采样得到预设分辨率的待检测图像;以及对所述预设分辨率的待检测图像进行特征提取,得到所述特征图集合。

    上述主要从方法侧执行过程的角度对本申请实施例的方案进行了介绍。可以理解的是,电子设备为了实现上述功能,其包含了执行各个功能相应的硬件结构和/或软件模块。本领域技术人员应该很容易意识到,结合本文中所提供的实施例描述的各示例的单元及算法步骤,本申请能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用使用不同方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

    本申请实施例可以根据上述方法示例对电子设备进行功能单元的划分,例如,可以对应各个功能划分各个功能单元,也可以将两个或两个以上的功能集成在一个处理单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。需要说明的是,本申请实施例中对单元的划分是示意性的,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式。

    图4是本申请实施例中所涉及的对象检测装置400的功能单元组成框图。该对象检测装置400应用于电子设备,所述电子设备包括处理单元401和通信单元402,其中,

    所述处理单元401,用于通过基于所述通信单元402获取到的待检测图像得到特征图集合,所述特征图集合中包括多个尺度不同的特征图;以及,用于基于所述特征图集合进行初级融合,得到初级融合特征图;以及,用于基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据;以及,用于基于所述多个待检测数据进行对象检测,得到检测结果。

    其中,所述对象检测装置400还可以包括存储单元403,用于存储电子设备的程序代码和数据。所述处理单元401可以是处理器,所述通信单元402可以是内部通信接口,存储单元403可以是存储器。

    可以看出,本申请实施例中,电子设备通过基于获取到的待检测图像得到特征图集合,所述特征图集合中包括多个尺度不同的特征图;然后根据所述特征图集合进行初级融合,得到初级融合特征图;并根据所述初级融合特征图进行层级特征融合操作,得到多个待检测数据;最后基于所述多个待检测数据进行对象检测,得到检测结果。在本申请实施例中,待检测图像经过特征提取后,将得到的多个人特征图进一步经过初级融合,以及层级特征融合来提取所述待检测图像中深浅层次的特征,从而提升所述待检测图像中目标对象的检测精度。

    在一个可能的示例中,所述特征图集合中包括n个尺度不同的特征图,在所述基于所述特征图集合进行初级融合,得到初级融合特征图方面,所述处理单元401具体用于:确定第1个特征图为第1个融合特征图,所述第1个特征图为所述特征图集合中的特征图;变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图,所述第i 1个待融合特征图与第i 1个特征图的通道数和尺度相同,所述第i 1个特征图为所述特征图集合中的特征图,所述i为大于等于1且小于等于n-1的整数,第1至i 1个特征图互为不同的特征图;融合所述第i 1个待融合特征图和所述第i 1个特征图,得到第i 1个融合特征图;将第n个融合特征图确定为所述初级融合特征图。

    在一个可能的示例中,在所述变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图方面,所述处理单元401具体用于:对所述第i个融合特征图进行卷积得到与所述第i 1个特征图的通道数相同的融合特征图;对卷积后的第i个融合特征图进行上采样,得到所述第i 1个待融合特征图。

    在一个可能的示例中,所述多个待检测数据的数量为m;在所述基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据方面,所述处理单元401具体用于:对所述初级融合特征图进行特征提取,得到第1个待检测数据;融合所述初级融合特征图和第k个待检测数据,得到第k 1个融合特征数据,所述第k个待检测数据为对第k个融合特征数据进行特征提取得到的,所述k为大于等于1且小于等于m-1的整数;对所述第k 1个融合特征数据进行特征提取,得到第k 1个待检测数据。

    在一个可能的示例中,在所述基于输入的待检测图像得到特征图集合方面,所述处理单元401具体用于:对所述待检测图像进行下采样得到预设分辨率的待检测图像;以及对所述预设分辨率的待检测图像进行特征提取,得到所述特征图集合。

    本申请实施例还提供一种计算机存储介质,其中,该计算机存储介质存储用于电子数据交换的计算机程序,该计算机程序使得计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤,上述计算机包括电子设备。

    本申请实施例还提供一种计算机程序产品,上述计算机程序产品包括存储了计算机程序的非瞬时性计算机可读存储介质,上述计算机程序可操作来使计算机执行如上述方法实施例中记载的任一方法的部分或全部步骤。该计算机程序产品可以为一个软件安装包,上述计算机包括电子设备。

    需要说明的是,对于前述的各方法实施例,为了简单描述,故将其都表述为一系列的动作组合,但是本领域技术人员应该知悉,本申请并不受所描述的动作顺序的限制,因为依据本申请,某些步骤可以采用其他顺序或者同时进行。其次,本领域技术人员也应该知悉,说明书中所描述的实施例均属于优选实施例,所涉及的动作和模块并不一定是本申请所必须的。

    在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述的部分,可以参见其他实施例的相关描述。

    在本申请所提供的几个实施例中,应该理解到,所揭露的装置,可通过其它的方式实现。例如,以上所描述的装置实施例仅仅是示意性的,例如上述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,装置或单元的间接耦合或通信连接,可以是电性或其它的形式。

    上述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

    另外,在本申请各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。

    上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储器中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储器中,包括若干指令用以使得一台计算机设备(可为个人计算机、服务器或者网络设备等)执行本申请各个实施例上述方法的全部或部分步骤。而前述的存储器包括:u盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、移动硬盘、磁碟或者光盘等各种可以存储程序代码的介质。

    本领域普通技术人员可以理解上述实施例的各种方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成,该程序可以存储于一计算机可读存储器中,存储器可以包括:闪存盘、只读存储器(英文:read-onlymemory,简称:rom)、随机存取器(英文:randomaccessmemory,简称:ram)、磁盘或光盘等。

    以上对本申请实施例进行了详细介绍,本文中应用了具体个例对本申请的原理及实施方式进行了阐述,以上实施例的说明只是用于帮助理解本申请的方法及其核心思想;同时,对于本领域的一般技术人员,依据本申请的思想,在具体实施方式及应用范围上均会有改变之处,综上所述,本说明书内容不应理解为对本申请的限制。


    技术特征:

    1.一种对象检测方法,其特征在于,包括:

    基于获取到的待检测图像得到特征图集合;

    基于所述特征图集合进行初级融合,得到初级融合特征图;

    基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据,所述层级特征融合操作是指对提取不同层次的特征数据以及对不同层次的特征数据进行融合的操作;

    基于所述多个待检测数据进行对象检测,得到检测结果。

    2.根据权利要求1所述的方法,其特征在于,所述特征图集合中包括n个尺度不同的特征图,所述基于所述特征图集合进行初级融合,得到初级融合特征图,包括:

    变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图,所述第i 1个待融合特征图与第i 1个特征图的通道数和尺度相同,所述第i 1个特征图为所述特征图集合中的特征图,所述i为大于等于1且小于等于n-1的整数,第1至i 1个特征图互为不同的特征图;其中,在所示i=1的情况下,第i个融合特征图为第1个特征图;

    融合所述第i 1个待融合特征图和所述第i 1个特征图,得到第i 1个融合特征图;

    在i 1=n的情况下,将第i 1个融合特征图确定为所述初级融合特征图。

    3.根据权利要求2所述的方法,其特征在于,所述变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图,包括:

    对所述第i个融合特征图进行卷积得到与所述第i 1个特征图的通道数相同的融合特征图;

    对卷积后的第i个融合特征图进行上采样,得到所述第i 1个待融合特征图。

    4.根据权利要求1-3任一项所述的方法,其特征在于,所述多个待检测数据的数量为m;

    所述基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据,包括:

    融合所述初级融合特征图和第k个待检测数据,得到第k 1个融合特征数据,所述k为大于等于1且小于等于m-1的整数;其中,在所述k=1的情况下,第k个待检测数据为对所述初级融合特征图进行特征提取得到的;

    对所述第k 1个融合特征数据进行特征提取,得到第k 1个待检测数据。

    5.根据权利要求1-4任一项所述的方法,其特征在于,所述基于输入的待检测图像得到特征图集合,包括:

    对所述待检测图像进行下采样得到预设分辨率的待检测图像;

    对所述预设分辨率的待检测图像进行特征提取,得到所述特征图集合。

    6.一种对象检测装置,其特征在于,其特征在于,包括处理单元和通信单元,其中,

    所述处理单元,用于通过基于所述通信单元获取到的待检测图像得到特征图集合;以及,用于基于所述特征图集合进行初级融合,得到初级融合特征图;以及,用于基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据,所述层级特征融合操作是指提取不同层次的特征数据以及对不同层次的特征数据进行融合的操作;以及,用于基于所述多个待检测数据进行对象检测,得到检测结果。

    7.根据权利要求6所述的装置,其特征在于,所述特征图集合中包括n个尺度不同的特征图,在所述基于所述特征图集合进行初级融合,得到初级融合特征图方面,所述处理单元具体用于:

    确定第1个特征图为第1个融合特征图,所述第1个特征图为所述特征图集合中的特征图;

    变换第i个融合特征图的通道数和尺度,得到第i 1个待融合特征图,所述第i 1个待融合特征图与第i 1个特征图的通道数和尺度相同,所述第i 1个特征图为所述特征图集合中的特征图,所述i为大于等于1且小于等于n-1的整数,第1至i 1个特征图互为不同的特征图;

    融合所述第i 1个待融合特征图和所述第i 1个特征图,得到第i 1个融合特征图;

    将第n个融合特征图确定为所述初级融合特征图。

    8.根据权利要求6或7所述的装置,其特征在于,所述多个待检测数据的数量为m;

    在所述基于所述初级融合特征图进行层级特征融合操作,得到多个待检测数据方面,所述处理单元具体用于:

    对所述初级融合特征图进行特征提取,得到第1个待检测数据;

    融合所述初级融合特征图和第k个待检测数据,得到第k 1个融合特征数据,所述第k个待检测数据为对第k个融合特征数据进行特征提取得到的,所述k为大于等于1且小于等于m-1的整数;

    对所述第k 1个融合特征数据进行特征提取,得到第k 1个待检测数据。

    9.一种电子设备,其特征在于,包括处理器、存储器,以及一个或多个程序,所述一个或多个程序被存储在所述存储器中,并且被配置由所述处理器执行,所述程序包括用于执行如权利要求1-5任一项所述的方法中的步骤的指令。

    10.一种计算机可读存储介质,其特征在于,存储用于电子数据交换的计算机程序,其中,所述计算机程序使得计算机执行如权利要求1-5任一项所述的方法。

    技术总结
    本申请实施例公开了一种对象检测方法及相关装置,方法包括:基于获取到的待检测图像得到特征图集合;然后根据所述特征图集合进行初级融合,得到初级融合特征图;并根据所述初级融合特征图进行层级特征融合操作,得到多个待检测数据;最后基于所述多个待检测数据进行对象检测,得到检测结果。在本申请实施例中,待检测图像经过特征提取后,将得到的多个人特征图进一步经过初级融合,以及层级特征融合来提取所述待检测图像中深浅层次的特征,从而提升所述待检测图像中目标对象的检测精度。

    技术研发人员:黄德威;冯歌;胡文泽
    受保护的技术使用者:深圳云天励飞技术有限公司
    技术研发日:2019.09.12
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-19916.html

    最新回复(0)