本申请实施例涉及计算机技术领域,具体涉及计算机视觉、增强现实和深度学习等人工智能技术领域,尤其涉及特征图处理方法、装置、设备以及存储介质。
背景技术:
卷积和池化在深度学习中的应用取得了巨大的成功,不断刷新分类数据集的记录。但是,检测和分类有所不同,分类仅需要提取高层的语义即可判断其所属的类别,而检测不仅要对目标进行分类,还要定位其在图片中的位置,这就要求提取的特征不仅具有不变性,不会随目标旋转、缩放等导致类别变化,也要求其具有等变性,随着目标位置的移动而移动。
目前,卷积有普通卷积、可变形卷积、空洞卷积、分组卷积、深度可分离卷积等,池化有平均池化、最大池化、随机池化、空间金字塔池化等。普通卷积使用k×k(k为正整数)大小的卷积核在特征图上以步长s(s为正整数)滑动,不具有空间和尺度的不变性。可变形卷积同时学习了一个偏移使得卷积核在输入特征图的采样点发生偏移,集中于感兴趣的区域和目标。分组卷积和深度可分离卷积都是为减少卷积运算量涉及的,并没有对特征提取能力有本质的改善。平均池化将s×s网格大小输入的平均值作为输出。最大池化取s×s网格中的最大值作为输出。随机池化则是随机选取网格中的一个数作为输出。简而言之,池化有一定的空间不变性但是以牺牲定位精度为代价的,导致目前的目标检测模型很少使用。空间金字塔池化对不同大小的输入采用不同大小的步长,以确保可以得到相同尺寸的输出,其中存在两次量化制约了检测精度的进一步提升。综上,目前的卷积和池化均无法满足检测所需的既保留空间特征又具有空间不变性的要求。
技术实现要素:
本申请实施例提出了特征图处理方法、装置、设备以及存储介质。
第一方面,本申请实施例提出了一种特征图处理方法,包括:确定处理窗口,其中,处理窗口的尺寸大于卷积核的大小;将处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域;利用卷积核对当前区域的至少部分区域进行卷积,得到卷积元素,以及对当前区域的至少部分区域进行池化,得到池化元素;计算卷积元素与池化元素的和,作为输出元素;当处理窗口滑动结束,基于所有输出元素生成输出特征图。
第二方面,本申请实施例提出了一种特征图处理装置,包括:确定模块,被配置成确定处理窗口,其中,处理窗口的尺寸大于卷积核的大小;滑动模块,被配置成将处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域;处理模块,被配置成利用卷积核对当前区域的至少部分区域进行卷积,得到卷积元素,以及对当前区域的至少部分区域进行池化,得到池化元素;计算模块,被配置成计算卷积元素与池化元素的和,作为输出元素;生成模块,被配置成当处理窗口滑动结束,基于所有输出元素生成输出特征图。
第三方面,本申请实施例提出了一种目标检测方法,包括:获取待检测图像;将待检测图像输入至目标检测模型,得到待检测图像中的目标的类别和位置,其中,目标检测模型包括卷积池化层,卷积池化层执行如第一方面中任一实现方式描述的方法。
第四方面,本申请实施例提出了一种目标检测装置,包括:获取模块,被配置成获取待检测图像;检测模块,被配置成将待检测图像输入至目标检测模型,得到待检测图像中的目标的类别和位置,其中,目标检测模型包括卷积池化层,卷积池化层执行如第一方面中任一实现方式描述的方法。
第五方面,本申请实施例提出了一种电子设备,包括:至少一个处理器;以及与至少一个处理器通信连接的存储器;其中,存储器存储有可被至少一个处理器执行的指令,指令被至少一个处理器执行,以使至少一个处理器能够执行如第一方面中任一实现方式描述的方法或者如第二方面中任一实现方式描述的方法。
第六方面,本申请实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质,计算机指令用于使计算机执行如第一方面中任一实现方式描述的方法或者如第二方面中任一实现方式描述的方法。
本申请实施例提供的特征图处理方法、装置、设备以及存储介质,首先将确定出的处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域;之后利用卷积核对当前区域的至少部分区域进行卷积,得到卷积元素,以及对当前区域的至少部分区域进行池化,得到池化元素;然后计算卷积元素与池化元素的和,作为输出元素;最后当处理窗口滑动结束,基于所有输出元素生成输出特征图。对特征图同时进行卷积和池化,既能提取到高层语义特征又能提取到细节特征,从而使提取到的特征更加丰富。
应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述,本申请的其它特征、目的和优点将会变得更明显。附图用于更好地理解本方案,不构成对本申请的限定。其中:
图1是根据本申请的特征图处理方法的一个实施例的流程图;
图2是根据本申请的特征图处理方法的又一个实施例的流程图;
图3是非中心池化的卷积的一个示意图;
图4是非中心池化的卷积的又一个示意图;
图5是根据本申请的目标检测方法的一个实施例的流程图;
图6是根据本申请的特征图处理装置的一个实施例的结构示意图;
图7是根据本申请的目标检测装置的一个实施例的结构示意图;
图8是用来实现本申请实施例的特征图处理方法的电子设备的框图。
具体实施方式
以下结合附图对本申请的示范性实施例做出说明,其中包括本申请实施例的各种细节以助于理解,应当将它们认为仅仅是示范性的。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本申请的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是,在不冲突的情况下,本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本申请。
图1示出了根据本申请的特征图处理方法的一个实施例的流程100。该特征图处理方法包括以下步骤:
步骤101,确定处理窗口。
在本实施例中,特征图处理方法的执行主体可以确定处理窗口。其中,处理窗口是对数据同时进行卷积和池化处理的矩阵,用于提取输入数据中的特征信息,其尺寸大于卷积核的大小。
在本实施例的一些可选的实现方式中,上述执行主体可以基于预设尺寸确定初始处理窗口;若预设尺寸大于卷积核的尺寸,将初始处理窗口作为处理窗口;若预设尺寸小于卷积核的大小,在初始处理窗口的周围扩充黑边,生成处理窗口。其中,初始处理窗口的尺寸等于预设尺寸。处理窗口的尺寸大于卷积核的尺寸。扩充的黑边的像素值等于0。
步骤102,将处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域。
在本实施例中,上述执行主体可以将处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域。其中,滑动方向可以是从左到右,从上到下。处理窗口中的当前区域可以是处理窗口当前在输入特征图上所包围的区域。
步骤103,利用卷积核对当前区域的至少部分区域进行卷积,得到卷积元素,以及对当前区域的至少部分区域进行池化,得到池化元素。
在本实施例中,上述执行主体可以利用卷积核对当前区域的至少部分区域进行卷积,得到卷积元素,以及对当前区域的至少部分区域进行池化,得到池化元素。其中,卷积元素是特征图的细节特征,池化元素是高层语义特征。
其中,池化可以包括但不限于以下至少一项:平均池化、最大值池化、随机池化和金字塔池化等等。平均池化又叫做均值池化(mean-pooling),即对局部接受域中的所有值求均值,是将s×s网格大小输入的平均值作为输出。最大池化(max-pooling)即取局部接受域中值最大的点,是取s×s网格中的最大值作为输出。随机池化(stochasticpooling)可以看作在一个池化窗口内对特征图数值进行归一化,按照特征图归一化后的概率值大小随机采样选择,即元素值大的被选中的概率也大,是随机选取网格中的一个数作为输出。空间金字塔池化的意义是将任意大小的特征图都能够转换成固定大小的特征向量,是对不同大小的输入采用不同大小的步长,以确保可以得到相同尺寸的输出。
步骤104,计算卷积元素与池化元素的和,作为输出元素。
在本实施例中,上述执行主体可以计算卷积元素与池化元素的和,作为输出元素。这样,输出元素既携带细节特征又携带高层语义特征。
步骤105,当处理窗口滑动结束,基于所有输出元素生成输出特征图。
在本实施例中,当处理窗口滑动结束,上述执行主要可以基于所有输出元素生成输出特征图。其中,输出特征图的像素点是输出元素。由于输出特征图是特征图同时进行卷积和池化所得到的,其尺寸小于输入特征图。
本申请实施例提供的特征图处理方法,首先将确定出的处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域;之后利用卷积核对当前区域的至少部分区域进行卷积,得到卷积元素,以及对当前区域的至少部分区域进行池化,得到池化元素;然后计算卷积元素与池化元素的和,作为输出元素;最后当处理窗口滑动结束,基于所有输出元素生成输出特征图。对特征图同时进行卷积和池化,既能提取到高层语义特征又能提取到细节特征,从而使提取到的特征更加丰富。
进一步参考图2,其示出了根据本申请的特征图处理方法的又一个实施例的流程200。该特征图处理方法包括以下步骤:
步骤201,基于卷积核的大小和卷积步长,确定处理窗口。
在本实施例中,上述执行主体可以基于卷积核的大小和卷积步长,确定处理窗口,使得处理窗口的尺寸大于卷积核的大小。
假设卷积核的大小是k×k(k≥3),卷积步长是s(s为正整数),那么处理窗口的大小可以是:(2×s k-2)×(2×s k-2)。
步骤202,将处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域。
在本实施例中,步骤202具体操作已在图1所示的实施例中步骤102进行了详细的介绍,在此不再赘述。
步骤203,利用卷积核对当前区域的中心区域进行卷积,得到卷积元素。
在本实施例中,由于目标的细节通常在中心区域,上述执行主体可以利用卷积核对当前区域的中心区域进行卷积,得到卷积元素。其中,中心区域以当前区域的中心为中心,尺寸等于卷积核的大小。卷积元素是细节特征,用于对目标进行定位。卷积运算量是:(k-2)×(k-2),k是卷积核的大小。
步骤204,对中心区域的周围区域进行池化,得到池化元素。
在本实施例中,受生物视觉启发,在中心遮住一部分仍能准确辨认其所属类别,因此上述执行主体对中心区域的周围区域进行池化,得到池化元素。其中,池化元素是高层语义特征,用于对目标进行分类。池化运算量是:s×4-4,s是卷积步长。
步骤205,计算卷积元素与池化元素的和,作为输出元素。
步骤206,当处理窗口滑动结束,基于所有输出元素生成输出特征图。
在本实施例中,步骤205-206具体操作已在图1所示的实施例中步骤104-105进行了详细的介绍,在此不再赘述。
从图2中可以看出,与图1对应的实施例相比,本实施例中的特征图处理方法的流程200突出了卷积池化的步骤。由此,本实施例描述的方案受生物视觉启发,在中心遮住一部分仍能准确辨认其所属类别,对中心区域进行卷积,对周围区域进行池化,既能提升提取出的高层语义特征的准确度,又能提升提取出的细节特征的准确度,进而提升对目标分类和定位的准确度。
需要说明的是,对中心区域进行卷积,对周围区域进行池化,又叫做非中心池化的卷积。非中心池化的卷积可以在提取周边区域的高层语义特征的同时保留中心区域的细节特征,能够满足检测对应不变性和等变性的要求,当其应用于目标检测模型时,能够提升目标检测模型的精度。
为了便于理解,图3示出了非中心池化的卷积的一个示意图,图4示出了非中心池化的卷积的又一个示意图。如图3所示,处理窗口的大小是3×3,卷积核的大小是1×1。其中,中心灰色区域进行卷积操作,周围白色区域进行池化操作。如图4所示,处理窗口的大小是5×5,卷积核的大小是3×3。其中,中心灰色区域进行卷积操作,周围白色区域进行池化操作。
进一步参考图5,其示出了根据本申请的目标检测方法的一个实施例的流程500。该目标检测方法包括以下步骤:
步骤501,获取待检测图像。
在本实施例中,目标检测方法的执行主体可以获取待检测图像。其中,待检测图像中存在目标。目标可以是自然界客观存在的任意有形物体,包括但不限于人物、动物、植物、物品、建筑物等等。
步骤502,将待检测图像输入至目标检测模型,得到待检测图像中的目标的类别和位置。
在本实施例中,上述执行主体可以将待检测图像输入至目标检测模型,得到待检测图像中的目标的类别和位置。
这里的目标检测模型包括卷积池化层。卷积池化层可以同时具有卷积层和池化层的功能,用于利用卷积核对当前区域的至少部分区域进行卷积,以及对当前区域的至少部分区域进行池化。卷积池化层能够执行特征图处理方法,特征图是目标检测模型对图像进行处理的中间产物。目标检测模型可以包括多个卷积池化层。以目标检测模型包括两个卷积池化层为例,图像输入至第一个卷积池化层,第一个卷积池化层对图像进行卷积池化操作,得到第一个特征图;第一个特征图输入至第二个卷积池化层,第二个卷积池化层对第一个特征图进行卷积池化操作,得到第二个特征图;第二个特征图输入至全连接层,全连接层将第二个特征图的特征综合起来,得到图像中的目标的类别和位置。
本申请实施例提供的目标检测方法,利用包括卷积池化层的目标检测模型进行图像检测。卷积池化层既能提取到高层语义特征又能提取到细节特征,从而使提取到的特征更加丰富。高层语义特征能够用于确定图像中的目标的类别,从而实现对目标进行分类。高层语义特征具有不变性,不会随目标旋转、缩放等导致类别变化。细节特征能够用于确定图像中的目标的位置,从而实现对目标的定位。细节特征具有等变性,随着目标位置的移动而移动。
进一步参考图6,作为对上述各图所示方法的实现,本申请提供了一种特征图处理装置的一个实施例,该装置实施例与图2所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图6所示,本实施例的特征图处理装置600可以包括:确定模块601、滑动模块602、处理模块603、计算模块604和生成模块605。其中,确定模块601,被配置成确定处理窗口,其中,处理窗口的尺寸大于卷积核的大小;滑动模块602,被配置成将处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域;处理模块603,被配置成利用卷积核对当前区域的至少部分区域进行卷积,得到卷积元素,以及对当前区域的至少部分区域进行池化,得到池化元素;计算模块604,被配置成计算卷积元素与池化元素的和,作为输出元素;生成模块605,被配置成当处理窗口滑动结束,基于所有输出元素生成输出特征图。
在本实施例中,特征图处理装置600中:确定模块601、滑动模块602、处理模块603、计算模块604和生成模块605的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤201-205的相关说明,在此不再赘述。
在本实施例的一些可选的实现方式中,确定模块601进一步被配置成:基于卷积核的大小和卷积步长,确定处理窗口。
在本实施例的一些可选的实现方式中,确定模块601进一步被配置成:基于预设尺寸确定初始处理窗口;若预设尺寸小于卷积核的大小,在初始处理窗口的周围扩充黑边,生成处理窗口。
在本实施例的一些可选的实现方式中,处理模块603进一步被配置成:利用卷积核对当前区域的中心区域进行卷积,得到卷积元素,其中,中心区域以当前区域的中心为中心,尺寸等于卷积核的大小;对中心区域的周围区域进行池化,得到池化元素。
在本实施例的一些可选的实现方式中,池化包括以下至少一项:平均池化、最大值池化、随机池化和金字塔池化。
进一步参考图7,作为对上述各图所示方法的实现,本申请提供了一种目标检测装置的一个实施例,该装置实施例与图5所示的方法实施例相对应,该装置具体可以应用于各种电子设备中。
如图7所示,本实施例的目标检测装置700可以包括:获取模块701和检测模块702。其中,获取模块701,被配置成获取待检测图像;检测模块702,被配置成将待检测图像输入至目标检测模型,得到待检测图像中的目标的类别和位置,其中,目标检测模型包括卷积池化层,卷积池化层执行如第一方面中任一实现方式描述的方法。
在本实施例中,目标检测装置700中:获取模块701和检测模块702的具体处理及其所带来的技术效果可分别参考图2对应实施例中的步骤501-502的相关说明,在此不再赘述。
根据本申请的实施例,本申请还提供了一种电子设备和一种可读存储介质。
如图8所示,是根据本申请实施例特征图处理方法的电子设备的框图。电子设备旨在表示各种形式的数字计算机,诸如,膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置,诸如,个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例,并且不意在限制本文中描述的和/或者要求的本申请的实现。
如图8所示,该电子设备包括:一个或多个处理器801、存储器802,以及用于连接各部件的接口,包括高速接口和低速接口。各个部件利用不同的总线互相连接,并且可以被安装在公共主板上或者根据需要以其它方式安装。处理器可以对在电子设备内执行的指令进行处理,包括存储在存储器中或者存储器上以在外部输入/输出装置(诸如,耦合至接口的显示设备)上显示gui的图形信息的指令。在其它实施方式中,若需要,可以将多个处理器和/或多条总线与多个存储器和多个存储器一起使用。同样,可以连接多个电子设备,各个设备提供部分必要的操作(例如,作为服务器阵列、一组刀片式服务器、或者多处理器系统)。图8中以一个处理器801为例。
存储器802即为本申请所提供的非瞬时计算机可读存储介质。其中,所述存储器存储有可由至少一个处理器执行的指令,以使所述至少一个处理器执行本申请所提供的特征图处理方法。本申请的非瞬时计算机可读存储介质存储计算机指令,该计算机指令用于使计算机执行本申请所提供的特征图处理方法。
存储器802作为一种非瞬时计算机可读存储介质,可用于存储非瞬时软件程序、非瞬时计算机可执行程序以及模块,如本申请实施例中的特征图处理方法对应的程序指令/模块(例如,附图6所示的确定模块601、滑动模块602、处理模块603、计算模块604和生成模块605。又例如,附图7所示的获取模块701和检测模块702)。处理器801通过运行存储在存储器802中的非瞬时软件程序、指令以及模块,从而执行服务器的各种功能应用以及数据处理,即实现上述方法实施例中的特征图处理方法。
存储器802可以包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需要的应用程序;存储数据区可存储根据特征图处理方法的电子设备的使用所创建的数据等。此外,存储器802可以包括高速随机存取存储器,还可以包括非瞬时存储器,例如至少一个磁盘存储器件、闪存器件、或其他非瞬时固态存储器件。在一些实施例中,存储器802可选包括相对于处理器801远程设置的存储器,这些远程存储器可以通过网络连接至特征图处理方法的电子设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
特征图处理方法的电子设备还可以包括:输入装置803和输出装置804。处理器801、存储器802、输入装置803和输出装置804可以通过总线或者其他方式连接,图8中以通过总线连接为例。
输入装置803可接收输入的数字或字符信息,以及产生与特征图处理方法的电子设备的用户设置以及功能控制有关的键信号输入,例如触摸屏、小键盘、鼠标、轨迹板、触摸板、指示杆、一个或者多个鼠标按钮、轨迹球、操纵杆等输入装置。输出装置804可以包括显示设备、辅助照明装置(例如,led)和触觉反馈装置(例如,振动电机)等。该显示设备可以包括但不限于,液晶显示器(lcd)、发光二极管(led)显示器和等离子体显示器。在一些实施方式中,显示设备可以是触摸屏。
此处描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、专用asic(专用集成电路)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括:实施在一个或者多个计算机程序中,该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释,该可编程处理器可以是专用或者通用可编程处理器,可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令,并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
这些计算程序(也称作程序、软件、软件应用、或者代码)包括可编程处理器的机器指令,并且可以利用高级过程和/或面向对象的编程语言、和/或汇编/机器语言来实施这些计算程序。如本文使用的,术语“机器可读介质”和“计算机可读介质”指的是用于将机器指令和/或数据提供给可编程处理器的任何计算机程序产品、设备、和/或装置(例如,磁盘、光盘、存储器、可编程逻辑装置(pld)),包括,接收作为机器可读信号的机器指令的机器可读介质。术语“机器可读信号”指的是用于将机器指令和/或数据提供给可编程处理器的任何信号。
为了提供与用户的交互,可以在计算机上实施此处描述的系统和技术,该计算机具有:用于向用户显示信息的显示装置(例如,crt(阴极射线管)或者lcd(液晶显示器)监视器);以及键盘和指向装置(例如,鼠标或者轨迹球),用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互;例如,提供给用户的反馈可以是任何形式的传感反馈(例如,视觉反馈、听觉反馈、或者触觉反馈);并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如,作为数据服务器)、或者包括中间件部件的计算系统(例如,应用服务器)、或者包括前端部件的计算系统(例如,具有图形用户界面或者网络浏览器的用户计算机,用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如,通信网络)来将系统的部件相互连接。通信网络的示例包括:局域网(lan)、广域网(wan)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器,又称为云计算服务器或云主机,是云计算服务体系中的一项主机产品,以解决了传统物理主机与vps服务("virtualprivateserver",或简称"vps")中,存在的管理难度大,业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器,或者是结合了区块链的服务器。
根据本申请的技术方案,首先将确定出的处理窗口按照卷积步长在输入特征图上滑动,确定处理窗口中的当前区域;之后利用卷积核对当前区域的至少部分区域进行卷积,得到卷积元素,以及对当前区域的至少部分区域进行池化,得到池化元素;然后计算卷积元素与池化元素的和,作为输出元素;最后当处理窗口滑动结束,基于所有输出元素生成输出特征图。对特征图同时进行卷积和池化,既能提取到高层语义特征又能提取到细节特征,从而使提取到的特征更加丰富。
应该理解,可以使用上面所示的各种形式的流程,重新排序、增加或删除步骤。例如,本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行,只要能够实现本申请公开的技术方案所期望的结果,本文在此不进行限制。
上述具体实施方式,并不构成对本申请保护范围的限制。本领域技术人员应该明白的是,根据设计要求和其他因素,可以进行各种修改、组合、子组合和替代。任何在本申请的精神和原则之内所作的修改、等同替换和改进等,均应包含在本申请保护范围之内。
1.一种特征图处理方法,包括:
确定处理窗口,其中,所述处理窗口的尺寸大于所述卷积核的大小;
将所述处理窗口按照卷积步长在输入特征图上滑动,确定所述处理窗口中的当前区域;
利用卷积核对所述当前区域的至少部分区域进行卷积,得到卷积元素,以及对所述当前区域的至少部分区域进行池化,得到池化元素;
计算所述卷积元素与所述池化元素的和,作为输出元素;
当所述处理窗口滑动结束,基于所有输出元素生成输出特征图。
2.根据权利要求1所述的方法,其中,所述确定处理窗口,包括:
基于所述卷积核的大小和所述卷积步长,确定所述处理窗口。
3.根据权利要求1所述的方法,其中,所述确定处理窗口,包括:
基于预设尺寸确定初始处理窗口;
若所述预设尺寸小于所述卷积核的大小,在所述初始处理窗口的周围扩充黑边,生成所述处理窗口。
4.根据权利要求1所述的方法,其中,所述利用卷积核对所述当前区域的至少部分区域进行卷积,得到卷积元素,以及对所述当前区域的至少部分区域进行池化,得到池化元素,包括:
利用卷积核对所述当前区域的中心区域进行卷积,得到所述卷积元素,其中,所述中心区域以所述当前区域的中心为中心,尺寸等于所述卷积核的大小;
对所述中心区域的周围区域进行池化,得到所述池化元素。
5.根据权利要求1所述的方法,其中,池化包括以下至少一项:平均池化、最大值池化、随机池化和金字塔池化。
6.一种目标检测方法,包括:
获取待检测图像;
将所述待检测图像输入至目标检测模型,得到所述待检测图像中的目标的类别和位置,其中,所述目标检测模型包括卷积池化层,所述卷积池化层执行权利要求1-5之一所述的方法。
7.一种特征图处理装置,包括:
确定模块,被配置成确定处理窗口,其中,所述处理窗口的尺寸大于所述卷积核的大小;
滑动模块,被配置成将所述处理窗口按照卷积步长在输入特征图上滑动,确定所述处理窗口中的当前区域;
处理模块,被配置成利用卷积核对所述当前区域的至少部分区域进行卷积,得到卷积元素,以及对所述当前区域的至少部分区域进行池化,得到池化元素;
计算模块,被配置成计算所述卷积元素与所述池化元素的和,作为输出元素;
生成模块,被配置成当所述处理窗口滑动结束,基于所有输出元素生成输出特征图。
8.根据权利要求7所述的装置,其中,所述确定模块进一步被配置成:
基于所述卷积核的大小和所述卷积步长,确定所述处理窗口。
9.根据权利要求7所述的装置,其中,所述确定模块进一步被配置成:
基于预设尺寸确定初始处理窗口;
若所述预设尺寸小于所述卷积核的大小,在所述初始处理窗口的周围扩充黑边,生成所述处理窗口。
10.根据权利要求7所述的装置,其中,所述处理模块进一步被配置成:
利用卷积核对所述当前区域的中心区域进行卷积,得到所述卷积元素,其中,所述中心区域以所述当前区域的中心为中心,尺寸等于所述卷积核的大小;
对所述中心区域的周围区域进行池化,得到所述池化元素。
11.根据权利要求7所述的装置,其中,池化包括以下至少一项:平均池化、最大值池化、随机池化和金字塔池化。
12.一种目标检测装置,包括:
获取模块,被配置成获取待检测图像;
检测模块,被配置成将所述待检测图像输入至目标检测模型,得到所述待检测图像中的目标的类别和位置,其中,所述目标检测模型包括卷积池化层,所述卷积池化层执行权利要求1-5之一所述的方法。
13.一种电子设备,包括:
至少一个处理器;以及
与所述至少一个处理器通信连接的存储器;其中,
所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行权利要求1-5中任一项所述的方法或者执行权利要求6所述的方法。
14.一种存储有计算机指令的非瞬时计算机可读存储介质,所述计算机指令用于使所述计算机执行权利要求1-5中任一项所述的方法或者执行权利要求6所述的方法。
技术总结