一种目标检测方法及相关装置与流程

    专利2022-07-08  136


    本申请涉及图像识别技术领域,特别是涉及一种目标检测方法及相关装置。



    背景技术:

    随着时代的发展,人们对于目标检测的准确率有了越来越高的要求,如何提高目标检测的准确率已成为本领域研究的重点。

    现有技术中,原始图像存在大量的噪声,直接对原始图像进行目标检测容易被该噪声所干扰,从而忽略有用信息,降低目标检测的准确性。



    技术实现要素:

    本申请提供一种目标检测方法及相关装置,有利于减少目标检测过程中的资源浪费。

    为了实现上述技术效果,本申请第一方面提供一种目标检测方法,包括:

    对原始图像进行特征信息提取,得到原始图像特征信息;

    基于上述原始图像特征信息,生成相应的密度图和分割图;

    基于上述分割图,确定上述原始图像中的目标区域,并基于上述目标区域和上述密度图,生成目标区域密度图,其中,上述目标区域为上述分割图中亮度值大于第一预设值的点所构成的区域,上述目标区域密度图为仅包含上述目标区域的密度信息的密度图;

    基于上述目标区域密度图,从上述原始图像中裁剪出与目标区域密度图相关的分块图像;

    分别对各上述分块图像进行目标检测,以输出各上述分块图像所对应的目标检测结果。

    基于本申请第一方面,在第一种可能的实现方式中,上述基于上述目标区域密度图,从上述原始图像中裁剪出与目标区域密度图相关的分块图像包括:

    基于上述目标区域密度图,生成用于包围上述目标区域密度图中的密度连通区域的最小包围框,其中,上述密度连通区域为密度值大于第二预设值的相连的点所构成的区域;

    基于各上述最小包围框、上述目标区域密度图和上述原始图像,得到各上述最小包围框所对应的预测目标面积占比,其中,上述预测目标面积占比为在相应最小包围框于上述原始图像上的映射区域内,各预测目标的面积占上述映射区域的总面积的比例的平均值;

    基于各上述预测目标面积占比与预设的标准占比的大小关系,对各上述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近上述标准占比;

    基于各上述调整后的最小包围框映射在上述原始图像上的位置,对原始图像进行裁剪,以得到与各上述调整后的最小包围框一一对应的一个以上分块图像。

    基于本申请第一方面的第一种可能的实现方式,在第二种可能的实现方式中,上述基于各上述预测目标面积占比与预设的标准占比的大小关系,对各上述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近上述标准占比包括:

    分别计算各上述最小包围框的预测目标面积占比与上述标准占比的比值;

    若存在第一类包围框,则增大上述第一类包围框的尺度,以使各调整后的第一类包围框的预测目标面积占比相较于调整前更接近上述标准占比,其中,上述第一类包围框为各上述最小包围框中上述比值大于第三预设值的最小包围框;

    若存在第二类包围框,则减小上述第二类包围框的尺度,和/或,将上述第二类包围框分割为两个以上最小包围框,以使各调整后的第二类包围框的预测目标面积占比相较于调整前更接近上述标准占比,其中,上述第二类包围框为各上述最小包围框中上述比值小于第四预设值的最小包围框;

    其中,上述第三预设值不小于上述第四预设值。

    基于本申请第一方面的第一种或第二种可能的实现方式,在第三种可能的实现方式中,在上述基于上述目标区域密度图,生成用于包围上述目标区域密度图中的密度连通区域的最小包围框后,上述目标检测方法还包括:

    将各上述最小包围框中相距距离小于预设距离的两个最小包围框进行合并,以合并成用于包围上述相距距离小于预设距离的两个最小包围框的密度连通区域的最小包围框。

    基于本申请第一方面或本申请第一方面的第一种或第二种可能的实现方式,在第四种可能的实现方式中,在上述分别对各上述分块图像进行目标检测后,上述目标检测方法还包括:

    基于非极大值抑制算法,对各上述目标检测结果进行合并,以得到上述原始图像的目标检测结果。

    基于本申请第一方面或本申请第一方面的第一种或第二种可能的实现方式,在第五种可能的实现方式中,上述对原始图像进行特征信息提取,得到原始图像特征信息,基于上述原始图像特征信息,生成相应的密度图和分割图包括:

    基于第一预设模型,对原始图像进行特征信息提取,并生成相应的密度图和分割图。

    基于本申请第一方面的第一种或第二种可能的实现方式,在第六种可能的实现方式中,上述基于各上述最小包围框、上述目标区域密度图和上述原始图像,得到各上述最小包围框所对应的预测目标面积占比包括:

    基于上述目标区域密度图和各上述最小包围框,确定各上述最小包围框的面积、各上述最小包围框内的密度值之和、各上述最小包围框中的密度连通区域的面积;

    基于第二预设模型、各上述最小包围框的面积、各上述最小包围框内的密度值之和、各上述最小包围框中的密度连通区域的面积和上述原始图像的总面积,得到各上述最小包围框所对应的预测目标面积占比。

    基于本申请第一方面或本申请第一方面的第一种或第二种可能的实现方式,在第七种可能的实现方式中,上述分别对各上述分块图像进行目标检测包括:

    基于第三预设模型,分别对各上述分块图像进行目标检测。

    本申请第二方面提供一种目标检测装置,包括:

    提取单元,用于对原始图像进行特征信息提取,得到原始图像特征信息;

    第一生成单元,用于基于上述原始图像特征信息,生成相应的密度图和分割图;

    第二生成单元,用于基于上述分割图,确定上述原始图像中的目标区域,并基于上述目标区域和上述密度图,生成目标区域密度图,其中,上述目标区域为上述分割图中亮度值大于第一预设值的点所构成的区域,上述目标区域密度图为仅包含上述目标区域的密度信息的密度图;

    裁剪单元,用于基于上述目标区域密度图,从上述原始图像中裁剪出与目标区域密度图相关的分块图像;

    目标检测单元,用于分别对各上述分块图像进行目标检测,以输出各上述分块图像所对应的目标检测结果。

    本申请第三方面提供一种目标检测装置,包括存储器和处理器,上述存储器存储有计算机程序,上述处理器执行上述计算机程序时实现上述第一方面或上述第一方面的任一种可能的实现方式中提及的目标检测方法的步骤。

    由上可见,本申请的技术方案包括对原始图像进行特征信息提取,得到原始图像特征信息;基于原始图像特征信息,生成相应的密度图和分割图;基于分割图,确定原始图像中的目标区域,并基于目标区域和密度图,生成目标区域密度图;基于目标区域密度图,从原始图像中裁剪出与目标区域密度图相关的分块图像;分别对各分块图像进行目标检测,以输出各分块图像所对应的目标检测结果。基于本申请的技术方案,可先提取原始图像的分割图和密度图,并基于分割图对密度图作进一步删减,以提高目标区域密度图对原始图像中的目标的针对性,再基于目标区域密度图对原始图像进行裁剪,最后对各裁剪得到的分块图像进行目标检测以得到各目标检测结果,由于只对于目标区域密度图相关的分块图像进行目标检测,可有效排除原始图像中的噪声干扰,提高目标检测的准确性。

    附图说明

    为了更清楚地说明本申请实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其它的附图。

    图1为本申请提供的目标检测方法一实施例流程示意图;

    图2为本申请提供的目标检测装置一实施例结构示意图;

    图3为本申请提供的目标检测装置另一实施例结构示意图。

    具体实施方式

    以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本申请实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其他实施例中也可以实现本申请。在其它情况下,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本申请的描述。

    应当理解,当在本说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。

    还应当理解,在本申请说明书中所使用的术语仅仅是出于描述特定实施例的目的而并不意在限制本申请。如在本申请说明书和所附权利要求书中所使用的那样,除非上下文清楚地指明其它情况,否则单数形式的“一”、“一个”及“该”意在包括复数形式。

    下面结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请的一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

    在下面的描述中阐述了很多具体细节以便于充分理解本申请,但是本申请还可以采用其它不同于在此描述的其它方式来实施,本领域技术人员可以在不违背本申请内涵的情况下做类似推广,因此本申请不受下面公开的具体实施例的限制。

    实施例一

    本申请提供一种目标检测,如图1所示,包括:

    步骤101,对原始图像进行特征信息提取,得到原始图像特征信息;

    本申请实施例中,可先获取需要进行目标检测的原始图像,再对该原始图像进行特征信息的提取,得到原始图像特征信息,也即原始图像的特征信息,以备后续使用。

    步骤102,基于上述原始图像特征信息,生成相应的密度图和分割图;

    本申请实施例中,密度图为,密度图中的每个点的密度值用于表示原始图像中相应区域的目标密度值;分割图为基于预设的图像分割法和原始图像特征信息所获取的图,该图像分割法可以是目标与背景二分类法、阈值分割法、最大间类方差法和其它图像分割法中的任一种。

    具体的,采用目标与背景二分类法对原始图像进行图像分割,以得到上述分割图的具体流程如下:

    基于训练好的神经网络和原始图像,生成相应的目标概率图和相应的背景概率图,其中,上述目标概率图和上述背景概率图的分辨率相同,上述目标概率图和上述背景概率图中的每一个点的值分别代表该点为目标或背景的概率值;

    将上述目标概率图和上述背景概率图上相互映射的点进行一一对应的大小比较,将为目标的概率大于为背景的概率的点确定为目标点,将为目标的概率不大于为背景的概率的点确定为背景点;

    基于上述目标概率图和上述背景概率图,以将背景点赋值为0并将目标点赋值为某一预设值的方式,得到上述分割图。

    可选的,上述对原始图像进行特征信息提取,得到原始图像特征信息,基于上述原始图像特征信息,生成相应的密度图和分割图包括:

    基于第一预设模型,对原始图像进行特征信息提取,并生成相应的密度图和分割图。

    具体的,上述第一预设模型可以是第一预设神经网络,在训练上述第一预设神经网络时,训练样本为一张以上的所属领域多元化的样本图,与各上述样本图相对应的训练标签包括:粗粒度密度图、基于目标与背景二分类法获得的目标的分割图;

    其中,上述粗粒度密度图的每一点的值均可用于表示上述原始图像中一个区域的目标密度值;

    上述用作训练标签的粗粒度密度图的生成方式具体可以如下:

    第一步,对样本图进行均匀分块,并生成相应的密度框架图,上述密度框架图的各点分别与上述样本图中各分块的密度值相对应;

    第二步,确定样本图中各目标的最小包围框,并将各最小包围框所对应的上述密度框架图上的点均赋值为1,以及将上述密度框架图中,各最小包围框所对应的上述密度框架图上的点以外的点赋值为0,以得到密度过渡图;

    第三步,将上述密度过渡图中各目标所对应的点的总值分别进行归一化处理,以最终得到上述粗粒度密度图。

    需要说明的是,采用上述粗粒度密度图对上述第一预设神经网络进行训练,可使上述第一预设神经网络得到的密度图具有良好的聚类特性,以更突出各目标的密度信息,此外,归一化处理还可使大小不同的目标具备相同的密度总值,防止小目标的丢失。

    步骤103,基于上述分割图,确定上述原始图像中的目标区域,并基于上述目标区域和上述密度图,生成目标区域密度图;

    其中,上述目标区域为上述分割图中亮度值大于第一预设值的点所构成的区域,上述目标区域密度图为仅包含上述目标区域的密度信息的密度图;

    本申请实施例中,可基于上述分割图确定上述目标区域,也即原始图像中存在目标的区域,之后对密度图进行处理,以将密度图中除对应上述目标区域以外的区域的密度值清零,最终生成上述目标区域密度值。

    可选的,上述基于上述分割图,确定上述原始图像中的目标区域,并基于上述目标区域和上述密度图,生成目标区域密度图包括:

    将上述分割图中亮度值大于第一预设值的点的亮度值均更新为1,并将上述分割图中亮度值不大于第一预设值的点的亮度值均更新为0;

    将更新后的分割图中各点的亮度值与上述密度图中各点的密度值一一对应相乘,以获得目标区域密度图。

    具体的,上述第一预设值可以为0、1和其它正整数中的任一数,此处不作限定。

    步骤104,基于上述目标区域密度图,从上述原始图像中裁剪出与目标区域密度图相关的分块图像;

    本申请实施例中,可基于目标区域密度图的各点的密度值,大致确定原始图像中所需要检测的目标的位置,之后基于所需要检测的目标的位置对原始图像有针对性地进行裁剪,得到与目标区域密度图相关的分块图像。

    可选的,上述基于上述目标区域密度图,从上述原始图像中裁剪出与目标区域密度图相关的分块图像包括:

    基于上述目标区域密度图,生成用于包围上述目标区域密度图中的密度连通区域的最小包围框,其中,上述密度连通区域为密度值大于第二预设值的相连的点所构成的区域;

    基于各上述最小包围框、上述目标区域密度图和上述原始图像,得到各上述最小包围框所对应的预测目标面积占比,其中,上述预测目标面积占比为在相应最小包围框于上述原始图像上的映射区域内,各预测目标的面积占上述映射区域的总面积的比例的平均值;

    基于各上述预测目标面积占比与预设的标准占比的大小关系,对各上述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近上述标准占比;

    基于各上述调整后的最小包围框映射在上述原始图像上的位置,对原始图像进行裁剪,以得到与各上述调整后的最小包围框一一对应的一个以上分块图像。

    具体的,上述第二预设值可以为0、1和其它正整数中的任一数,此处不作限定。

    需要说明的是,若各分块图像的预测目标面积占比均较为接近,则后续对该各分块图像进行目标检测的效果会较好,可提高原始图像中的面积较小的目标的检测精度,其中,标准占比可根据实际需求确定。

    进一步的,上述基于各上述预测目标面积占比与预设的标准占比的大小关系,对各上述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近上述标准占比包括:

    分别计算各上述最小包围框的预测目标面积占比与上述标准占比的比值;

    若存在第一类包围框,则增大上述第一类包围框的尺度,以使各调整后的第一类包围框的预测目标面积占比相较于调整前更接近上述标准占比,其中,上述第一类包围框为各上述最小包围框中上述比值大于第三预设值的最小包围框;

    若存在第二类包围框,则减小上述第二类包围框的尺度,和/或,将上述第二类包围框分割为两个以上最小包围框,以使各调整后的第二类包围框的预测目标面积占比相较于调整前更接近上述标准占比,其中,上述第二类包围框为各上述最小包围框中上述比值小于第四预设值的最小包围框;

    其中,上述第三预设值不小于上述第四预设值。

    具体的,上述第三预设值可以等于上述第四预设值,也可以大于上述第四预设值。

    更进一步的,上述增大上述第一类包围框的尺度包括:增大上述第一类包围框的长和/或宽,其中,上述第一类包围框为矩形框;

    上述减小上述第二类包围框的尺度包括:减小上述第二类包围框的长和/或宽,其中,上述第二类包围框为矩形框。

    上述将上述第二类包围框分割为两个以上最小包围框包括:

    对上述第二类包围框的长进行二分操作,以生成两个新的最小包围框;

    在生成两个新的最小包围框后,对该两个新的最小包围框的被进行二分操作的边的长度进行调整,以使该两个新的最小包围框部分重叠。

    进一步的,在上述基于上述目标区域密度图,生成用于包围上述目标区域密度图中的密度连通区域的最小包围框后,上述目标检测方法还包括:

    将各上述最小包围框中相距距离小于预设距离的两个最小包围框进行合并,以合并成用于包围上述相距距离小于预设距离的两个最小包围框的密度连通区域的最小包围框,以防止面积较小的最小包围框数量过多,提高了目标检测的效率。

    进一步的,上述基于各上述最小包围框、上述目标区域密度图和上述原始图像,得到各上述最小包围框所对应的预测目标面积占比包括:

    基于上述目标区域密度图和各上述最小包围框,确定各上述最小包围框的面积、各上述最小包围框内的密度值之和、各上述最小包围框中的密度连通区域的面积;

    基于第二预设模型、各上述最小包围框的面积、各上述最小包围框内的密度值之和、各上述最小包围框中的密度连通区域的面积和上述原始图像的总面积,得到各上述最小包围框所对应的预测目标面积占比。

    具体的,上述第二预设模型可以是第二预设神经网络,在训练上述第二预设神经网络时,训练样本为一张以上含若干最小包围框的样本密度图和样本原图(该密度图包含的信息至少包括:各最小包围框的密度值总和、各最小包围框的密度连通区域的面积、各最小包围框面积和样本原图的总面积),与各上述样本密度图相对应的训练标签为在各最小包围框于上述原始图像上的映射区域内,各实际目标的面积占上述映射区域的总面积的比例的平均值。

    步骤105,分别对各上述分块图像进行目标检测,以输出各上述分块图像所对应的目标检测结果。

    本申请实施例中,可分别对上述分块图像进行目标检测,以输出各上述分块图像所对应的目标检测结果,该目标检测结果可包括:分块图像中的各目标在原始图像中的包围框以及相应的类别信息。

    可选的,在上述分别对各上述分块图像进行目标检测后,上述目标检测方法还包括:

    基于非极大值抑制算法,对各上述目标检测结果进行合并,以得到上述原始图像的目标检测结果。

    具体的,基于非极大值抑制算法,将各分块图像的目标检测结果整合于原始图像上,以输出原始图像的目标检测结果。

    可选的,上述分别对各上述分块图像进行目标检测包括:

    基于第三预设模型,分别对各上述分块图像进行目标检测。

    具体的,上述第三预设模型可以是第三预设神经网络,在训练上述第三预设神经网络时,训练样本为一张以上裁剪出的样本分块图像,与各上述样本分块图像相对应的训练标签包括:样本分块图像中用于包围各目标的目标包围框以及相应的类别信息。

    可选的,上述最小包围框均可以是最小垂直包围框。

    由上可见,本申请的技术方案包括对原始图像进行特征信息提取,得到原始图像特征信息;基于原始图像特征信息,生成相应的密度图和分割图;基于分割图,确定原始图像中的目标区域,并基于目标区域和密度图,生成目标区域密度图;基于目标区域密度图,从原始图像中裁剪出与目标区域密度图相关的分块图像;分别对各分块图像进行目标检测,以输出各分块图像所对应的目标检测结果。基于本申请的技术方案,可先提取原始图像的分割图和密度图,并基于分割图对密度图作进一步删减,以提高目标区域密度图对原始图像中的目标的针对性,再基于目标区域密度图对原始图像进行裁剪,最后对各裁剪得到的分块图像进行目标检测以得到各目标检测结果,由于只对于目标区域密度图相关的分块图像进行目标检测,可有效排除原始图像中的噪声干扰,提高目标检测的准确性。

    实施例二

    本申请提供一种目标检测装置,如图2所示,目标检测装置20包括:

    提取单元201,用于对原始图像进行特征信息提取,得到原始图像特征信息;

    第一生成单元202,用于基于上述原始图像特征信息,生成相应的密度图和分割图;

    第二生成单元203,用于基于上述分割图,确定上述原始图像中的目标区域,并基于上述目标区域和上述密度图,生成目标区域密度图,其中,上述目标区域为上述分割图中亮度值大于第一预设值的点所构成的区域,上述目标区域密度图为仅包含上述目标区域的密度信息的密度图;

    裁剪单元204,用于基于上述目标区域密度图,从上述原始图像中裁剪出与目标区域密度图相关的分块图像;

    目标检测单元205,用于分别对各上述分块图像进行目标检测,以输出各上述分块图像所对应的目标检测结果。

    可选的,裁剪单元204具体用于:

    基于上述目标区域密度图,生成用于包围上述目标区域密度图中的密度连通区域的最小包围框,其中,上述密度连通区域为密度值大于第二预设值的相连的点所构成的区域;

    基于各上述最小包围框、上述目标区域密度图和上述原始图像,得到各上述最小包围框所对应的预测目标面积占比,其中,上述预测目标面积占比为在相应最小包围框于上述原始图像上的映射区域内,各预测目标的面积占上述映射区域的总面积的比例的平均值;

    基于各上述预测目标面积占比与预设的标准占比的大小关系,对各上述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近上述标准占比;

    基于各上述调整后的最小包围框映射在上述原始图像上的位置,对原始图像进行裁剪,以得到与各上述调整后的最小包围框一一对应的一个以上分块图像。

    进一步的,裁剪单元204具体还用于:

    分别计算各上述最小包围框的预测目标面积占比与上述标准占比的比值;

    若存在第一类包围框,则增大上述第一类包围框的尺度,以使各调整后的第一类包围框的预测目标面积占比相较于调整前更接近上述标准占比,其中,上述第一类包围框为各上述最小包围框中上述比值大于第三预设值的最小包围框;

    若存在第二类包围框,则减小上述第二类包围框的尺度,和/或,将上述第二类包围框分割为两个以上最小包围框,以使各调整后的第二类包围框的预测目标面积占比相较于调整前更接近上述标准占比,其中,上述第二类包围框为各上述最小包围框中上述比值小于第四预设值的最小包围框;

    其中,上述第三预设值不小于上述第四预设值。

    进一步的,裁剪单元204具体还用于:

    将各上述最小包围框中相距距离小于预设距离的两个最小包围框进行合并,以合并成用于包围上述相距距离小于预设距离的两个最小包围框的密度连通区域的最小包围框。

    进一步的,裁剪单元204具体还用于:

    基于上述目标区域密度图和各上述最小包围框,确定各上述最小包围框的面积、各上述最小包围框内的密度值之和、各上述最小包围框中的密度连通区域的面积;

    基于第二预设模型、各上述最小包围框的面积、各上述最小包围框内的密度值之和、各上述最小包围框中的密度连通区域的面积和上述原始图像的总面积,得到各上述最小包围框所对应的预测目标面积占比。

    可选的,目标检测单元205还用于:

    基于非极大值抑制算法,对各上述目标检测结果进行合并,以得到上述原始图像的目标检测结果。

    可选的,第一生成单元202具体用于:

    基于第一预设模型,对原始图像进行特征信息提取,并生成相应的密度图和分割图。

    可选的,目标检测单元205具体用于:

    基于第三预设模型,分别对各上述分块图像进行目标检测。

    由上可见,本申请的技术方案包括对原始图像进行特征信息提取,得到原始图像特征信息;基于原始图像特征信息,生成相应的密度图和分割图;基于分割图,确定原始图像中的目标区域,并基于目标区域和密度图,生成目标区域密度图;基于目标区域密度图,从原始图像中裁剪出与目标区域密度图相关的分块图像;分别对各分块图像进行目标检测,以输出各分块图像所对应的目标检测结果。基于本申请的技术方案,可先提取原始图像的分割图和密度图,并基于分割图对密度图作进一步删减,以提高目标区域密度图对原始图像中的目标的针对性,再基于目标区域密度图对原始图像进行裁剪,最后对各裁剪得到的分块图像进行目标检测以得到各目标检测结果,由于只对于目标区域密度图相关的分块图像进行目标检测,可有效排除原始图像中的噪声干扰,提高目标检测的准确性。

    实施例三

    本申请还提供另一种目标检测装置,如图3所示,本申请实施例中的目标检测装置包括:存储器301、处理器302以及存储在存储器301中并可在处理器302上运行的计算机程序,其中:存储器301用于存储软件程序以及模块,处理器302通过运行存储在存储器301的软件程序以及模块,从而执行各种功能应用以及数据处理,存储器301和处理器302通过总线303连接。

    具体的,处理器302通过运行存储在存储器301的上述计算机程序时实现以下步骤:

    对原始图像进行特征信息提取,得到原始图像特征信息;

    基于上述原始图像特征信息,生成相应的密度图和分割图;

    基于上述分割图,确定上述原始图像中的目标区域,并基于上述目标区域和上述密度图,生成目标区域密度图,其中,上述目标区域为上述分割图中亮度值大于第一预设值的点所构成的区域,上述目标区域密度图为仅包含上述目标区域的密度信息的密度图;

    基于上述目标区域密度图,从上述原始图像中裁剪出与目标区域密度图相关的分块图像;

    分别对各上述分块图像进行目标检测,以输出各上述分块图像所对应的目标检测结果。

    假设上述为第一种可能的实施方式,则在基于上述第一种可能的实施方式的第二种可能的实施方式中,上述基于上述目标区域密度图,从上述原始图像中裁剪出与目标区域密度图相关的分块图像包括:

    基于上述目标区域密度图,生成用于包围上述目标区域密度图中的密度连通区域的最小包围框,其中,上述密度连通区域为密度值大于第二预设值的相连的点所构成的区域;

    基于各上述最小包围框、上述目标区域密度图和上述原始图像,得到各上述最小包围框所对应的预测目标面积占比,其中,上述预测目标面积占比为在相应最小包围框于上述原始图像上的映射区域内,各预测目标的面积占上述映射区域的总面积的比例的平均值;

    基于各上述预测目标面积占比与预设的标准占比的大小关系,对各上述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近上述标准占比;

    基于各上述调整后的最小包围框映射在上述原始图像上的位置,对原始图像进行裁剪,以得到与各上述调整后的最小包围框一一对应的一个以上分块图像。

    在基于上述第二种可能的实施方式的第三种可能的实施方式中,上述基于各上述预测目标面积占比与预设的标准占比的大小关系,对各上述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近上述标准占比包括:

    分别计算各上述最小包围框的预测目标面积占比与上述标准占比的比值;

    若存在第一类包围框,则增大上述第一类包围框的尺度,以使各调整后的第一类包围框的预测目标面积占比相较于调整前更接近上述标准占比,其中,上述第一类包围框为各上述最小包围框中上述比值大于第三预设值的最小包围框;

    若存在第二类包围框,则减小上述第二类包围框的尺度,和/或,将上述第二类包围框分割为两个以上最小包围框,以使各调整后的第二类包围框的预测目标面积占比相较于调整前更接近上述标准占比,其中,上述第二类包围框为各上述最小包围框中上述比值小于第四预设值的最小包围框;

    其中,上述第三预设值不小于上述第四预设值。

    在基于上述第二种或第三种可能的实施方式的第四种可能的实施方式中,在上述基于上述目标区域密度图,生成用于包围上述目标区域密度图中的密度连通区域的最小包围框后,上述目标检测方法还包括:

    将各上述最小包围框中相距距离小于预设距离的两个最小包围框进行合并,以合并成用于包围上述相距距离小于预设距离的两个最小包围框的密度连通区域的最小包围框。

    在基于上述第一种或第二种或第三种可能的实施方式的第五种可能的实施方式中,在上述分别对各上述分块图像进行目标检测后,上述目标检测方法还包括:

    基于非极大值抑制算法,对各上述目标检测结果进行合并,以得到上述原始图像的目标检测结果。

    在基于上述第一种或第二种或第三种可能的实施方式的第六种可能的实施方式中,上述对原始图像进行特征信息提取,得到原始图像特征信息,基于上述原始图像特征信息,生成相应的密度图和分割图包括:

    基于第一预设模型,对原始图像进行特征信息提取,并生成相应的密度图和分割图。

    在基于上述第二种或第三种可能的实施方式的第七种可能的实施方式中,上述基于各上述最小包围框、上述目标区域密度图和上述原始图像,得到各上述最小包围框所对应的预测目标面积占比包括:

    基于上述目标区域密度图和各上述最小包围框,确定各上述最小包围框的面积、各上述最小包围框内的密度值之和、各上述最小包围框中的密度连通区域的面积;

    基于第二预设模型、各上述最小包围框的面积、各上述最小包围框内的密度值之和、各上述最小包围框中的密度连通区域的面积和上述原始图像的总面积,得到各上述最小包围框所对应的预测目标面积占比。

    在基于上述第一种或第二种或第三种可能的实施方式的第八种可能的实施方式中,上述分别对各上述分块图像进行目标检测包括:

    基于第三预设模型,分别对各上述分块图像进行目标检测。

    由上可见,本申请的技术方案包括对原始图像进行特征信息提取,得到原始图像特征信息;基于原始图像特征信息,生成相应的密度图和分割图;基于分割图,确定原始图像中的目标区域,并基于目标区域和密度图,生成目标区域密度图;基于目标区域密度图,从原始图像中裁剪出与目标区域密度图相关的分块图像;分别对各分块图像进行目标检测,以输出各分块图像所对应的目标检测结果。基于本申请的技术方案,可先提取原始图像的分割图和密度图,并基于分割图对密度图作进一步删减,以提高目标区域密度图对原始图像中的目标的针对性,再基于目标区域密度图对原始图像进行裁剪,最后对各裁剪得到的分块图像进行目标检测以得到各目标检测结果,由于只对于目标区域密度图相关的分块图像进行目标检测,可有效排除原始图像中的噪声干扰,提高目标检测的准确性。

    实施例四

    本申请还提供一种计算机可读存储介质,其上存有计算机程序,该计算机程序被执行时可以实现上述实施例所提供的步骤。具体的,该计算机程序包括计算机程序代码,上述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式中的一种,此处不作限定;该计算机可读存储介质可以为能够携带上述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、电载波信号、电信信号以及软件分发介质中的一种,此处不作限定。需要说明的是,上述计算机可读存储介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减。

    由上可见,本申请的技术方案包括对原始图像进行特征信息提取,得到原始图像特征信息;基于原始图像特征信息,生成相应的密度图和分割图;基于分割图,确定原始图像中的目标区域,并基于目标区域和密度图,生成目标区域密度图;基于目标区域密度图,从原始图像中裁剪出与目标区域密度图相关的分块图像;分别对各分块图像进行目标检测,以输出各分块图像所对应的目标检测结果。基于本申请的技术方案,可先提取原始图像的分割图和密度图,并基于分割图对密度图作进一步删减,以提高目标区域密度图对原始图像中的目标的针对性,再基于目标区域密度图对原始图像进行裁剪,最后对各裁剪得到的分块图像进行目标检测以得到各目标检测结果,由于只对于目标区域密度图相关的分块图像进行目标检测,可有效排除原始图像中的噪声干扰,提高目标检测的准确性。

    对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下,在其它实施例中实现。因此,本发明将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

    所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将上述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。

    需要说明的是,上述实施例所提供的方法及其细节举例可结合至实施例提供的装置和设备中,相互参照,不再赘述。

    本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各实例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟是以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能,但是这种实现不应认为超出本申请的范围。

    在本申请所提供的实施例中,应该理解到,所揭露的装置/终端设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/设备实施例仅仅是示意性的,例如,上述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以由另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。

    上述实施例仅用以说明本申请的技术方案,而非对其限制;尽管参照前述实施例对本申请进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围,均应包含在本申请的保护范围之内。


    技术特征:

    1.一种目标检测方法,其特征在于,包括:

    对原始图像进行特征信息提取,得到原始图像特征信息;

    基于所述原始图像特征信息,生成相应的密度图和分割图;

    基于所述分割图,确定所述原始图像中的目标区域,并基于所述目标区域和所述密度图,生成目标区域密度图,其中,所述目标区域为所述分割图中亮度值大于第一预设值的点所构成的区域,所述目标区域密度图为仅包含所述目标区域的密度信息的密度图;

    基于所述目标区域密度图,从所述原始图像中裁剪出与目标区域密度图相关的分块图像;

    分别对各所述分块图像进行目标检测,以输出各所述分块图像所对应的目标检测结果。

    2.根据权利要求1所述的目标检测方法,其特征在于,所述基于所述目标区域密度图,从所述原始图像中裁剪出与目标区域密度图相关的分块图像包括:

    基于所述目标区域密度图,生成用于包围所述目标区域密度图中的密度连通区域的最小包围框,其中,所述密度连通区域为密度值大于第二预设值的相连的点所构成的区域;

    基于各所述最小包围框、所述目标区域密度图和所述原始图像,得到各所述最小包围框所对应的预测目标面积占比,其中,所述预测目标面积占比为在相应最小包围框于所述原始图像上的映射区域内,各预测目标的面积占所述映射区域的总面积的比例的平均值;

    基于各所述预测目标面积占比与预设的标准占比的大小关系,对各所述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近所述标准占比;

    基于各所述调整后的最小包围框映射在所述原始图像上的位置,对原始图像进行裁剪,以得到与各所述调整后的最小包围框一一对应的一个以上分块图像。

    3.根据权利要求2所述的目标检测方法,其特征在于,所述基于各所述预测目标面积占比与预设的标准占比的大小关系,对各所述最小包围框进行尺度调整,以使各调整后的最小包围框的预测目标面积占比相较于调整前更接近所述标准占比包括:

    分别计算各所述最小包围框的预测目标面积占比与所述标准占比的比值;

    若存在第一类包围框,则增大所述第一类包围框的尺度,以使各调整后的第一类包围框的预测目标面积占比相较于调整前更接近所述标准占比,其中,所述第一类包围框为各所述最小包围框中所述比值大于第三预设值的最小包围框;

    若存在第二类包围框,则减小所述第二类包围框的尺度,和/或,将所述第二类包围框分割为两个以上最小包围框,以使各调整后的第二类包围框的预测目标面积占比相较于调整前更接近所述标准占比,其中,所述第二类包围框为各所述最小包围框中所述比值小于第四预设值的最小包围框;

    其中,所述第三预设值不小于所述第四预设值。

    4.根据权利要求2或3所述的目标检测方法,其特征在于,在所述基于所述目标区域密度图,生成用于包围所述目标区域密度图中的密度连通区域的最小包围框后,所述目标检测方法还包括:

    将各所述最小包围框中相距距离小于预设距离的两个最小包围框进行合并,以合并成用于包围所述相距距离小于预设距离的两个最小包围框的密度连通区域的最小包围框。

    5.根据权利要求1至3任一项所述的目标检测方法,其特征在于,在所述分别对各所述分块图像进行目标检测后,所述目标检测方法还包括:

    基于非极大值抑制算法,对各所述目标检测结果进行合并,以得到所述原始图像的目标检测结果。

    6.根据权利要求1至3任一项所述的目标检测方法,其特征在于,所述对原始图像进行特征信息提取,得到原始图像特征信息,基于所述原始图像特征信息,生成相应的密度图和分割图包括:

    基于第一预设模型,对原始图像进行特征信息提取,并生成相应的密度图和分割图。

    7.根据权利要求2或3所述的目标检测方法,其特征在于,所述基于各所述最小包围框、所述目标区域密度图和所述原始图像,得到各所述最小包围框所对应的预测目标面积占比包括:

    基于所述目标区域密度图和各所述最小包围框,确定各所述最小包围框的面积、各所述最小包围框内的密度值之和、各所述最小包围框中的密度连通区域的面积;

    基于第二预设模型、各所述最小包围框的面积、各所述最小包围框内的密度值之和、各所述最小包围框中的密度连通区域的面积和所述原始图像的总面积,得到各所述最小包围框所对应的预测目标面积占比。

    8.根据权利要求1至3任一项所述的目标检测方法,其特征在于,所述分别对各所述分块图像进行目标检测包括:

    基于第三预设模型,分别对各所述分块图像进行目标检测。

    9.一种目标检测装置,其特征在于,包括:

    提取单元,用于对原始图像进行特征信息提取,得到原始图像特征信息;

    第一生成单元,用于基于所述原始图像特征信息,生成相应的密度图和分割图;

    第二生成单元,用于基于所述分割图,确定所述原始图像中的目标区域,并基于所述目标区域和所述密度图,生成目标区域密度图,其中,所述目标区域为所述分割图中亮度值大于第一预设值的点所构成的区域,所述目标区域密度图为仅包含所述目标区域的密度信息的密度图;

    裁剪单元,用于基于所述目标区域密度图,从所述原始图像中裁剪出与目标区域密度图相关的分块图像;

    目标检测单元,用于分别对各所述分块图像进行目标检测,以输出各所述分块图像所对应的目标检测结果。

    10.一种目标检测装置,其特征在于,包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现权利要求1至8任一项所述方法的步骤。

    技术总结
    本申请提供一种目标检测方法及相关装置,涉及图像识别技术领域,该目标检测方法包括:对原始图像进行特征信息提取,得到原始图像特征信息;基于原始图像特征信息,生成相应的密度图和分割图;基于分割图,确定原始图像中的目标区域,并基于目标区域和密度图,生成目标区域密度图;基于目标区域密度图,从原始图像中裁剪出与目标区域密度图相关的分块图像;分别对各分块图像进行目标检测,以输出各分块图像所对应的目标检测结果。基于本申请的技术方案,可有效提高目标检测的准确性。

    技术研发人员:段成真;王鸿鹏;张驰;魏志伟;屈思莹
    受保护的技术使用者:哈尔滨工业大学(深圳)
    技术研发日:2020.12.18
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-19214.html

    最新回复(0)