本发明涉及图像处理技术领域，具体涉及一种基于边缘放缩修正的全景分割方法。
背景技术：
全景分割适用于目标识别、跟踪、自动驾驶、医学影像处理等各领域，是近年研究的热点。全景分割是2018年何恺明团队提出的新概念，综合了语义分割和实例分割效果。计算机视觉领域提到的分割，指的是针对图中每一个像素，都确定其属于什么类别。语义分割指的是对图像中同类物体能够用同色掩膜标识出来，达到物体的分类，通常整幅图(包括前景和背景)都可以实现用掩膜来标识。而实例分割在此基础上对前景中单个个体，即使是相同种类的也用不同颜色的掩膜标识。全景分割在综合了以上两种分割的基础上，对于图像中的背景部分只做语义分割，而对于图像中物体部分就做实例分割，区分出每一个个体，达到了全景均参与分割的效果。全景分割的热点问题就是如何能够提高分割准确度，使分割结果更加贴合边缘，效果更加真实。然而，现有的全景分割技术没有考虑到边缘整合的情况，导致最终分割效果与实际物体边缘贴合度不高。
技术实现要素：
本发明所要解决的是现有全景分割方法存在图像分割效果不佳的问题，提供一种基于边缘放缩修正的全景分割方法。
为解决上述问题，本发明是通过以下技术方案实现的：
一种基于边缘放缩修正的全景分割方法，包括步骤如下：
步骤1、将输入的原始图像送入resnet-fpn特征提取网络得到图像的多维度共享特征融合图；将多维度共享特征融合图分别送入实例分割分支和语义分割分支中；
步骤2、在实例分割分支中，先找出多维度共享特征融合图的感兴趣区域，再对感兴趣区域进行像素校正，后对像素校正的感兴趣区域使用特征金字塔框架进行预测不同的实例所属分类，得到边界框和实例分割掩码；
步骤3、在语义分割分支中，通过对多维度共享特征融合图的每个像素进行细粒度的推理，得到语义掩码；
步骤4、先对将输入的原始图像进行边缘检测，得到边缘检测图像，再筛除掉边缘检测图像中不连通的边缘，记录剩下的连通边缘；
步骤5、基于步骤2所得到的边界框对步骤4所剩下的连通边缘进行筛选，即将包含在同一个边界框内的连通边缘和与同一个边界框相交的连通边缘作为该边界框所属的选出边缘；
步骤6、对每个边界框所属的每个选出边缘分别进行缩放，即：先将每个选出边缘视为初始边缘；再按照预定的缩放层数n和每层缩放距离k对每个初始边缘进行缩放，得到每个初始边缘的n个缩放边缘；后将每个初始边缘及其n个缩放边缘作为每个边界框所属的候选边缘；
步骤7、对每个边界框所属的所有候选边缘进行筛选，即：先计算每个候选边缘上的所有像素点到所属边界框的中心像素点的平均距离；再选择平均距离最大的候选边缘作为最靠近边界框的候选边缘；后将该最靠近边界框的候选边缘进行缩放恢复后作为每个边界框的目标边缘；
步骤8、对步骤7所得到的每个边界框的目标边缘分别做掩码，得到修正后的实例分割掩码；
步骤9、将步骤8所得到的修正后的实例分割掩码和步骤3所得到的语义掩码进行融合，即在修正后的实例分割掩码基础上加上语义掩码的背景掩码，且在背景掩码与修正后的实例分割掩码的边界部分以修正后的实例分割掩码为准，得到全景分割图像。
上述方案中，同一个边界框所属的所有选出边缘的缩放层数n和每层缩放距离k相同。
上述方案中，不同边界框所属的所有选出边缘的缩放层数n和每层缩放距离k不同。
上述方案中，当边界框越大时，该边界框所属的所有选出边缘的缩放层数n越多，每层缩放距离k越大；当边界框越小时，该边界框所属的所有选出边缘的缩放层数n越少，每层缩放距离k越小。
与现有技术相比，本发明在原全景分割网络添加了一个可以通过边缘筛出细节、补全实例的修正机制，使最终得到的全景分割效果更贴近真实边缘。无需运用学习的方法，仅经过边界框大致定位和限制，再加上边缘的缩放机制，便可以找到目标边缘。根据每个实例对应的边界框确定实例的真实边缘信息，使用该边缘信息对实例分割掩码进行细节修正，最后结合语义分割，形成更优的全景分割掩码。相比于传统的没有边缘修正的全景分割方法，本发明可以提高分割的精度，使得全景分割结果更贴近边缘。相比于仅在边界框内进行边缘修正的全景分割方法，本发明能够考虑到边界框不准确、不完全框住目标实例的情况，使得修正的结果更具有鲁棒性。
附图说明
图1为一种基于边缘放缩修正的全景分割方法的流程图。
具体实施方式
为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实例，对本发明进一步详细说明。
一种基于边缘放缩修正的全景分割方法，如图1所示，其具体包括步骤如下：
(1)将输入的原始图像送入resnet-fpn特征提取网络，基于特征金字塔(fpn)对残差网络(resnet)所提取的多维度特征进行互补融合，得到图像的多维度共享特征融合图，并将多维度共享特征融合图分别送入实例分割分支和语义分割分支中。
(2)在实例分割分支中，首先对多维度共享特征融合图进行检测，找出图像中的感兴趣区域(roi)，对每一个roi使用roialign进行像素校正，然后对每一个roi使用设计的fcn框架进行预测不同的实例所属分类，最终得到图像实例分割效果，得到边界框和实例分割掩码。
(3)在语义分割分支中，通过对多维度共享特征融合图每个像素进行密集的预测、推断标签来实现细粒度的推理，从而使每个像素都被标记为其封闭对象区域的类别，得到语义掩码。
(4)对输入的原始图像进行边缘检测，得到边缘检测图像，筛除掉图像中不连通的边缘，记录剩下的边缘。
(5)基于第(2)步所得到的边界框对第(4)步所得到的边缘进行筛选，将包含在同一个边界框内的边缘和与同一个边界框相交的边缘作为该边界框的选出的边缘，对符合条件的边缘进行按边界框进行分组记录。
(6)在同一个边界框的限制下，对于第(5)步所得到的该边界框的每个边缘进行缩放，对于每个边界框的每个选出边缘：先将该选出边缘视为初始边缘；再按照预定的缩放层数n和每层缩放距离k对该初始边缘进行缩放，得到n个缩放边缘；后将初始边缘及其n个缩放边缘一并保存到该选出边缘的候选边缘集合中。
同一个边界框所属的所有选出边缘的缩放层数n和每层缩放距离k相同。不同边界框所属的所有选出边缘的缩放层数n和每层缩放距离k不同。当边界框越大时，该边界框所属的所有选出边缘的缩放层数n越多，每层缩放距离k越大；当边界框越小时，该边界框所属的所有选出边缘的缩放层数n越少，每层缩放距离k越小；这样我们获得的目标边缘为正确边缘的概率就越大。
对每个边缘进行缩放时，设置10个像素点的欧式距离为一个间隔(即缩放距离k)向内缩放，每分一层记录一次边缘，一共分15层，将该15个边缘和初始边缘一共16个边缘放入该边缘的缩放边缘集合中。在此过程中有两个变量，一个是缩放距离k＝10，一个是缩放层数n＝15。
(7)对属于同一个边界框的所有候选边缘集合内的所有候选边缘：
首先，计算各候选边缘上的所有像素点到所属边界框的中心像素点的平均距离；即先计算每个候选边缘上的各个像素点到所属边界框的中心像素点的距离，然后再将这些距离相加之后除以像素点的个数即得到该候选边缘的候选平均距离。
然后，从所有候选边缘中选择平均距离最大的候选边缘作为最靠近边界框的候选边缘；即相当于找出平均距离最大的边缘所在的缩放边缘集合作为目标候选边缘集合。
最后，将该最靠近边界框的候选边缘进行缩放恢复到初始边缘作为所属边界框的目标边缘；即相当于将上述所找出的目标候选边缘集合中的初始边缘作为目标边缘。
(8)对每个边界框的目标边缘做掩码，将第(2)步所得到的实例分割掩码替换为该目标边缘的掩码，认定该掩码为修正后的实例分割掩码。
(9)将第(8)步所得到的修正后的实例分割掩码和步骤3所得到的语义掩码进行融合，即在修正后的实例分割掩码基础上加上语义掩码的背景掩码，在背景掩码与修正后的实例分割掩码的边界部分以修正后的实例分割掩码为准，得到全景分割图像。
本发明的全景分割着重于分割结果边缘的处理，在全景分割基础上，加上原图边缘检测，采用边缘检测后，我们就可以用边缘信息进行修正，并最终进行边缘匹配使得全景分割的结果更加贴近边缘，得到更真实的效果。本发明使用边缘分组保存和边缘缩放的方法成功解决了边缘和实例匹配的问题，利用并不完全准确的边界框对边界进行确定，方法浅显易懂，不用进行学习，仅运用形态学操作即可，得到目标的边缘即可将之完全替代掩码边界，得出来即为修正后的分割掩码。
需要说明的是，尽管以上本发明所述的实施例是说明性的，但这并非是对本发明的限制，因此本发明并不局限于上述具体实施方式中。在不脱离本发明原理的情况下，凡是本领域技术人员在本发明的启示下获得的其它实施方式，均视为在本发明的保护之内。
1.一种基于边缘放缩修正的全景分割方法，其特征是，包括步骤如下：
步骤1、将输入的原始图像送入resnet-fpn特征提取网络得到图像的多维度共享特征融合图；将多维度共享特征融合图分别送入实例分割分支和语义分割分支中；
步骤2、在实例分割分支中，先找出多维度共享特征融合图的感兴趣区域，再对感兴趣区域进行像素校正，后对像素校正的感兴趣区域使用特征金字塔框架进行预测不同的实例所属分类，得到边界框和实例分割掩码；
步骤3、在语义分割分支中，通过对多维度共享特征融合图的每个像素进行细粒度的推理，得到语义掩码；
步骤4、先对将输入的原始图像进行边缘检测，得到边缘检测图像，再筛除掉边缘检测图像中不连通的边缘，记录剩下的连通边缘；
步骤5、基于步骤2所得到的边界框对步骤4所剩下的连通边缘进行筛选，即将包含在同一个边界框内的连通边缘和与同一个边界框相交的连通边缘作为该边界框所属的选出边缘；
步骤6、对每个边界框所属的每个选出边缘分别进行缩放，即：先将每个选出边缘视为初始边缘；再按照预定的缩放层数n和每层缩放距离k对每个初始边缘进行缩放，得到每个初始边缘的n个缩放边缘；后将每个初始边缘及其n个缩放边缘作为每个边界框所属的候选边缘；
步骤7、对每个边界框所属的所有候选边缘进行筛选，即：先计算每个候选边缘上的所有像素点到所属边界框的中心像素点的平均距离；再选择平均距离最大的候选边缘作为最靠近边界框的候选边缘；后将该最靠近边界框的候选边缘进行缩放恢复后作为每个边界框的目标边缘；
步骤8、对步骤7所得到的每个边界框的目标边缘分别做掩码，得到修正后的实例分割掩码；
步骤9、将步骤8所得到的修正后的实例分割掩码和步骤3所得到的语义掩码进行融合，即在修正后的实例分割掩码基础上加上语义掩码的背景掩码，且在背景掩码与修正后的实例分割掩码的边界部分以修正后的实例分割掩码为准，得到全景分割图像。
2.根据权利要求1所述的一种基于边缘放缩修正的全景分割方法，其特征是，同一个边界框所属的所有选出边缘的缩放层数n和每层缩放距离k相同。
3.根据权利要求2所述的一种基于边缘放缩修正的全景分割方法，其特征是，不同边界框所属的所有选出边缘的缩放层数n和每层缩放距离k不同。
4.根据权利要求3所述的一种基于边缘放缩修正的全景分割方法，其特征是，当边界框越大时，该边界框所属的所有选出边缘的缩放层数n越多，每层缩放距离k越大；当边界框越小时，该边界框所属的所有选出边缘的缩放层数n越少，每层缩放距离k越小。
技术总结