本发明涉及遥感图像处理,特别是涉及一种基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法。
背景技术:
1、遥感图像目标检测技术旨在定位并识别遥感图像中的感兴趣目标,是遥感图像处理的重要部分。随着图像传感器和航空航天技术的进步,遥感技术得到了迅猛发展,遥感图像包含的信息量日益剧增,这就要求人们开发出更先进的遥感图像目标检测技术与之相适应。
2、与一般的光学图像相比,目标检测问题在遥感光学图像上的问题在于,遥感图像的视野范围较大,导致背景复杂,目标较小。这是遥感光学图像目标检测的难点。当使用卷积神经网络去处理遥感图像的时候,希望卷积神经网络去注意应该注意的地方,而不是什么都关注,而又很难手动调整需要注意的位置。此时,如何让卷积神经网络去自适应的注意重要的物体变得极为重要。
技术实现思路
1、本发明的目的在于提供一种基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,该方法添加全局和局部注意力机制,在传统的遥感光学图像目标检测网络中,添加注意力机制模块,增强目标的鉴别性特征,从而达到节省资源,提升检测精度的目标。
2、实现本发明目的的技术方案为:一种基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,包括:
3、选取遥感图片作为旋转等变网络的输入数据,通过输入网络得到图像的旋转等变特征图;
4、同时使用全局注意力模块和局部注意力模块,将特征图同时输入全局注意力模块和局部注意力模块,分别使用平均池化数据进行卷积得到全局注意力和使用局部通道数据进行卷积得到局部注意力,然后融合全局注意力和局部注意力,提取融合后的全局和局部注意力;
5、从上到下,使特征图依次与上层增强后的特征图融合,获取当前层的局部和全局注意力;对融合后相同方向的特征通道进行相关性建模,将特征局部和全局注意力重排列,作用于融合后的特征图,得到经过全局和局部注意力增强后的特征图;
6、对经过全局和局部注意力增强后的特征图进行特征目标检测,获得特征目标的长、宽和角度,中心点坐标以及所属类别。
7、本发明充分使用全局注意力和局部注意力机制,并将这两种注意力融合,得到全局和局部注意力增强的特征融合模块,以克服遥感目标尺度变化大,遥感图像的视野范围较大,导致背景复杂,目标较小的困难点。在此基础上,结合使用旋转等变卷积网络进行旋转目标检测。最终得到了经全局和局部注意力增强和多尺度融合后的特征图,再在增强后的特征图上进行检测,适用于遥感图像目标检测场景,相较于现有技术,具有以下优点:
8、(1)通过全局和局部注意力,实现在保持旋转等变特征所包含的方向信息不变的情况下对特征通道进行注意力增强。
9、(2)通过先进行全局和局部注意力增强后进行特征融合的方式,将增强后的高层语义信息融合到低层特征图,更好地进行多尺度目标检测,有利于提高检测的精度。
1.一种基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,包括:
2.根据权利要求1所述的全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,所述的选取遥感图片作为旋转等变网络的输入数据,通过输入网络得到图像的旋转等变特征图,具体包括:
3.根据权利要求2所述的基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,全局和局部注意力增强的特征图,计算方法包括:
4.根据权利要求3所述的基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,全局注意力生成公式具体为:
5.根据权利要求4所述的基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,局部注意力生成公式具体为:
6.根据权利要求5所述的基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,全局和局部注意力的融合公式为:
7.根据权利要求3所述的基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,步骤(2)中的特征融合过程具体公式为:
8.根据权利要求7所述的基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,全局和局部注意力与特征图hadamard积过程具体公式为:
9.根据权利要求8所述的基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,步骤(1)中的特征图f′4生成过程具体公式为:
10.根据权利要求9所述的基于全局和局部注意力增强和多尺度特征融合的遥感图像目标检测方法,其特征在于,步骤(3)中的特征图f′n生成过程具体公式为:
