本发明涉及目标检测,尤其涉及一种基于有效特征表示的sar舰船目标检测方法及系统。
背景技术:
1、合成孔径雷达(sar)是一种有源微波成像雷达,是一种主动式高分辨率对地观测系统,在目标重建、目标检测及环境监测等领域都有着广泛的应用。sar图像中舰船自动检测在开展海上舰船监管,维护海洋权益,提高海防预警等领域都有着广阔前景。
2、sar舰船检测主要依赖于sar舰船图像。虽然遥感技术不断成熟,能够获取到的遥感舰船图像越来越多,sar舰船数据规模也日益猛增,但是sar舰船检测仍然面临诸多挑战。舰船与卫星之间的相对运动会导致合成孔径雷达图像失焦,从而造成图像模糊。此外,由于sar图像分辨率相对较低,舰船目标在高分辨率下缺乏丰富的语义信息。特别是在沿海和岛屿地区,海岸附近往往有复杂的结构和岩石,导致目标与背景之间的可区分度较低。这些因素都给sar舰船检测带来了挑战。
3、传统的sar舰船目标检测方法主要基于传统特征对图像进行识别,分为三个步骤:图像的预处理、候选区域提取和最终的判别。但由于传统的方法过于依赖人工,对参数的设置和图像要求高。而且它的适应性和泛化性能力差,易受噪声干扰,难以应对复杂多变的场景,无法满足sar图像舰船目标检测任务的需求。
4、深度学习方法因其优秀的性能被广泛应用于目标检测、目标分类与定位等领域。利用深度学习目标检测算法,可以通过组合多个线性变换,自适应地组合低层特征形成更抽象的高层特征。深度学习目标检测算法对sar舰船图像数据集进行训练及测试时,模型会进行自主调参,极大地减少了因人工造成的误差,也简化了舰船检测的步骤。然而,当sar图像在近岸和岛屿场景中拍摄时,由于目标和背景之间灰度特性的相似性所引起的干扰导致现有的深度学习目标检测算法无法获得满意的检测结果。
技术实现思路
1、为了高效准确地对sar图像舰船目标进行检测,本发明提供一种基于有效特征表示的sar舰船目标检测方法及系统。
2、一方面,本发明提供一种基于有效特征表示的sar舰船目标检测方法,包括:
3、构建sar舰船目标检测网络,包括有效特征提取网络、多分支空间金字塔模块、跨尺度特征融合网络和检测头;
4、将sar舰船训练集输入至所述有效特征提取网络进行特征提取,得到所述sar舰船训练集的三种不同尺度的特征图;其中,所述sar舰船训练集包括预先标注好舰船位置的若干个sar舰船图像;
5、将所述sar舰船训练集的最小尺度的特征图输入至所述多分支空间金字塔模块进行特征增强,得到增强后的最小尺度的特征图;
6、将所述sar舰船训练集的其余两种尺度的特征图和增强后的最小尺度的特征图输入至所述跨尺度特征融合网络进行特征融合,得到三种不同尺度的融合后特征图;
7、将所述sar舰船训练集的三种不同尺度的融合后特征图分别输入至检测头中的三个预测分支,对所述sar舰船目标检测网络进行训练;
8、使用训练好的sar舰船目标检测网络对待测sar舰船进行检测,得到检测结果。
9、进一步地,所述有效特征提取网络包括mobilenetv2模块、cmcvit模块和双向注意力机制模块bam;
10、对应地,针对输入的sar舰船图像,所述有效特征提取网络得到三种不同尺度的特征图的过程具体包括:
11、sar舰船图像依次经过五个mobilenetv2模块和一个cmcvit模块,得到特征图c1;所述特征图c1依次经过一个mobilenetv2模块、一个cmcvit模块和一个bam得到特征图c2;特征图c2依次经过一个mobilenetv2模块和一个cmcvit模块得到特征图c3;其中,特征图c1的尺度>特征图c2的尺度>特征图c3的尺度;所述cmcvit模块由卷积神经网络与visiontransformer结合得到。
12、进一步地,所述cmcvit模块包括依次连接的局部表征模块、全局表征模块和融合模块;
13、在局部表征模块中,对输入的特征图x进行双下采样,然后将获得的两个下采样特征图进行融合,将融合后的特征图通过1×1卷积层,获得局部表征模块的输出特征图xc;
14、在全局表征模块中,将特征图xc展开为无重叠的图像块,然后将每个图像块中相同位置的像素输入至vision transformer的编码模块中进行编码,得到全局空间信息xm,再将所有图像块进行重组还原得到特征图xg,所述特征图xg携带有所述全局空间信息xm;
15、在融合模块中,将特征图xg通过1×1卷积层得到特征图xe,然后将特征图xe和特征图xc拼接,将拼接后的特征图再通过1×1卷积层得到特征图x,将特征图x和特征图x进行融合,得到融合模块的输出。
16、进一步地,在所述bam中,分别在水平方向和垂直方向上对输入的特征图同时执行平均池化和最大池化操作,然后对平均池化操作后的特征图和最大池化操作后的特征图均执行一维卷积,将一维卷积后的两个方向的特征图进行融合得到bam最终的输出。
17、进一步地,所述多分支空间金字塔模块的特征增强过程具体包括:
18、对输入的特征图x进行三次卷积、归一化和激活函数操作后获得特征图x1;
19、按照下述公式对特征图x1进行操作,依次得到特征图y1、y2和y3;
20、yi=concat(conv(yi-1),x1)
21、其中,i=1,2,3;y0=x1;conv(yi-1)表示对特征图yi-1进行空洞卷积,空洞卷积的扩张率按照i值从小到大的顺序依次为5、9和13;
22、将特征图y1、y2和y3进行融合操作获得特征图y4;
23、对特征图y4进行两次卷积,获得特征图y5;
24、将输入的特征图x中引入残差分支,并将经过残差分支的特征与特征图y5行融合获得多分支空间金字塔模块最终的输出。
25、进一步地,所述跨尺度特征融合网络包括自上而下的融合路径和自下而上的融合路径;
26、在所述自上而下的融合路径中,对其余两种尺度的特征图和增强后的最小尺度的特征图均进行卷积,将卷积后的特征图分别记作c'1、c'2和c'3;其中,特征图c'1的尺度>特征图c'2的尺度>特征图c'3的尺度;将特征图c'3进行上采样得到特征图p3,将特征图p3与特征图c'2进行拼接,并将拼接后特征图输入到高效聚合模块ean中融合获得特征图p2,将特征图p2与特征图c'1进行拼接,并将拼接后特征图输入到ean中融合获得特征图p1;
27、在所述自下而上的融合路径中,将特征图p1输入到平均池化和卷积模块apc中进行下采样,将下采样后特征图与特征图p2和其余两种尺度的特征图中的尺度较小的特征图进行融合,将融合后特征图输入到ean中融合获得特征图n2;将特征图n2输入到apc中进行下采样,将下采样后特征图与特征图p3和增强后的最小尺度的特征图进行融合,将融合后特征图输入到ean中融合获得特征图n3;其中,特征图p1的尺度>特征图n2的尺度>特征图n3的尺度。
28、进一步地,所述ean包括5条不同长度的梯度路径,将5条梯度路径的输出进行拼接,并将拼接后特征图依次进行一次darknetconv2d和一次bn_silu操作,得到ean最终的输出;
29、其中,第一条梯度路径上对输入的特征图x不作处理;第二条梯度路径和第三条梯度路径上均将输入的特征图x依次执行一次darknetconv2d和一次bn_silu操作;第四条梯度路径以第三条梯度路径的输出为输入,对该输入依次执行一次darknetconv2d和两次bn_silu操作;第五条梯度路径以第四条路径的输出为输入,对该输入依次执行一次darknetconv2d和两次bn_silu操作。
30、进一步地,所述apc包括第一分支和第二分支,将第一分支和第二分支的输出进行拼接,得到apc最终的输出;
31、其中,在第一分支中,对输入的特征图x依次进行一次avgpooling2d、一次darknetconv2d和一次bn_silu操作;在第二分支中,对输入的特征图循环执行两次darknetconv2d和bn_silu操作。
32、另一方面,本发明提供一种基于有效特征表示的sar舰船目标检测系统,包括:
33、模型构建单元,用于构建sar舰船目标检测网络,包括有效特征提取网络、多分支空间金字塔模块、跨尺度特征融合网络和检测头;
34、特征提取单元,用于将sar舰船训练集输入至所述有效特征提取网络进行特征提取,得到所述sar舰船训练集的三种不同尺度的特征图;其中,所述sar舰船训练集包括预先标注好舰船位置的若干个sar舰船图像;
35、特征增强单元,用于将所述sar舰船训练集的最小尺度的特征图输入至所述多分支空间金字塔模块进行特征增强,得到增强后的最小尺度的特征图;
36、特征融合单元,用于将所述sar舰船训练集的其余两种尺度的特征图和增强后的最小尺度的特征图输入至所述跨尺度特征融合网络进行特征融合,得到三种不同尺度的融合后特征图;
37、训练单元,用于将所述sar舰船训练集的三种不同尺度的融合后特征图分别输入至检测头中的三个预测分支,对所述sar舰船目标检测网络进行训练;
38、检测单元,用于使用训练好的sar舰船目标检测网络对待测sar舰船进行检测,得到检测结果。
39、本发明的有益效果:
40、(1)本发明构建的sar舰船目标检测网络中包括有效特征提取网络、多分支空间金字塔模块和跨尺度特征融合网络。其中有效特征提取网络可以提取不同尺度的特征图,从而实现多种大小的舰船目标检测;多分支空间金字塔池化模块可以扩大特征图的感受野,增强特征表示并解决高层特征丢失目标信息的问题,从而能够有效地聚合特征;跨尺度特征融合网络可以充分利用目标在多尺度特征层中的位置和语义信息,来合并跨尺度特征,从而得到信息丰富的特征图;最终,本发明实施例提供的方法可以高效准确地对sar图像舰船目标进行检测。
41、(2)在有效特征提取网络efenet中嵌入了cmcvit模块,可以提取sar舰船图像中的局部特征和全局特征;其中,局部表征部分中,通过双下采样和融合操作,可以降低在特征提取过程中造成的信息遗漏,并编码特征图的局部空间信息。
42、(3)在有效特征提取网络efenet中嵌入了双向注意力机制bam模块,可以以降低模型参数量并有效提取图像信息。
43、(4)在跨尺度特征融合网络中嵌入了高效聚合模块ean与平均池化和卷积模块apc。其中,ean模块由不同长度的梯度路径设计而成,其通过网络的连续堆叠,可以有效地聚合不同层次的特征信息,提高模型的特征表达能力。同时,ean模块可消除上采样过程中产生的重叠效应,生成最终的特征;apc模块利用平均池化和卷积双重下采样策略设计而成,这种双重下采样策略允许获取更多的多尺度特征信息,平衡全局和局部信息的提取,从而提高模型的性能。
1.一种基于有效特征表示的sar舰船目标检测方法,其特征在于,包括:
2.根据权利要求1所述的一种基于有效特征表示的sar舰船目标检测方法,其特征在于,所述有效特征提取网络包括mobilenetv2模块、cmcvit模块和双向注意力机制模块bam;
3.根据权利要求2所述的一种基于有效特征表示的sar舰船目标检测方法,其特征在于,所述cmcvit模块包括依次连接的局部表征模块、全局表征模块和融合模块;
4.根据权利要求2所述的一种基于有效特征表示的sar舰船目标检测方法,其特征在于,在所述bam中,分别在水平方向和垂直方向上对输入的特征图同时执行平均池化和最大池化操作,然后对平均池化操作后的特征图和最大池化操作后的特征图均执行一维卷积,将一维卷积后的两个方向的特征图进行融合得到bam最终的输出。
5.根据权利要求1所述的一种基于有效特征表示的sar舰船目标检测方法,其特征在于,所述多分支空间金字塔模块的特征增强过程具体包括:
6.根据权利要求1所述的一种基于有效特征表示的sar舰船目标检测方法,其特征在于,所述跨尺度特征融合网络包括自上而下的融合路径和自下而上的融合路径;
7.根据权利要求6所述的一种基于有效特征表示的sar舰船目标检测方法,其特征在于,所述ean包括5条不同长度的梯度路径,将5条梯度路径的输出进行拼接,并将拼接后特征图依次进行一次darknetconv2d和一次bn_silu操作,得到ean最终的输出;
8.根据权利要求6所述一种基于有效特征表示的sar舰船目标检测方法,其特征在于,所述apc包括第一分支和第二分支,将第一分支和第二分支的输出进行拼接,得到apc最终的输出;
9.一种基于有效特征表示的sar舰船目标检测系统,其特征在于,包括:
