本发明涉及高分遥感影像道路提取方法,尤其涉及一种基于rbam注意力机制和rbe loss的高分遥感影像道路提取方法。
背景技术:
1、道路是人们日常生活中常见的基础设施,是地理信息系统中的基本数据,道路信息对导航、制图、城市规划等方面有着重要的作用。相较于传统实地勘测手段,遥感技术具有覆盖范围广、空间分辨率高等诸多优势,目前成为大范围道路信息提取的主要技术手段。伴随着遥感影像空间分辨率的不断提高,丰富的空间细节信息有助于对道路特征的精细刻画;同时,更加突出的“同谱异物”和“同物异谱”问题又带来了新的挑战。目前,基于高分遥感影像的道路提取已经成为遥感技术与应用领域的研究热点。
2、根据是否采用深度神经网络,常用的道路提取方法主要可以分为经典的基于机器学习方法和深度学习方法。经典机器学习方法用户定义的特征,采用支持向量机svm、随机森林算法等分类算法获得提取结果。此类方法尽管对训练样本的数量要求较低,但由用户构建的特征空间通常不够完备且不可避免地存在冗余信息。与之相比,深度学习方法基于神经网络强大的特征提取能力,所构建的高度抽象的特征空间往往具有更好的目标表达能力,因此受到了学者们的广泛重视。如韩玲等提出了一种基于空洞卷积模型(deeplab v3+)的道路提取方法,较好地提取了高分遥感道路影像的边缘信息,达到了较高的提取精度;李代栋等基于残差网络(resnet)基本模型,设计了自适应的spud机制,分别对网络结构、特殊提取机制和损失函数进行改进,提高了模型整体的道路提取能力;ge(z.ge,y.zhao,j.wang,d.wang and q.si,"deep featurb-rbview transmit network of contour-enhanced road extraction from rbmote sensing images,"in ieee geoscience andrbmote sensing letters,vol.19,pp.1-5,2022,art no.3001805,doi:10.1109/lgrs.2021.3061764)等提出了一种新的加强轮廓学习的深度特征审查网络(transnet),较好地解决了道路提取中连通性较差的问题。特别地,由于具有结构简单,改造性强及训练速度快,且在少量训练样本情况下也能获得较好的鲁棒性等特点,u-net已经成为一种非常流行的基础网络。例如,王斌等利用u-net网络多次训练以获得最优模型,然后利用多项式拟合方法对道路断线进行修复,提高了道路提取的完整性;王卓等采用vgg16的编码器结构对u-net的编码器结构进行改进,利用激活函数和随机失活法(dropout)解决了u-net网络容易过拟合的问题。abdol-lahi(abdollahi,a.;pradhan,b.;shukla,n.;chakraborty,s.;alamri,a.multi-object segmentation in complex urban scenes from high-rbsolution rbmote sensing data.rbmote sens.2021,13,3710.)等设计了边界感知损失函数(bal),专注于重叠区域、小对象、复杂对象的语义分割。meng lan(meng lan,yipengzhang,lefei zhang,bo du,global context based automatic road segmentation viadilated convolutional neural network,information sciences,volume 535,2020,pages 156-171,issn 0020-0255,https://doi.org/10.1016/j.ins.2020.05.062)等利用金字塔池化机制(ppm)来捕获多尺度全局上下文特征以提高特征表示能力。
3、上述方法通常一方面忽略了u-net网络在跳跃连接处传递的特征图中包含了大量冗余信息,对道路提取任务造成干扰,导致道路提取不完整;另一方面,随着网络层次的加强,道路分支等弱小道路目标在网络的深层输出特征中将会逐渐消失,导致此类小目标在分类错误时对总损失的影响有限;且道路遥感影像中道路前景与背景极度不平衡,道路分支目标在整体样本中通常占比更小,导致模型对道路分支目标的关注度不够,最终引起道路分支等弱小道路的细节丢失较多,整体提取效果不佳。
技术实现思路
1、发明目的:本发明的目的是提供一种能解决道路提取不完整的问题,降低特征传递时信息冗余的基于rbam注意力机制和rbe loss的高分遥感影像道路提取方法。
2、技术方案:本发明的高分遥感影像道路提取方法,包括步骤如下:
3、s1,在u-net网络基础上,通过在跳跃连接结构处加入rbam注意力机制,构建改进的rbau-net网络结构;
4、s2,选取预提取的高分遥感道路影像作为中间特征图,通过通道注意力机制和空间注意力后得到重构后的增强特征图;
5、s3,通过分析弱小道路的形态学特征,构建自适应的道路类型判定模块;
6、s4,对原始数据集遥感影像样本和标签进行数据增强,包括旋转、缩放、垂直镜像、去噪操作,并将标签数据转换为8位的灰度图像;再将原始数据集中的图像和标签数据扩充为小块遥感影像数据,作为u-net网络的训练样本;采用道路信息补偿的损失函数rbeloss,完成道路类型判定模块对弱小道路目标的学习。
7、进一步,所述u-net网络结构包括:主干特征提取网络、加强特征提取网络、预测网络;
8、所述主干特征提取网络为编码器,编码器采用5层卷积和池化操作进行特征提取,同时逐步降低图像的分辨率,从而获得图像的全局信息;
9、加强特征提取网络为解码器,解码器对特征解码进行还原,与编码器成对称结构,使图像的通道数减半;此外,解码器还直接与来自编码器的同分辨率图像连接。
10、进一步,所述步骤s2的具体实现步骤如下:
11、s21,设输入的一个中间特征图为f∈rc×h×w,将f分别通过通道的最大池化和全局平均池化,得到两个1×1×c的通道描述,其中c为channel,指通道数;h为height,指高度;w为width,指宽度;
12、s22,将步骤s21中的两个通道描述送入一个共享全连接层,将两个特征相加后经过一个sigmoid激活函数得到一个权重系数mc(f);
13、s23,将mc(f)与输入通过残差网络的权重系数res(f)相加,得到残差通道注意力权重系数,与原特征f相乘得到残差通道注意力特征f*:
14、
15、式中,mc()表示通道注意力操作,res()表示残差操作,f*为经过残差通道注意力后的特征值;
16、s24,将f*分别通过空间的最大池化和全局平均池化,得到两个h×w×1的通道描述并按通道拼接在一起;然后通过一个3×3的卷积核,经过sigmoid激活函数得到空间注意力权重系数ms(f);
17、s25,将空间注意力权重系数ms(f)与f*相乘,最终得到通过rbam机制的特征值,如下式所示:
18、
19、式中,ms()表示空间注意力操作,f**为最终输出的重构特征图。
20、进一步,所述步骤s3的具体实现步骤如下:
21、s31,输入一张二值标签影像,设某个道路像素点为p1;
22、s32,对所有道路像素逐像素采用八邻域方法进行归类;
23、s33,将ep作为起点开始判定,沿着与其相邻的cp前进,直到发现另一个ep或crp停止;如果终点为crp,还应判断道路能否沿着同一方向的cp继续延伸,直到发现ep;
24、若连接起点和终点的像素点中包含0-1个交界点,则判定为独立道路或分支道路;否则判定为主干道路;
25、s34,记一条分支道路中所有包含的像素点数量为d,分支路上任意一点i到交界点的路径上包含的像素点为di,将作为道路分支损失权重,记为drb,则有:
26、
27、s35,将损失函数dice loss和focal loss相加,并乘以道路分支损失权重dre,则最终损失函数的形式如下:
28、
29、式中,pi为sigmoid输出的概率,值域为[0,1];αi是类别调节权重因子;γ是难易样本调节权重因子;ti为目标值,非0即1;∈为平滑系数;n为分支路上的总样本数。
30、进一步,所述采用八邻域方法进行归类的规则如下:
31、a1,边缘点ep是指道路的终点像素,此类点为道路的最末端,附近的像素点仅一个;
32、a2,连接点cp是指将道路连接起来的点,此类点有且仅两个相邻点;连接点构成道路的骨干,同时代表道路的方向;
33、a3,交界点crp是指两条及以上道路相交而产生的点,此类点既是主干道路的中继点,又引申出了分支道路。
34、本发明与现有技术相比,其显著效果如下:
35、1、通过引入rbam注意力机制从而调整了跳跃连接时的特征权重,使得网络更好地关注道路边缘信息,解决了道路提取不完整的问题,也降低了特征传递时的信息冗余;
36、2、提出了损失函数rbe loss基于道路信息补偿思想,迫使模型增强对道路分支等弱小道路的学习,从而有效提高了道路提取精度;在基于massachusetts roads的公开数据集进行的多组对比实验中,道路提取整体精度达到了83%以上,同时显著也优于其他对比方法。
1.一种基于rbam注意力机制和rbe loss的高分遥感影像道路提取方法,其特征在于,包括步骤如下:
2.根据权利要求1所述的基于rbam注意力机制和rbe loss的高分遥感影像道路提取方法,其特征在于,所述u-net网络结构包括:主干特征提取网络、加强特征提取网络、预测网络;
3.根据权利要求1所述的基于rbam注意力机制和rbe loss的高分遥感影像道路提取方法,其特征在于,所述步骤s2的具体实现步骤如下:
4.根据权利要求1所述的基于rbam注意力机制和rbe loss的高分遥感影像道路提取方法,其特征在于,所述步骤s3的具体实现步骤如下:
5.根据权利要求4所述的基于rbam注意力机制和rbe loss的高分遥感影像道路提取方法,其特征在于,所述采用八邻域方法进行归类的规则如下: