本发明属于遥感图像处理、变化检测，特别涉及一种基于深度学习的遥感图像变化检测方法。
背景技术：
1、遥感图像变化检测是遥感图像处理的一个重要方向，遥感图像变化检测本质上就是检测地表在不同时相上的变化信息，是从不同时期的遥感数据中定量分析和确定地表变化的特征与过程，在灾害评估、城市规划、农业调查、资源管理和环境监测等应用中具有重要意义。遥感图像变化检测的方法通常分为基于度量的和基于分类的。基于度量的变化检测方法通常将双时相特征投影到潜在特征空间。在这个空间中，变化被表示为特征对之间的相关性，可以通过对比损失和骰子损失等度量来衡量。基于分类的方法与一些多模态方法接近，采用融合策略生成变化特征图，从而将变化检测问题转化为分类问题。
2、近年来，深度学习技术在遥感图像变化检测中得到了广泛应用。深度学习技术可以自动地学习和提取图像中的特征，使得目标检测更加准确和自动化。常用的深度学习技术包括卷积神经网络(cnn)、循环神经网络(rnn)、长短期记忆网络(lstm)等。这些技术可以应用于时间序列的遥感影像中，以检测地物目标的长期变化或短期变化。基于深度学习的变化检测模型几乎是基于分类的，changestar方法用单时相数据构建伪双时间图像对，以避免标记成对数据的高成本，并使用双时相方法来防止过拟合单一时相。bit方法将双时相特征切片连接为令牌，并通过自注意力对整个输入序列进行操作，以对长程信息进行建模。changeformer方法使用基于纯transformer和参数共享网络来从配准的图像中获取特征。idet方法用transformer迭代地增强变化区域，从而优化他们检测到的变化。
3、上述方法在遥感图像变化检测领域已经取得一定成效，但仍面临以下问题：(1)传统遥感图像变化检测方法可以在一些简单场景中获得良好的效果，但在复杂场景中通常表现不佳。(2)变化前后的图像在环境光照，拍摄角度，成像细节，背景环境上均会发生大量的变化。因此存在特征提取不充分，未充分考虑特征提取阶段变化前后特征交互的问题。(3)遥感变化检测领域样本获取、标注困难，样本量较少等原因，难样本问题比较突出，合适的像素级、特征级难样本挖掘方法依然有待进一步研究。
技术实现思路
1、本发明的目的在于克服现有遥感差异检测技术中所存在的特征提取不充分，未充分考虑特征提取阶段变化前后特征的交互，对困难样本和边缘信息的注意力度不够，样本量少而导致的检测困难，算法过拟合的问题。为了实现上述发明目的，本发明提供一种基于深度学习的遥感图像变化检测方法，所述方法包括：
2、s1:从双时相遥感图像中提取原始图像的多尺度双时相特征；
3、s2:将所述多尺度双时相特征输入到双分支交叉注意力模块中，构建神经网络嵌入表示，并计算每一对神经网络嵌入表示之间的注意力，并通过残差连接来获得增强后的多尺度双时相特征；
4、s3:采用具有同步时相及尺度融合模块的多尺度变化检测头对所述增强后的多尺度双时相特征进行处理，实现不同时相和尺度特征的同步融合和优化，获得融合特征；
5、s4:对所述融合特征采用卷积头来预测变化掩码，并生成最终掩码图。
6、进一步地，所述s2中引入了双分支交叉注意力模块用以获得增强后的双时相特征，实现了特征提取阶段变化前后的特征交互，提高了双时相特征之间的信息交流，具体实施步骤为：
7、s21:对多尺度双时相特征进行嵌入构建操作，得到用于注意力机制计算的神经网络嵌入表示；
8、s22:对所述神经网络嵌入表示进行注意力机制计算，得到对应的注意力并将其添加回对应的神经网络嵌入表示；
9、s23:对s22中最终得到的神经网络嵌入表示进行嵌入还原操作，使其调整到原始图像特征的分辨率，并利用残差连接将还原后的特征添加到原始图像的多尺度双时相特征中，最终得到增强后的多尺度双时相特征。
10、进一步地，所述神经网络嵌入表示构建操作为：本发明提取的变化前图像的多尺度特征为变化后图像的多尺度特征为h、w和c分别表示图像多尺度特征的高、宽和通道数；对于最高尺度的双时相特征，即第4尺度的特征，直接使用1×1卷积对其进行变换，然后将其形状从(c,h,w)变为(h×w,c)，其中对于较低的3个尺度的双时相特征，使用步长与卷积核大小相同的卷积将其h、w的维度降低然后将其形状从(c,h,w)变为(h×w,c),i∈{1,2,3}，进而构造出四个对应的神经网络嵌入表示；对于变形后的四个神经网络嵌入表示，分别引入与其对应嵌入形状相同的额外神经网络嵌入表示相加，以区分神经网络嵌入表示的时相，最终获得用于注意力机制计算的神经网络嵌入表示epre,i,i∈{1,2,3,4}和epost,i,i∈{1,2,3,4}。
11、进一步地，对所述神经网络嵌入表示epre,i,i∈{1,2,3,4}和epost,i,i∈{1,2,3,4}生成对应的q、k和v，q、k和v分别为查询向量、键向量和值向量；交换同一尺度的神经网络嵌入表示epre,i,i∈{1,2,3,4}和epost,i,i∈{1,2,3,4}的查询向量q，通过注意力机制计算，使用计算所得的注意力对变化前和变化后的神经网络嵌入表示进行增强，获得增强后的神经网络嵌入表示和
12、进一步地，所述嵌入还原操作，其过程为：使用变形函数将所述增强后的神经网络嵌入表示的形状从(h×w,c)变为(c,h,w)，并使用双线性插值上采样和卷积操作来将变形后的神经网络嵌入表示调整为与原始图像的多尺度双时相特征一致的分辨率，然后利用残差连接将增强后的特征添加到原始特征中，最终得到变化前和变化后的图像增强后的双时相多尺度特征f'pre,i,i∈{1,2,3,4}和f'post,i,i∈{1,2,3,4}。
13、进一步地，首先将所述变化前和变化后图像增强后的最高尺度的双时相特征，即第4尺度的多尺度特征f'pre,4和f'post,4进行融合，得到融合特征f4，然后每次从下一较低的尺度选择变化前后的多尺度特征，和当前的融合特征进行同步融合，获得下一尺度的初步融合特征，最后使用一种优化方法optimize(·)对较低的3个尺度的融合特征进行优化，同步融合方法可以公式化为:
14、
15、
16、其中表示optimize(·)方法优化前初步融合特征，fi,i∈{3,2,1}表示optimize(·)方法优化后的融合特征，conv1×1(·)表示卷积函数，upsample(·)表示使用反卷积的上采样操作，cat(·)表示连接操作，优化方法optimize(·)可以公式化为:
17、
18、
19、其中gap(·)表示全局平均池化，linear(·)表示线性变换，conv1×1(·)表示卷积函数。
20、进一步地，设计了一种特征细化方法，在模型训练时对整个网络进行优化，从而提升模型对变化特征的敏感度，增强模型对困难样本的处理能力，具体方法如下：
21、s71:对于融合特征fi,i∈{1,2,3,4}，使用1×1卷积将b×h×w形状的特征映射到1×h×w的特征上；
22、s72:通过采样筛选最不确定点，使用同一尺度的特征来构造困难特征；
23、s73:将困难特征细化为精细预测，并计算精细预测和从真值中以相同方式采样的样本点之间的细化损失，再结合网络的分割损失，计算得到最终损失用以训练变化检测模型，实现对整个网络进行优化。
24、进一步地，所述步骤s72包括：
25、采用非迭代的随机采样生成kn(k>1)个点，从中选取βn个不确定点(β∈[0,1])和(1-β)n个随机点，其中k为采样倍数，n为需要采样的点数，β为不确定点占比，对二元预测结果的不确定得分的计算公式如下：
26、score＝-1×|sigmoid(p)-0.5|；
27、其中p表示候选点，sigmoid(·)为激活函数；
28、依据不确定性得分score的降序排序来选择分数最高的βn个最不确定点，利用采样出来的最不确定点的坐标，在同一尺度的融合特征上使用基于双线性插值的网络采样提取出最不确定点对应的特征，再将这些特征与采样出来的最不确定点利用连接函数进行拼接，从而构造出的特征，称之为困难特征hfi,i∈{1,2,3,4}。
29、进一步地，通过多层感知机将所述困难特征hfi,i∈{1,2,3,4}细化为精细预测rpi,i∈{1,2,3,4}，再使用精细预测rpi,i∈{1,2,3,4}与样本真值中按照对应方式采样的真值点通过二元交叉熵损失计算细化损失本发明用于训练变化检测模型的最终损失l如下：
30、
31、其中为本发明的细化损失，lseg代表网络的分割损失。
32、与现有技术相比，本发明的有益效果：
33、1.本发明将交叉注意力机制引入变化检测架构中，以从多尺度双时相特征中提取高质量信息，充分考虑特征提取阶段变化前后的特征交互，提高了多尺度双时相特征之间的信息交流；
34、2.本发明设计了一种具有同步时相及尺度融合模块的多尺度变化检测头用以融合特征的处理，可以以较低的参数成本实现不同时间和尺度特征的同步融合和优化，较许多基于度量的方法有更好的性能。
1.一种基于深度学习的遥感图像变化检测方法，其特征在于，包括以下步骤：
2.如权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述s2中引入了双分支交叉注意力模块用以获得增强后的多尺度双时相特征，具体实施步骤为：
3.如权利要求2所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述神经网络嵌入表示构建操作为：本发明提取的变化前图像的多尺度特征为变化后图像的多尺度特征为h、w和c分别表示图像多尺度特征的高、宽和通道数；对于最高尺度的双时相特征，即第4尺度的特征，直接使用1×1卷积对其进行变换，然后将其形状从(c,h,w)变为(h×w,c)，其中对于较低的3个尺度的双时相特征，使用步长与卷积核大小相同的卷积将其h、w的维度降低然后将其形状从(c,h,w)变为(h×w,c),i∈{1,2,3}，进而构造出四个对应的神经网络嵌入表示；对于变形后的四个神经网络嵌入表示，分别引入与其对应嵌入形状相同的额外神经网络嵌入表示相加，以区分神经网络嵌入表示的时相，最终获得用于注意力机制计算的神经网络嵌入表示epre,i,i∈{1,2,3,4}和epost,i,i∈{1,2,3,4}。
4.如权利要求3所述的基于深度学习的遥感图像变化检测方法，其特征在于，对所述神经网络嵌入表示epre,i,i∈{1,2,3,4}和epost,i,i∈{1,2,3,4}生成对应的q、k和v，q、k和v分别为查询向量、键向量和值向量；交换同一尺度的神经网络嵌入表示epre,i,i∈{1,2,3,4}和epost,i,i∈{1,2,3,4}的查询向量q，通过注意力机制计算，使用计算所得的注意力对变化前和变化后的神经网络嵌入表示进行增强，获得增强后的神经网络嵌入表示和
5.如权利要求2所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述嵌入还原操作，其过程为：使用变形函数将所述增强后的神经网络嵌入表示的形状从(h×w,c)变为(s,h,w)，并使用双线性插值上采样和卷积操作来将变形后的神经网络嵌入表示调整为与原始图像的多尺度双时相特征一致的分辨率，然后利用残差连接将增强后的特征添加到原始特征中，最终得到变化前和变化后的图像增强后的双时相多尺度特征f'pre,i,i∈{1,2,3,4}和f'post,i,i∈{1,2,3,4}。
6.如权利要求5所述的基于深度学习的遥感图像变化检测方法，其特征在于，首先将所述变化前和变化后图像增强后的最高尺度的双时相特征，即第4尺度的多尺度特征f'pre,4和f'post,4进行融合，得到融合特征f4，然后每次从下一较低的尺度选择变化前后的多尺度特征，和当前的融合特征进行同步融合，获得下一尺度的初步融合特征，最后使用一种优化方法optimize(·)对较低的3个尺度的融合特征进行优化，同步融合方法可以公式化为:
7.如权利要求1所述的基于深度学习的遥感图像变化检测方法，其特征在于，设计了一种特征细化方法对整个网络进行优化，具体实施步骤为：
8.如权利要求7所述的基于深度学习的遥感图像变化检测方法，其特征在于，所述步骤s72包括：
9.如权利要求8所述的基于深度学习的遥感图像变化检测方法，其特征在于，通过多层感知机将所述困难特征hfi,i∈{1,2,3,4}细化为精细预测rpi,i∈{1,2,3,4}，再使用精细预测rpi,i∈{1,2,3,4}与样本真值中按照对应方式采样的真值点通过二元交叉熵损失计算细化损失用于训练变化检测模型的最终损失l如下：
