本发明属于光学图像成像，具体涉及一种基于多层级上下文交互的光学遥感图像语义分割方法。
背景技术：
1、随着遥感技术的不断发展和进步，卫星、航空、无人机等遥感平台所采集的遥感图像数据分辨率不断提升，覆盖面积不断提高，使得遥感图像分析成为获取地表信息的重要技术手段。而语义分割是遥感图像处理的重要一环，是遥感领域图像信息提取的基础，也是面向对象的图像分析方法的关键步骤。其分割质量直接影响着后续影像信息的提取，准确及时地从得到的遥感影像中获取地物信息有着实际需求，在生态监测、土地利用分析、地理测绘等多个方面有着重要应用。
2、自全卷积神经网络(fcn)的开创性工作以来，基于深度神经网络的方法在语义分割方面取得了显著成功。现代语义分割方法侧重于改进fcn的劣势，具体来说，为了细化fcn的粗糙预测，研究人员的工作大致可分为两组，一种是设计新的骨干网络以获得更可靠的深层次特征。考虑到深度网络的梯度消失和模型退化问题，he等人提出了一种模块化架构resnet来捕获跨特征交互，并通过利用不同网络分支上的通道注意来学习不同的表示，至今为止其依旧是最广泛使用的骨干网络，同时出现了一些改进工作如resnext、resnest等。
3、另一种是聚合图像的上下文信息实现远程像素依赖建模以缓解fcn中有限接受域的问题。为了获取有效的多尺度上下文信息，pspnet引入spp以捕获包含不同尺度、不同子区域关系的分层全局信息，deeplab系列工作引入空洞卷积和空间金字塔池化(aspp)来捕获多尺度上下文信息；ocrnet将像素依据相关性分组为类别区域，把物体上下文特征表示(ocr)与网络深层特征表示拼接以获取增强的上下文信息；segmenter以transformer(vit)为基础，并将其扩展到语义分割任务进行全局上下文聚合。之后还有一些工作，如isnet提出在经典的像素级聚合方案之外，从语义角度为每个像素挖掘更有价值的上下文信息，以进一步提高像素表示。但isnet的上下文挖掘依旧停留于单张图像内部，之后mcibi注意到更具鉴别性的数据集层级上下文信息，并提出了最早的跨图像上下文信息软挖掘范式。尽管取得了不错的效果，但上述方法均属于基于单一层级(图像级/数据集级)上下文的语义分割方法，精度低。
技术实现思路
1、本发明的技术解决问题是：克服现有技术的不足，提出一种基于多层级上下文交互的光学遥感图像语义分割方法，该方法针对光学遥感图像，突破传统方法仅针对单一图像进行上下文特征提取的限制，解决多层次上下文再合并的方案会导致的信息冲突问题。通过多层级上下文信息之间的有效交互，提取像素间相关性，聚合互补的上下文线索，实现光学图像目标的像素级准确分割。通过记忆力模块聚合数据集级上下文线索作为中介，分别对原始特征表示和粗聚合图像级上下文进行聚合操作，在数据集级上下文线索的交互和引导下，分别学习互补的上下文线索，优化信息共享，获取更有效的多层级上下文特征表达。此外，本发明通过在多个公开光学遥感数据集上进行实验，验证了所提出方法的有效性和鲁棒性。
2、本发明的技术解决方案是：
3、一种基于多层级上下文交互的光学遥感图像语义分割方法，该方法的步骤包括：
4、第一步，对待处理的原始图像以rgb格式进行编码，并将编码后的图像非线性映射到特征空间、并通过瓶颈层后将原始图像特征调整到设定的维度，获得原始像素级语义特征表示r；
5、第二步，提取第一步得到的原始像素级语义特征表示r的类别分布信息，获得数据集级上下文线索
6、第三步，使用第二步得到的数据集级上下文线索对第一步得到的原始像素级语义特征表示r进行调制，以增强原始图像特征的表示能力，最终获得数据集级特征调制聚合的上下文线索
7、第四步，将第一步得到的原始像素级语义特征表示r进行图像级上下文粗聚合，得到图像级上下文粗线索；
8、第五步，将第四步得到的图像级上下文粗线索与第二步得到的数据集级上下文线索进行交互，获取数据集级-图像级上下文交互后的上下文线索
9、第六步，将第五步得到的交互后的上下文线索与第三步得到的调制聚合的上下文线索进行融合，再将融合后的图像特征输入到分类解码器中预测标签，完成基于多层级上下文交互的光学遥感图像语义分割。
10、所述第一步中，待处理的原始图像以rgb格式进行编码后表示为原始像素级语义特征表示其中r的尺寸是r的通道数为c，瓶颈层由一个卷积层实现；h表示图像高度，w表示图像宽度；
11、所述第二步中，提取的类别分布信息其中n(1≤n≤n)代表对应类别，n为总类别数；gt表示类别标签；
12、所述第二步中，获得数据集级上下文线索的方法为：
13、将类别分布信息rn映射为高斯分布，然后存储在n×2的矩阵中，再对n×2的矩阵进行迭代更新，使其趋近于数据集级的高维特征空间表示，参数更新准则如下：
14、
15、
16、其中，ω表示当前迭代次数，μ和σ为均值和标准差，β是一设定的超参数(经验设定为0.1)，表示第n类第ω次迭代获得的类别分布信息，将最近一次迭代后的参数进行存储得到：
17、
18、其中是一个n×2的矩阵，将存储的类别分布信息聚合为数据集级上下文
19、
20、其中是根据均值和方差重构高斯分布并提取尺寸为的矩阵的过程；
21、所述第三步中，进行调制的方法为：
22、(1)计算原始像素级语义特征表示r的权重矩阵wightsr：
23、
24、其中是一解码器，由1×1 conv→bn→relu→dropout→1×1 conv构成，用于预测r中像素表示的类别统计概率，wightsr的矩阵尺寸为
25、(2)计算数据集层级上下文增强的特征表示
26、
27、其中，permute是一个变换函数用于调整矩阵wightsr至设定尺寸和维度表示矩阵乘法；
28、(3)使用细节置信权重distancedo对特征表示进行校准；
29、细节置信权重distancedo为：
30、
31、其中，
32、
33、convr和用于调整每个像素表示的维度，通过卷积层实现，之后使用permute操作调整矩阵尺寸；
34、校准结果为：
35、
36、其中，
37、所述第四步中，图像级上下文粗线索为的大小为
38、所述第五步中，交互后的上下文线索为：
39、
40、其中，是一个的矩阵；
41、
42、
43、
44、的大小为是多层级上下文交互的核心部分，来自数据集层级上下文的粗预测概率分布与粗聚合图像级上下文进行交互；
45、所述第六步中，预测标签
46、其中表示通道拼接，是一个变换函数用于调整输入矩阵的通道数至c，是一个分类器，o是一个大小为n×h×w，存储着每个像素的预测类别概率，n是类别的数目。
47、有益效果：
48、(1)本发明的方法，不同于现有技术通过分离聚合多层级上下文再合并的方案，采用数据集级上下文线索作为中介，分别对原始特征表示和粗聚合图像级上下文进行聚合操作，在数据集级上下文线索的交互和引导下，分别学习互补的上下文线索，优化信息共享，获取更有效的多层级上下文特征表达，有利于获取更精准的目标类别预测标签。
49、(2)本发明的方法，聚合数据集级上下文线索，利用高斯分布的特点简化信息存储方式，突破传统方法仅针对单一图像进行上下文特征提取限制。同时采用数据集级上下文线索作为中介，分别对原始特征表示和粗聚合图像级上下文进行聚合操作，在数据集级上下文线索的交互和引导下，分别学习互补的上下文线索，优化信息共享，获取更有效的多层级上下文特征表达；
50、(3)本发明的方法，考虑数据集级上下文和图像级的上下文的内在相关性，在上下文聚合阶段引入相互交互，获得一致性和兼容性良好的上下文。
51、(4)本发明的方法，利用数据集级上下文线索，自适应地增强原始特征表示的语义信息。
52、(5)本发明的方法，适应遥感场景的密集目标和复杂目标分割，能够在复杂的背景中工作。得益于数据集上下文可以高效补充难分类对象的特征，而图像级上下文可以高效补充小目标和密集目标的空间细节，两者互补可以提升遥感场景语义分割的鲁棒性。
1.一种基于多层级上下文交互的光学遥感图像语义分割方法，其特征在于该方法的步骤包括：
2.根据权利要求1所述的一种基于多层级上下文交互的光学遥感图像语义分割方法，其特征在于：
3.根据权利要求2所述的一种基于多层级上下文交互的光学遥感图像语义分割方法，其特征在于：
4.根据权利要求3所述的一种基于多层级上下文交互的光学遥感图像语义分割方法，其特征在于：
5.根据权利要求4所述的一种基于多层级上下文交互的光学遥感图像语义分割方法，其特征在于：
6.根据权利要求5所述的一种基于多层级上下文交互的光学遥感图像语义分割方法，其特征在于：
7.根据权利要求6所述的一种基于多层级上下文交互的光学遥感图像语义分割方法，其特征在于：
8.根据权利要求7所述的一种基于多层级上下文交互的光学遥感图像语义分割方法，其特征在于：
