基于模糊核估计的多光谱图像融合成像方法及系统与流程

    专利2022-07-08  100


    本发明涉及多光谱图像融合方法,具体涉及一种基于模糊核估计的多光谱图像融合成像方法及系统。



    背景技术:

    遥感卫星多光谱图像包含从可见光到近红外等多个光谱波段,拥有丰富的地物光谱信息,已被广泛应用于自然灾害监测、农作物检测、矿产勘探和土地资源调查等领域。然而,因为受限于成像传感器制造工艺、硬件成本和卫星体积重量,目前多光谱遥感卫星的成像器件仅能获取低空间分辨率的多光谱图像和高空间分辨率的全色(灰度)图像。为了获取高空间分辨率多光谱图像,融合低空间分辨率多光谱图像和高空间分辨率全色图像是一种有效解决方法。现有基于深度学习的多光谱图像融合方法往往采用固定的空间模糊核模糊并下采样卫星获取的低空间分辨率多光谱图像和高空间分辨率全色图像来构建训练数据集。然而固定的空间模糊核往往与卫星实际的点扩散函数不符,而错误的空间模糊核会极大地削弱深度模型的图像融合性能,导致融合的多光谱图像细节不清晰、光谱保真度低。因此,需要一种高效的多光谱与全色图像的空间模糊核估计与融合方法。



    技术实现要素:

    本发明要解决的技术问题:针对现有技术的上述问题,提供一种基于模糊核估计的多光谱图像融合成像方法及系统,本发明可高效重建出高空间分辨率多光谱图像,能够应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

    为了解决上述技术问题,本发明采用的技术方案为:

    一种基于模糊核估计的多光谱图像融合成像方法,包括:

    1)获取多光谱图像和全色图像;

    2)将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络,得到融合后的多光谱图像,所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系,且训练全色与多光谱图像深度融合网络时采用的训练数据集为基于光谱模糊核构建的融合训练数据集。

    可选地,步骤2)中全色与多光谱图像深度融合网络得到融合后的多光谱图像的步骤包括:

    2.1)通过一个缩放层对多光谱图像进行放大操作;

    2.2)通过一个第一卷积层分别对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取;

    2.3)通过一个特征堆叠层将对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取得到的初始特征堆叠在一起得到堆叠特征;

    2.4)通过级联的六个第二卷积层对堆叠特征进行深度特征提取得到深度特征;

    2.5)将深度特征、对进行放大操作后的多光谱图像进行初始特征提取得到的初始特征相加得到融合特征,通过一个第三卷积层对融合特征重建出高空间分辨率的多光谱图像。

    可选地,步骤2.1)中进行放大操作采用的操作为双立方插值操作,且放大倍数为s

    可选地,步骤2.2)中第一卷积层包含64个3×3大小的卷积核。

    可选地,步骤2.4)中的每一个第二卷积层均包含64个3×3大小的卷积核。

    可选地,步骤2)之前还包括训练全色与多光谱图像深度融合网络的步骤:

    s1)输入融合训练数据集;

    s2)将训练数据集送入全色与多光谱图像深度融合网络,通过最小化如下绝对值差函数来优化网络参数完成对全色与多光谱图像深度融合网络的训练;

    上式中,n为融合训练数据集{yi,zi,yi}中的样本数量,net表示全色与多光谱图像深度融合网络,θ为全色与多光谱图像深度融合网络的网络参数,yi为融合训练数据集中将原始的多光谱图像y经过裁剪得到的64×64的第i个小块。

    可选地,步骤s1)中构建融合训练数据集{yi,zi,yi}的步骤包括:

    s1.1)获取多光谱图像y和全色图像z;

    s1.2)建立多光谱图像y和全色图像z的空间和光谱联系,并根据多光谱图像y和全色图像z的空间和光谱联系构建无监督的模糊核学习网络;

    s1.3)将多光谱图像y带重叠地裁剪得到的16×16的小块{yi},将全色图像z带重叠地裁剪得到的64×64的小块{zi},并构建训练数据集{yi,zi};将训练数据集{yi,zi}输入模糊核学习网络进行学习,得到空间模糊核和光谱模糊核;

    s1.4)利用空间模糊核将原始的多光谱图像y进行模糊和下采样得到的多光谱图像y,利用空间模糊核将原始的全色图像z经过模糊和下采样得到的全色图像z;将得到的多光谱图像y带重叠地裁剪得到的16×16的小块{yi},将得到的全色图像z带重叠地裁剪得到的64×64的小块{zi},将原始的多光谱图像y经过裁剪得到的64×64的小块{yi},最终得到构建的融合训练数据集{yi,zi,yi}。

    此外,本发明还提供一种基于模糊核估计的多光谱图像融合成像系统,包括相互连接的微处理器和存储器,所述微处理器被编程或配置以执行所述基于模糊核估计的多光谱图像融合成像方法的步骤。

    此外,本发明还提供一种基于模糊核估计的多光谱图像融合成像系统,包括相互连接的微处理器和存储器,所述存储器中存储有被编程或配置以执行所述基于模糊核估计的多光谱图像融合成像方法的计算机程序。

    此外,本发明还提供一种计算机可读存储介质,该计算机可读存储介质中存储有被编程或配置以执行所述基于模糊核估计的多光谱图像融合成像方法的计算机程序。

    和现有技术相比,本发明具有下述优点:本发明方法包括获取多光谱图像和全色图像;将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络,得到融合后的多光谱图像,所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系,本发明可高效重建出高空间分辨率多光谱图像,能够应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

    附图说明

    图1为本发明实施例方法的基本流程示意图。

    图2为本发明实施例中全色与多光谱图像深度融合网络的结构示意图。

    图3为本发明实施例中全色与多光谱图像深度融合网络的训练流程示意图。

    图4为本发明实施例中模糊核学习网络的结构示意图。

    具体实施方式

    为了便于本领域普通技术人员理解和实施本发明,下面结合附图对本发明作进一步详细描述,应当理解,此处所描述的实施例仅用于说明和解释本发明,并不用于限定本发明。

    如图1所示,本实施例基于模糊核估计的多光谱图像融合成像方法包括:

    1)获取多光谱图像和全色图像;

    2)将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络,得到融合后的多光谱图像,所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系,且训练全色与多光谱图像深度融合网络时采用的训练数据集为基于光谱模糊核构建的融合训练数据集。

    参见图2,本实施例步骤2)中全色与多光谱图像深度融合网络得到融合后的多光谱图像的步骤包括:

    2.1)通过一个缩放层对多光谱图像进行放大操作;

    2.2)通过一个第一卷积层分别对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取;

    2.3)通过一个特征堆叠层将对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取得到的初始特征堆叠在一起得到堆叠特征;

    2.4)通过级联的六个第二卷积层对堆叠特征进行深度特征提取得到深度特征;

    2.5)将深度特征、对进行放大操作后的多光谱图像进行初始特征提取得到的初始特征相加得到融合特征,通过一个第三卷积层对融合特征重建出高空间分辨率的多光谱图像。

    本实施例中,步骤2.1)中进行放大操作采用的操作为双立方插值操作,放大倍数为s。缩放层对多光谱图像进行放大操作的操作可描述为:

    上式中,yi′表示放大操作后的多光谱图像,yi表示放大操作前的多光谱图像,bic表示对输入图像做双立方插值操作。

    本实施例中,步骤2.2)中第一卷积层包含64个3×3大小的卷积核。通过一个第一卷积层分别对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取可描述为:

    上式中,y1为针对放大操作后的多光谱图像yi′提取得到的初始特征,yi′表示放大操作后的多光谱图像,σ为激活函数(本实施例中使用修正线性单元relu作为激活函数),w1yb1y分别为第一卷积层对进行放大操作后的多光谱图像进行初始特征的权重及偏置量,w1zb1z分别为第一卷积层对全色图像进行初始特征的权重及偏置量,z1为针对全色图像zi提取得到的初始特征。

    本实施例中,步骤2.3)通过一个特征堆叠层将对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取得到的初始特征堆叠在一起得到堆叠特征,可以表示为:

    上式中,f1为提取到的堆叠特征,y1为针对放大操作后的多光谱图像yi′提取得到的初始特征,z1为针对全色图像zi提取得到的初始特征,c表示特征堆叠操作。

    本实施例中,步骤2.4)中的每一个第二卷积层均包含64个3×3大小的卷积核。通过级联的六个第二卷积层对堆叠特征进行深度特征提取得到深度特征可以表示为:

    上式中,f2为提取到的深度特征,f1为堆叠特征,σ为激活函数(本实施例中使用修正线性单元relu作为激活函数),w2~w7分别为六个第二卷积层的权重,b2~b7分别为六个第二卷积层的偏置量,且其中最后一个第二卷积层(下标为2)未加激活函数σ

    本实施例中,步骤2.5)将深度特征、对进行放大操作后的多光谱图像进行初始特征提取得到的初始特征相加得到融合特征,通过一个第三卷积层对融合特征重建出高空间分辨率的多光谱图像,该过程可以描述为:

    上式中,x为重建出高空间分辨率的多光谱图像,f2为提取到的深度特征,y1为针对放大操作后的多光谱图像yi′提取得到的初始特征,σ为激活函数(本实施例中使用修正线性单元relu作为激活函数),w8为第三卷积层的权重,b8为第三卷积层的偏置量。

    本实施例中的全色与多光谱图像深度融合网络首先分别对输入低空间分辨率多光谱图像和高空间分辨率的全色图像进行缩放和初始特征提取;然后堆叠所提取的特征并串联多个卷积层实现深度残差特征提取;最终利用一个卷积层重建出高空间分辨率多光谱图像。

    如图3所示,本实施例步骤2)之前还包括训练全色与多光谱图像深度融合网络的步骤:

    s1)输入融合训练数据集;

    s2)将融合训练数据集送入全色与多光谱图像深度融合网络,通过最小化如下绝对值差函数来优化网络参数完成对全色与多光谱图像深度融合网络的训练;

    上式中,n为融合训练数据集{yi,zi,yi}中的样本数量,net表示全色与多光谱图像深度融合网络,θ为全色与多光谱图像深度融合网络的网络参数,yi为融合训练数据集中将原始的多光谱图像y经过裁剪得到的64×64的第i个小块。

    参见图3,融合训练数据集的构建步骤包括:

    s1.1)获取多光谱图像y和全色图像z;

    本实施例中,卫星获取的低空间分辨率的多光谱图像y可表示为:

    上式中,w为低空间分辨率多光谱图像的宽,h为低空间分辨率多光谱图像的高,l为低空间分辨率多光谱图像的波段数量,w为高空间分辨率全色图像的宽,h为高空间分辨率全色图像的高。

    全色图像z可表示为:

    上式中,w为高空间分辨率全色图像的宽,h为高空间分辨率全色图像的高。

    多光谱图像y和全色图像z的退化模型可以表示为:

    上式中,x为理想的高空间分辨率多光谱图像,c为多光谱图像y的空间模糊核,r为全色图像z的光谱模糊核,*为空间卷积操作,↓spectral代表空间模糊及下采样操作(采样倍率为ss=w/w),↓spatial代表光谱模糊及下采样操作(采样倍率为ss=w/w)。

    理想的高空间分辨率多光谱图像x可以表示为:

    多光谱图像y的空间模糊核c一般为高斯核,即满足:

    上式中,c(u,v,σ)表示空间模糊核c,其中(u,v)表示模糊核中位置坐标,k为模糊核中心到边界的距离,σ为高斯核的标准差。

    全色图像z的光谱模糊核r满足:

    上式中,ri为光谱模糊核r中的第i个元素,l光谱模糊核r中的元素个数。

    s1.2)建立多光谱图像y和全色图像z的空间和光谱联系,并根据多光谱图像y和全色图像z的空间和光谱联系构建无监督的模糊核学习网络;

    本实施例中建立多光谱图像y和全色图像z的空间和光谱联系是指分别利用多光谱图像y的空间模糊核c、全色图像z的光谱模糊核r做光谱和空间下采样,该过程可描述为:

    上式中,y′为多光谱图像y做光谱和空间下采样得到的结果,z′为全色图像z做光谱和空间下采样得到的结果。

    代入多光谱图像y和全色图像z的退化模型,则有:

    考虑到空间模糊及下采样与光谱模糊并下采样这两个过程是独立的,我们可以获得多光谱图像y和全色图像z的空间和光谱联系的等式关系如下:

    上式将用来构建模糊核学习网络,因为上式仅利用原始多光谱和全色图像,故求解模糊核的过程是无监督的。

    本实施例中,步骤s1.2)中构建无监督的模糊核学习网络如图4所示,该模糊核学习网络为轻量级网络,仅包含一个全连接层和一个卷积层,其中全连接层和卷积层的权重即为待优化的光谱和空间模糊核,通过构建结构损失,优化得到空间模糊核和光谱模糊核。其中:

    全连接层用于对输入的多光谱图像做光谱下采样,该全连接层仅包含1个节点,无偏置,其可学习权重参数大小为1,l为多光谱图像通道数,该参数即为待优化的光谱模糊核r。

    卷积层(带步长)用于对输入的全色图像做空间下采样,步长为s,该卷积层仅包含一个卷积核,即为待求解的空间模糊核c,该卷积核有两个待优化参数,即模糊核大小(模糊核中心到边界的距离)k和高斯核的标准差σ。考虑到模糊核大小k为离散量,为了使其可优化,即求解是可导的。我们引入插值操作,使得k处处可导,其表达式如下:

    上式中,ck表示待求解模糊核,kf=k-[k],k表示模糊核大小,[k]表示取整操作,c[k]表示待求解模糊核下边界模糊核,c[k] 1表示待求解模糊核上边界模糊核。

    s1.3)将多光谱图像y带重叠地裁剪得到的16×16的小块{yi},将全色图像z带重叠地裁剪得到的64×64的小块{zi},并构建训练数据集{yi,zi};将训练数据集{yi,zi}输入模糊核学习网络进行学习,得到空间模糊核和光谱模糊核;

    将训练数据集{yi,zi}输入模糊核学习网络进行学习时,考虑到实际遥感卫星的多光谱图像与全色图像的波段覆盖范围可能不同,所以这里选择ssim(structuralsimilarityindex)作为损失函数。该损失函数loss可表示为:

    上式中,y′为多光谱图像y做光谱和空间下采样得到的结果,z′为全色图像z做光谱和空间下采样得到的结果,k为模糊核大小,λ为正则项,正则项λ用于避免过大的空间模糊核引起的恢复图像的结构失真,本实施例中正则项λ取值为1e-5。

    s1.4)利用空间模糊核将原始的多光谱图像y进行模糊和下采样得到的多光谱图像y,利用空间模糊核将原始的全色图像z经过模糊和下采样得到的全色图像z;将得到的多光谱图像y带重叠地裁剪得到的16×16的小块{yi},将得到的全色图像z带重叠地裁剪得到的64×64的小块{zi},将原始的多光谱图像y经过裁剪得到的64×64的小块{yi},最终得到构建的融合训练数据集{yi,zi,yi}。

    本实施例中,利用光谱模糊核将原始的多光谱图像y进行模糊和下采样得到的多光谱图像y时,采样步长为s(本实施例中取值为4)。该过程可描述为:

    上式中,y为利用光谱模糊核将原始的多光谱图像y进行模糊和下采样得到的多光谱图像,c为多光谱图像y的空间模糊核,↓space代表利用光谱模糊核进行模糊和下采样操作。

    利用光谱模糊核将原始的全色图像z经过模糊和下采样得到的全色图像z时,采样步长为s(本实施例中取值为4)。该过程可描述为:

    上式中,z为利用光谱模糊核将原始的全色图像z经过模糊和下采样得到的全色图像,c为多光谱图像y的空间模糊核,↓space代表利用光谱模糊核进行模糊和下采样操作。

    参见前文步骤s1.1)~s1.4)可知,本实施例方法通过分析原始低空间分辨率多光谱图像与高空间分辨率全色图像的内在联系,准确学习得到空间模糊核,保证多光谱图像融合网络的泛化能力,有效保证融合图像的质量,极大提升其空间分辨率和光谱保真度,具有广阔的应用前景和巨大的实用价值。

    为了对本实施例基于模糊核估计的多光谱图像融合成像方法进行验证,本实施例中在高分二号遥感卫星数据上开展,使用的图像数据由中国高分二号卫星成像于2017年3月2日,成像区域为长沙地区,数据包含一幅大小为27620×29200的全色图像和一幅大小为6908×7300的多光谱图像。我们将原多光谱图像作为参考图像,分别对其做空间和光谱下采样得到模拟的多光谱和全色图像,也就是待融合图像,方便指标比对。在模糊核估计网络中,训练采用adam优化器,学习率设置为0.01。在后面的全色与多光谱图像深度融合网络中,训练同样采用adam优化器,学习率设置为5×10-4。实验采用均方根误差(rootmeansquareerror,简称rmse,值越小越好)、光谱角图(spectralanglemapper,简称sam,值越小越好)、互相关性(crosscorrelation,简称cc,值越大越好)和无量纲误差(erreurrelativeglobaleadimensionnelledesynthese,简称ergas,值越小越好)作为参考指标,结合与b.aiazzi、g.masi提出的融合方法作为对比,最终得到的实验结果如表1所示。

    表1:不同方法在高分二号数据上的效果对比。

    由表1可知,本实施例方法与b.aiazzi、g.masi提出的融合方法相比,在各个指标上均有优势,因此可确定本实施例基于模糊核估计的多光谱图像融合成像方法能够更好地重建出高空间分辨率多光谱图像。

    综上所述,为了解决上述多光谱图像模糊核估计与融合难题,本实施例提供了一种基于模糊核估计的多光谱图像融合成像方案,通过充分考虑低空间分辨率多光谱图像与高空间分辨率全色图像的内在联系,构建轻量级模糊核估计网络,训练学习得到准确的空间模糊核和光谱模糊核;进而利用学习到的空间模糊核模糊和下采样原始低空间分辨率多光谱图像和高空间分辨率全色图像来构建融合训练集,训练深度多光谱图像融合网络;最后将原始低空间分辨率多光谱图像和高空间分辨率全色图像输入已训练完成的多光谱图像融合网络,得到高空间分辨率多光谱图像。本实施例提出的方法可无监督学习得到空间模糊核,进而高效重建出高空间分辨率多光谱图像,且与现有b.aiazzi、g.masi提出的融合方法相比,本实施例方法能够更好地重建出高空间分辨率多光谱图像,科广泛应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

    此外,本实施例还提供一种基于模糊核估计的多光谱图像融合成像系统,包括相互连接的微处理器和存储器,所述微处理器被编程或配置以执行前述基于模糊核估计的多光谱图像融合成像方法的步骤。

    此外,本实施例还提供一种基于模糊核估计的多光谱图像融合成像系统,包括相互连接的微处理器和存储器,所述存储器中存储有被编程或配置以执行前述基于模糊核估计的多光谱图像融合成像方法的计算机程序。

    此外,本实施例还提供一种计算机可读存储介质,该计算机可读存储介质中存储有被编程或配置以执行前述基于模糊核估计的多光谱图像融合成像方法的计算机程序。

    本领域内的技术人员应明白,本申请的实施例可提供为方法、系统、或计算机程序产品。因此,本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可读存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

    应当理解的是,本说明书未详细阐述的部分均属于现有技术。

    应当理解的是,本发明的应用范围适用但不限于多光谱图像模糊核估计以及融合等图像处理领域。上述针对较佳实施例的描述较为详细,并不能因此而认为是对本发明专利保护范围的限制,本领域的普通技术人员在本发明的启示下,在不脱离本发明权利要求所保护的范围情况下,还可以做出替换或变形,均落入本发明的保护范围之内,本发明的请求保护范围应以所附权利要求为准。


    技术特征:

    1.一种基于模糊核估计的多光谱图像融合成像方法,其特征在于,包括:

    1)获取多光谱图像和全色图像;

    2)将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络,得到融合后的多光谱图像,所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系,且训练全色与多光谱图像深度融合网络时采用的训练数据集为基于空间模糊核和光谱模糊核构建的融合训练数据集;

    步骤2)之前还包括训练全色与多光谱图像深度融合网络的步骤:

    s1)输入融合训练数据集;

    s2)将训练数据集送入全色与多光谱图像深度融合网络,通过最小化如下绝对值差函数来优化网络参数完成对全色与多光谱图像深度融合网络的训练;

    上式中,n为融合训练数据集中的样本数量,net表示全色与多光谱图像深度融合网络,θ为全色与多光谱图像深度融合网络的网络参数,yi为融合训练数据集中将原始的多光谱图像y经过裁剪得到的64×64的第i个小块;所述融合训练数据集的构建步骤包括:

    s1.1)获取多光谱图像y和全色图像z;

    s1.2)建立多光谱图像y和全色图像z的空间和光谱联系,并根据多光谱图像y和全色图像z的空间和光谱联系构建无监督的模糊核学习网络;

    s1.3)将多光谱图像y带重叠地裁剪得到的16×16的小块{yi},将全色图像z带重叠地裁剪得到的64×64的小块{zi},并构建训练数据集{yi,zi};将训练数据集{yi,zi}输入模糊核学习网络进行学习,得到空间模糊核和光谱模糊核;

    s1.4)利用空间模糊核将原始的多光谱图像y进行模糊和下采样得到的多光谱图像y,利用空间模糊核将原始的全色图像z经过模糊和下采样得到的全色图像z;将得到的多光谱图像y带重叠地裁剪得到的16×16的小块{yi},将得到的全色图像z带重叠地裁剪得到的64×64的小块{zi},将原始的多光谱图像y经过裁剪得到的64×64的小块{yi},最终得到构建的融合训练数据集{yi,zi,yi}。

    2.根据权利要求1所述的基于模糊核估计的多光谱图像融合成像方法,其特征在于,步骤2)中全色与多光谱图像深度融合网络得到融合后的多光谱图像的步骤包括:

    2.1)通过一个缩放层对多光谱图像进行放大操作;

    2.2)通过一个第一卷积层分别对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取;

    2.3)通过一个特征堆叠层将对输入的全色图像、进行放大操作后的多光谱图像进行初始特征提取得到的初始特征堆叠在一起得到堆叠特征;

    2.4)通过级联的六个第二卷积层对堆叠特征进行深度特征提取得到深度特征;

    2.5)将深度特征、对进行放大操作后的多光谱图像进行初始特征提取得到的初始特征相加得到融合特征,通过一个第三卷积层对融合特征重建出高空间分辨率的多光谱图像。

    3.根据权利要求2所述的基于模糊核估计的多光谱图像融合成像方法,其特征在于,步骤2.1)中进行放大操作采用的操作为双立方插值操作,且放大倍数为s

    4.根据权利要求2所述的基于模糊核估计的多光谱图像融合成像方法,其特征在于,步骤2.2)中第一卷积层包含64个3×3大小的卷积核。

    5.根据权利要求2所述的基于模糊核估计的多光谱图像融合成像方法,其特征在于,步骤2.4)中的每一个第二卷积层均包含64个3×3大小的卷积核。

    6.一种基于模糊核估计的多光谱图像融合成像系统,包括相互连接的微处理器和存储器,其特征在于,所述微处理器被编程或配置以执行权利要求1~5中任意一项所述基于模糊核估计的多光谱图像融合成像方法的步骤。

    7.一种基于模糊核估计的多光谱图像融合成像系统,包括相互连接的微处理器和存储器,其特征在于,所述存储器中存储有被编程或配置以执行权利要求1~5中任意一项所述基于模糊核估计的多光谱图像融合成像方法的计算机程序。

    8.一种计算机可读存储介质,其特征在于,该计算机可读存储介质中存储有被编程或配置以执行权利要求1~5中任意一项所述基于模糊核估计的多光谱图像融合成像方法的计算机程序。

    技术总结
    本发明公开了一种基于模糊核估计的多光谱图像融合成像方法及系统,本发明方法包括获取多光谱图像和全色图像;将多光谱图像和全色图像输入预先训练好的全色与多光谱图像深度融合网络,得到融合后的多光谱图像,所述全色与多光谱图像深度融合网络被预先训练建立了多光谱图像、全色图像两者和融合后的多光谱图像的映射关系,且训练全色与多光谱图像深度融合网络时采用的训练数据集为基于空间模糊核和光谱模糊核构建的融合训练数据集,本发明可高效重建出高空间分辨率多光谱图像,能够应用于遥感卫星自然灾害监测、农作物检测、矿产勘探和土地资源调查等实际应用领域。

    技术研发人员:李树涛;郭安静;甘甫平;李集林
    受保护的技术使用者:湖南大学
    技术研发日:2021.02.05
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-16606.html

    最新回复(0)