本发明涉及图像处理技术领域，具体涉及一种图像超分辨率模型训练方法、重建方法及装置。
背景技术：
图像从成像原理上可分为光学图像和非可见光图像两类，其中，非可见光图像在军事、对地遥感观测、农业等领域中有着广泛应用。由于受成像设备的限制，非可见光图像例如：合成孔径雷达(syntheticapertureradar，简称sar)图像，sar成像系统具有诸多优点，比如工作不受时间、气候等条件限制，能穿透一定的地表覆盖，可以远距离进行遥感观测。所以sar图像广泛应用于各个领域，如军事目标的侦察和远程打击、海洋环境监测、地球资源勘探、各种自然灾害的监控等。然而，由于高分辨率成像设备的昂贵以及成像过程中不可抗因素的干扰，实际得到的sar图像经常会因分辨率问题无法满足应用需要为此，当前有大量的研究者通过图像超分辨率技术从低分辨率sar图像近似获得高分辨率sar图像。但是，现有图像超分辨率重建方法大多集中在小尺度放大倍数(如x2)，或中等尺度放大倍数(如x4)，难以适用于大尺度放大倍数的图像超分辨率重建。
技术实现要素：
有鉴于此，本发明实施例提供了一种图像超分辨率模型训练方法、重建方法及装置，以克服现有技术中缺乏适用于大尺度放大倍数的图像超分辨率重建的问题。
根据第一方面，本发明实施例提供了一种图像超分辨率模型训练方法，包括：
获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；
将所述训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；
分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；
基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数；
基于所述损失函数，对所述预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。
可选地，所述预设图像超分辨率模型通过如下方式建立：
获取预设图像超分辨率模型的目标放大倍数；
基于所述目标放大倍数确定所述预设图像超分辨率模型上采样部分和下采样部分的采样模块数量，所述上采样部分和所述下采样部分为对称结构；
基于跳跃式连接，建立上采样部分的各采样模块和下采样部分的各采样模块的连接关系，构建所述预设图像超分辨率模型。
可选地，所述分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像，包括：
获取当前待转换图像，并对所述当前待转换图像进行卷积编码，得到待转换图像编码张量；
基于多层残差网络，将所述待转换图像编码张量映射为可见光图像张量；
对所述可见光图像张量进行转置卷积解码，得到与所述当前待转换图像尺寸相同的可见光图像。
可选地，所述基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数，包括：
分别计算所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的第一图像距离和第二图像距离；
计算所述备选高分辨率图像和所述真实高分辨率图像的第三图像距离；
基于所述第一图像距离、所述第二图像距离及所述第三图像距离，构造所述损失函数。
可选地，所述损失函数由如下公式表示:
其中，ltotal表示损失函数，n表示训练样本集中低分辨率图像的样本数量，li3表示第i个低分辨率图像对应的第三图像距离，li1表示第i个低分辨率图像对应的第一图像距离，li2表示第i个低分辨率图像对应的第二图像距离，λ表示权重参数。
根据第二方面，本发明还提供了一种图像超分辨率重建方法，包括：
获取目标低分辨率图像；
将所述目标低分辨率图像输入至预设图像超分辨率模型，得到所述目标低分辨率图像对应的高分辨率图像，所述预设图像超分辨率模型为采用第一方面及其任意一种可选实施方式中所述的图像超分辨率模型训练方法训练得到的预设图像超分辨率模型。
根据第三方面，本发明还提供了一种图像超分辨率模型训练装置，包括：
第一获取模块，用于获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；
第一处理模块，用于将所述训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；
第二处理模块，用于分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；
第三处理模块，用于基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数；
第四处理模块，用于基于所述损失函数，对所述预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。
根据第四方面，本发明还提供了一种图像超分辨率重建装置，其特征在于，包括：
第二获取模块，用于获取目标低分辨率图像；
第五处理模块，用于将所述目标低分辨率图像输入至预设图像超分辨率模型，得到所述目标低分辨率图像对应的高分辨率图像，所述预设图像超分辨率模型为采用第三方面所述的图像超分辨率模型训练装置训练得到的预设图像超分辨率模型。
本发明实施例还提供了一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行第一方面及其任意一种可选实施方式所述的方法，或者，执行第二方面所述的方法。
本发明实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储计算机指令，所述计算机指令用于使所述计算机执行第一方面及其任意一种可选实施方式所述的方法，或者，执行第二方面所述的方法。
本发明技术方案，具有如下优点：
1.本发明实施例提供了一种图像超分辨率模型训练方法及装置，通过获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；将训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；分别将备选高分辨率图像及真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；基于第一可见光图像和第二可见光图像与真实可见光图像之间的差异及备选高分辨率图像和真实高分辨率图像的差异，构造损失函数；基于损失函数，对预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。从而通过将通过预设图像超分辨率模型得到的高分辨率图像映射到可见光图像空间，通过在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下输出高质量的高分辨率图像，而不受放大倍数限制。
2.本发明实施例提供了一种图像超分辨率重建方法及装置，包括：获取目标低分辨率图像；将目标低分辨率图像输入至预设图像超分辨率模型，得到目标低分辨率图像对应的高分辨率图像，预设图像超分辨率模型为采用本发明另一实施例提供的图像超分辨率模型训练方法训练得到的预设图像超分辨率模型。从而通过利用在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练得到的预设图像超分辨率模型，实现了大尺度放大倍数情况下高质量的图像的超分辨率，克服了现有图像超分辨率重建方法难以支持大尺度放大倍数的问题。
附图说明
为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中的图像超分辨率模型训练方法的流程图；
图2为本发明实施例中的svtn网络的训练过程示意图；
图3为本发明实施例中图像超分辨率重建方法的流程图；
图4为本发明实施例中的预设图像超分辨率模型的输入输出结果示意图；
图5为本发明实施例中的图像超分辨率模型训练装置的结构示意图；
图6为本发明实施例中的图像超分辨率重建装置的结构示意图；
图7为本发明实施例中的电子设备的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面所描述的本发明不同实施方式中所涉及的技术特征只要彼此之间未构成冲突就可以相互结合。
在非可见光图像中，sar图像因其固有的优势，使其在军事、对地遥感观测、农业等领域中广泛应用。但是，由于受成像设备的限制，sar图像的分辨率较低，为此，当前有大量的研究者通过图像超分辨率技术从低分辨率sar图像近似获得高分辨率sar图像。但是，现有的图像超分辨率技术在大尺度放大倍数的sar图像超分辨率上因其技术难度大而鲜有这方面的工作开展。
基于上述问题，本发明实施例提供了一种图像超分辨率模型训练方法，应用于sar图像、红外图像等非可见光图像，需要说明的是，在本发明实施例中仅以sar图像为例，但并不以此为限。如图1所示，该图像超分辨率模型训练方法主要包括如下步骤：
步骤s101：获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集。在本发明实施例中，该训练样本集中的每一组训练样本均包括一个低分辨率sar图像，以及其对应的真实的高分辨率sar图像和真实可见光图像。其中，真实的高分辨率sar图像和真实可见光图像用于指导预设图像超分辨率模型进行模型训练，以得到低分辨率sar图像到高分辨率sar图像的最佳映射关系即训练好的预设图像超分辨率模型，从而利用该最佳映射关系实现sar图像超分辨率重建。在实际应用中，可以通过丰富训练样本集的训练样本的方式，获得更好的训练结果，该训练样本集可以在全球公开数据集如sen1-2数据集中直接提取。
步骤s102：将训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像。具体地，上述的低分辨率sar图像作为预设图像超分辨率模型的输入，输出为通过模型映射得到的预测高分辨率sar图像。
步骤s103：分别将备选高分辨率图像及真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像。具体地，可以通过预先训练好的图像模式转换模型，在实际应用中，该图像模式转换模型可以选择深度神经网络模型等，将备选高分辨率图像及真实高分辨率图像分别转换为对应的可见光图像。
步骤s104：基于第一可见光图像和第二可见光图像与真实可见光图像之间的差异及备选高分辨率图像和真实高分辨率图像的差异，构造损失函数。具体地，通过将备选高分辨率图像与真实高分辨率图像之间的损失情况通过可见光空间并利用真实可见光图像进行评估，以实现从高分辨率可见光图像中挖掘出sar图像的高频信息进行反馈，从而通过在预设图像超分辨率模型的常规损失函数中增加可见光空间的评估损失，可以引导预设图像超分辨率模型在sar图像超分辨率重建过程输出更为接近真实高分辨率sar图像，使得重建出的sar图像保留纹理细节。
步骤s105：基于损失函数，对预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。具体地，利用训练样本集中每一个训练样本计算的计算结果，不断调整模型参数，直至损失函数的计算结果满足预设数值要求，训练所得到的预设图像超分辨率模型即可用于sar图像的超分辨率重建。
通过上述步骤s101至步骤s105，本发明实施例提供的图像超分辨率模型训练方法，通过将通过预设图像超分辨率模型得到的高分辨率图像映射到可见光图像空间，通过在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下输出高质量的高分辨率图像，而不受放大倍数限制。
具体地，在一实施例中，sar图像超分辨率过程可以看作低分辨率的sar图像到高分辨率sar图像的映射。在这过程中，输入和输出之间有大量共享的低级信息如结构信息，直接通过跳跃式连接传输这些信息是一种明智的选择，这样就可以使网络专心恢复出损失掉的高频信息。因此本发明实施例遵循u-net设计原则，在上述的步骤s102中所采用预设图像超分辨率模型通过如下方式构建：
步骤s201：获取预设图像超分辨率模型的目标放大倍数。具体地，根据用户对sar图像的实际需要，sar图像的放大倍数要求不同，在本发明实施例中，该目标放大倍数可以根据用户需要进行灵活的设置，例如：4倍、8倍、16倍等。
步骤s202：基于目标放大倍数确定预设图像超分辨率模型上采样部分和下采样部分的采样模块数量，上采样部分和下采样部分为对称结构。具体地，本发明实施例所采用的预设图像超分辨率模型简称srun网络，主要分为下采样和上采样两部分。上采样部分的结构与下采样部分的结构对称。每一部分都包含有个log2(s)采样模块，其中s为放大倍数。也就是说当放大倍数为4时有2个采样模块，当放大倍数为8时有3个采样模块。
步骤s203：基于跳跃式连接，建立上采样部分的各采样模块和下采样部分的各采样模块的连接关系，构建预设图像超分辨率模型。
具体地，以放大倍数为4的srun网络结构为例，对输入的低分辨率图像ilr进行上采样插值到目标尺寸，该目标尺寸通过低分辨率sar图像的尺寸及上述目标放大倍数得到，假设低分辨率sar图像为边长a，则目标尺寸sar图像的边长为2a，然后经卷积层提取出浅层特征fd0，具体如公式(1)所示：
fd0＝conv(fbicubic(ilr))(1)
其中，fd0表示浅层特征，fbicubic表示双三次插值运算，conv表示步长为1的卷积层，ilr表示输入的低分辨率图像。
然后依次进行两次下采样操作，每个下采样模块主要由两个3×3卷积层和一个leakyrelu激活层交叉组成，其中第一个卷积层convs2的步长为2以实现维度的压缩。第一次下采样操作提取出浅层特征fd1，具体如公式(2)所示：
fd1＝conv(σ(convs2(fd0)))(2)
其中，fd1表示第一次下采样操作提取出浅层特征，conv表示步长为1的卷积层，convs2表示步长为2的卷积层，σ表示激活函数leakyrelu，fd0表示浅层特征。
第二次下采样操作深层特征fd2，具体如公式(3)所示：
fd2＝conv(σ(convs2(fd1)))(3)
其中，fd2表示第二次下采样操作深层特征，fd1表示第一次下采样操作提取出浅层特征，conv表示步长为1的卷积层，convs2表示步长为2的卷积层，σ表示激活函数leakyrelu。
接着依次进行两次上采样操作，每个上采样模块主要由n个残差通道注意块简称rcab、一个亚像素卷积层和一个1×1卷积层组成，其中的rcab可以有效提高模型映射能力，亚像素卷积层实现特征图维度的扩充，1×1卷积层操作是在较少网络参数的情况下进一步增强网络的非线性表达能力。值得注意的是，除了第一个上采样模块输入直接为最后一次下采样的输出特征图，其余每个上采样模块的输入是将对应的下采样部分中的输出要和上一级解码部分的输出进行拼接以融合前面的低级信息。示例性地，第一次上采样操作输入为上述提取到的深层特征fd2，输出为上采样浅层特征fu1，具体如公式(4)所示：
fu1＝conv(fup(rcab,b(fd2)))(4)
其中，fu1表示上采样浅层特征，rcab,b(·)表示一共有b个rcab模块，fup表示亚像素卷积层用于图像上采样，conv表示步长为1的卷积层，fd2表示第二次下采样操作深层特征。
第二次上采样操作与上述提取到的深层特征fd1拼接，输出为上采样深层特征fu2，具体如公式(5)所示：
其中，fu2表示上采样深层特征，rcab,b(·)表示一共有b个rcab模块，fup表示亚像素卷积层用于图像上采样，conv表示步长为1的卷积层，fd1表示第一次下采样操作提取出浅层特征，fu1表示上采样浅层特征。
最后对上采样深层特征fu2和浅层特征fd0拼接，进行一次3×3卷积操作对之前的特征进行聚合以获得候选高分辨率sar图像，具体如公式(6)所示：
其中，isr表示模型输出的候选高分辨率sar图像，conv表示步长为1的卷积层，fd0表示浅层特征，fu2表示上采样深层特征。
具体地，在一实施例中，由于高分辨率的可见光图像引导的sar图像超分辨率关键在于将sar图像映射到可见光图像空间。可见光成像原理是光的反射，其利用太阳光线作为辐射源，传感器被动的接收地表物体反射太阳光的信息，由于不同地物反射太阳光的能力不同，因而显示在图像上就成为明暗不同的灰度信息。人们一般利用r(红)、g(绿)、b(蓝)三个波段来合成与人眼视觉机制一致的高分辨率的可见光图像，反映了丰富的光谱信息和地物轮廓。与之不同的是，sar是一种主动的雷达系统，工作在电磁波的微波波段，能穿透一定的地表覆盖。在sar成像中人们最关心的信息是回波强度，回波信号强，则表明是高反射对象，比如平面对象，回波信号弱，则表明是低反射对象或全反射，比如沼泽或阴影区，将这些回波信号强度用灰度信息表示，就是sar图像。从以上成像机理来看，可见光图像和sar图像具有一定的共性。两种图像的获取都是地表环境下各种地物对电磁波的反射或散射特性的反映，尽管覆盖同一地区的sar图像与可见光图像的纹理、颜色不同，但是它们描述的地物基本属性相同，如地物的空间位置、形状、种类等，这些固有的共同特性是sar图像与可见光图像之间映射的基础。
因此，本发明实施例通过一种sar图像到可见光图像的映射网络简称svtn网络来实现上述步骤s103中图像模式转换，具体包括如下步骤：
步骤s301：获取当前待转换图像，并对当前待转换图像进行卷积编码，得到待转换图像编码张量；
步骤s302：基于多层残差网络，将待转换图像编码张量映射为可见光图像张量；
步骤s303：对可见光图像张量进行转置卷积解码，得到与当前待转换图像尺寸相同的可见光图像。
示例性地，上述的svtn网络由编码模块、映射模块和解码模块三部分组成，分别用于执行上述的步骤s301至步骤s303，其中，编码模块由五个卷积小模块组成，假设输入是分辨率为256×256的sar图像，输出为1024通道大小为8×8的sar图像编码张量。其中，4×4卷积层是用来扩展感受野的，这样sar图像在卷积运算中可以包含更多的邻域信息，减少散斑噪声的干扰。通过这个过程，可以得到sar图像的编码表达式和高级语义信息。
映射模块采用多层残差结构增加网络的映射能力，具体是由3个残差块组成。它的输入为8×8大小的sar图像编码张量，输出为8×8大小的可见光图像编码张量。通过这个过程，将前面编码得到的sar图像张量映射为可见光图像张量。
解码模块利用转置卷积将可见光图像张量上采样到与输入sar图像相同大小。该模块的输入为1024通道的8×8大小的sar图像编码张量，输出为3通道的256×256大小的可见光图像。
为了实现sar图像到可见光图像之间的正确映射，本发明实施例还采用了一个判别器网络patchgan以交替训练网络svtn，如图2所示。sar表示高分辨率的sar图像，co_optical表示同一场景的可见光图像，g表示生成器网络svtn，d则表示判别器网络patchgan。判别器的任务是将svtn产生的可见光图像样本从真实的可见光图像样本中区别出来。如果x和y是真实的sar图像和可见光图像对，那么d(x,y)应该预测为真；如果y是x生成的，那么d(x,y)应该预测为假。在对抗训练中，为了使svtn网络能够将sar图像正确映射到可见光图像空间，本发明实施例提出一个鲁棒的对抗训练目标函数，如公式(7)所示：
其中，lcgan(g,d)为对抗学习函数，
对抗学习函数lcgan(g,d)目的是利用svtn的输出欺骗优化后的d，从而使g(x)越来越接近可见光图像样本y。其中，
与以往直接学习低分辨率sar图像和高分辨率sar图像像映射的工作不同，本发明实施例提出一种高分辨率可见光图像引导的损失函数。它包括内容损失和评估损失，该损失函数如公式(8)所示。
ltotal＝lcontent λlevaluation(8)
其中，lcontent是srun目标函数，levaluation为可见光图像空间内的评估损失，超参数λ控制可见光图像空间内的评估损失的权重，即从高分辨率可见光图像中挖掘出的sar图像的高频信息在sar图像超分辨率求解过程的相对贡献量。在本发明实施例中，采用损失函数的l1范数，是因为l1范数可以具有更好的收敛性能且可以忍受异常值，从而实现更好的图像超分辨率重建效果。其中，srun网络的目标函数可以参照现有技术中srun网络的目标函数进行设置，同样也采用目标函数的l1范数即可，在此不再进行赘述，levaluation表达式如公式(9)所示：
其中，
其中，oi表示对应场景下的第i幅高分辨率可见光图像，h(·)表示svtn学习到的sar图像到可见光图像的映射关系，fsrun(·)表示srun网络学习到的低分辨率sar图像到高分辨率sar图像的映射函数，
具体地，在实际应用中，上述的步骤s104，具体包括如下步骤：
步骤s401：分别计算第一可见光图像和第二可见光图像与真实可见光图像之间的第一图像距离和第二图像距离。
步骤s402：计算备选高分辨率图像和真实高分辨率图像的第三图像距离。具体地，在本发明实施例中，该第一图像距离、第二图像距离及第三图像距离均为l1距离，
步骤s403：基于第一图像距离、第二图像距离及第三图像距离，构造损失函数。具体通过如下公式(12)表示：
其中，ltotal表示损失函数，n表示训练样本集中低分辨率图像的样本数量，li3表示第i个低分辨率图像对应的第三图像距离，li1表示第i个低分辨率图像对应的第一图像距离，li2表示第i个低分辨率图像对应的第二图像距离，λ表示权重参数。
通过执行上述步骤，本发明实施例提供的图像超分辨率模型训练方法，通过将通过预设图像超分辨率模型得到的高分辨率图像映射到可见光图像空间，通过在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下输出高质量的高分辨率图像，而不受放大倍数限制。
本发明实施例还提供了一种图像超分辨率重建方法，如图3所示，该图像超分辨率重建方法具体包括如下步骤：
步骤s1：获取目标低分辨率图像。具体地，该目标低分辨率图像为通过合成孔径雷达获取的低分辨率sar图像。
步骤s2：将目标低分辨率图像输入至预设图像超分辨率模型，得到目标低分辨率图像对应的高分辨率图像，预设图像超分辨率模型为采用本发明另一实施例提供的图像超分辨率模型训练方法训练得到的预设图像超分辨率模型。具体预设图像超分辨率模型的输入输出结果的示例如图4所示，通过将低分辨率sar图像输入至采用本发明另一实施例提供的图像超分辨率模型训练方法训练好的设图像超分辨率模型进行超分辨率重建，即可得到该低分辨率sar图像对应的高分辨率sar图像。
通过执行上述步骤，本发明实施例提供的图像超分辨率重建方法，通过利用在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练得到的预设图像超分辨率模型，实现了大尺度放大倍数情况下高质量的图像的超分辨率，克服了现有图像超分辨率重建方法难以支持大尺度放大倍数的问题。
下面将结合具体对比实验，对本发明实施例提供的图像超分辨率模型训练方法以及图像超分辨率重建方法与传统图像超分辨率重建方法所得到的高分辨率sar图像进行对比。
在本发明实施例中，实验中使用的sar图像和对应的可见光图像数据均来自sen1-2数据集。这是一个大型的公开数据集，包含282,384对sar图像和对应的可见光图像，收集于全球各地的场景。其中，sar图像来自sentinel-1遥感卫星仅使用vv通道的数据，可见光图像是通过sentinel-2遥感卫星使用2、3、4频带数据创建的。本发明实施例选取了其中的990对图像数据作为训练集，50对作为验证集，10对作为测试集，所有图像数据的大小为256×256。
首先对本发明实施例提出的sar图像到可见光图像的映射网络svtn进行单独训练，输入高分辨率sar图像得到映射后的高分辨率可见光图像。本发明实施例以更新比设为2的方式交替训练生成器svtn和判别器patchgan。所有leakyrelu的负斜率设置为0.2，并采用β1＝0.5和β2＝0.999的adam模型参数优化器，minibatch设为1。学习率初始化为10-4，每200个epoch减半。然后，对高分辨率sar图像进行双三次降采样插值，生成低分辨率sar图像。接着，使用低分辨率sar图像作为输入，并通过随机水平翻转和垂直翻转来增加训练数据。最后，联合学习svtn和srun得到最终的超分辨率网络。也就是，srun从头开始训练，而svtn权重从预训练模型初始化。具体训练设置如下：leakyrelu的负斜率也设置为0.2，权重参数λ设置为0.1，rcab的数量设为30，并采用β1＝0.9和β2＝0.999的adam模型参数优化器，minibatch也为1。学习率初始化为10-4，然后按照余弦退火的方式降为0。
具体地，提供使用两种广泛应用的图像质量评价指标对本发明实施例提出的方法的超分辨率性能进行评估：峰值信噪比(peaksignal-to-noiseratio,简称psnr)和结构相似度(structuralsimilarity,简称ssim)。将本发明实施例所提出的基于高分辨率可见光图像引导的预设图像超分辨率模型简称ogrsn与六种目前领先的基于卷积神经网络的图像超分辨率方法：具体为espcn、srresnet、rrdb、ddbpn、rcan以及san进行了比较。在实验中，所有的对比方法都使用其公开的参数设置和相同的测试数据以进行公平的比较。
为了客观评价本发明实施例所提出的sar图像超分辨率网络，表1和表2分别列出了各种方法在放大倍数为2、4、8和16时的超分辨率sar图像与真实高分辨率sar图像的psnr和ssim平均值。
表1
表2
从表1-2可看出，基于深度学习模型的超分辨率性能比经典的bicubic插值有了显著改善。这是因为所有基于深度学习的模型都使用了一个设计良好的卷积神经网络来直接学习低分辨率sar图像和高分辨率sar图像之间的映射关系。然而，它们忽略了高分辨率可见光图像引导对sar图像超分辨率重建的重要性，导致其重建出的sar图像往往缺乏纹理细节，客观评价指标也较低。与这些模型不同，本发明实施例设计一种sar图像到可见光图像的映射网络svtn，并将其结合到sar图像超分辨率网络ogsrn。通过svtn在可将光图像空间内评估高分辨率sar图像和经srun输出的sar图像的差异以提供sar图像高频信息反馈。在高分辨率可见光图像引导下，ogsrn在所有测试数据集的各种放大倍数情况下都取得了最好的评价指标值。具体来说，在放大倍数分别为2、4、8及16时，ogsrn比第二领先的算法的psnr值高出0.07、1.87、1.89、3.76db；ssim值提高了0.007、0.093、0.191、0.293。
从这些数字可看出，随着放大倍数的增大，ogsrn相对现有领先的超分辨率算法的性能指标差距也随之显著增大。这说明ogsrn在具有大尺度放大倍数的sar图像超分辨率任务时仍然保持着较好性能，且在放大倍数为16时甚至能达到第二领先的超分辨率模型san进行8倍超分辨率重建时的评价指标。这主要有以下两点原因：第一，ogsrn具有u形结构，输入和输出之间大量共享的sar图像低级信息如结构信息可以直接通过跳跃式连接传输，从而使ogsrn网络能专注于恢复出与原始高分辨率sar图像相比损失掉的高频信息。第二，ogsrn中的svtn还可以通过高分辨率可见光图像提供sar图像高频信息反馈，从而可以引导ogsrn在sar图像超分辨率重建过程输出高保真度的高分辨率的sar图像。
本发明实施例所提出的ogsrn方法与其他算法相比，超分辨率重建出的结果更加准确，输出的图像比其他算法重建出的图像更接近于真实的高分辨率图像。
以上实验结果表明，大多数图像超分辨率方法不能恢复正确的sar图像细节信息。然而，在高分辨率可见光图像的引导下，本发明实施例提出的ogsrn在相同测试集上能重建出更多准确的高频细节，具有最高的评价指标值，进一步证明了svtn能够从高分辨率可见光图像挖掘出sar图像高频信息并有效地对sar图像超分辨率过程指导。
综上，本发明实施例提出了一种高分辨率的可见光图像引导的sar图像超分辨率深度神经网络ogsrn。该网络由两个子网络组成：sar图像超分辨率网络(srun)和sar图像到可见光图像转换网络(svtn)。整个重建过程分为两个阶段：在阶段1，使用srun对输入的低分辨率sar图像进行超分辨率重建。在阶段2，首先通过svtn先将重建后的sar图像映射到可见光图像空间，然后计算其与真实高分辨率sar图像的对应可见光图像之间的差异以实现可见光图像引导作用。大量的实验结果表明，在可见光图像提供的反馈信息的帮助下，ogsrn获得了与当前领先的超分辨率算法相比更具有竞争力的结果，突破了现有超分辨率算法的放大倍数限制。
本发明实施例还提供了一种图像超分辨率模型训练装置，如图5所示，该图像超分辨率模型训练装置包括：
第一获取模块101，用于获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集。详细内容参见上述方法实施例中步骤s101的相关描述，在此不再进行赘述。
第一处理模块102，用于将训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像。详细内容参见上述方法实施例中步骤s102的相关描述，在此不再进行赘述。
第二处理模块103，用于分别将备选高分辨率图像及真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像。详细内容参见上述方法实施例中步骤s103的相关描述，在此不再进行赘述。
第三处理模块104，用于基于第一可见光图像和第二可见光图像与真实可见光图像之间的差异及备选高分辨率图像和真实高分辨率图像的差异，构造损失函数。详细内容参见上述方法实施例中步骤s104的相关描述，在此不再进行赘述。
第四处理模块105，用于基于损失函数，对预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。详细内容参见上述方法实施例中步骤s105的相关描述，在此不再进行赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的图像超分辨率模型训练装置，通过将通过预设图像超分辨率模型得到的高分辨率图像映射到可见光图像空间，通过在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练，使得训练好的预设图像超分辨率模型可以在大尺度放大倍数情况下输出高质量的高分辨率图像，而不受放大倍数限制。
根据本发明实施例还提供了一种图像超分辨率重建装置，如图6所示，该图像超分辨率重建装置包括：
第二获取模块1，用于获取目标低分辨率图像。详细内容参见上述方法实施例中步骤s1的相关描述，在此不再进行赘述。
第五处理模块2，用于将目标低分辨率图像输入至预设图像超分辨率模型，得到目标低分辨率图像对应的高分辨率图像，预设图像超分辨率模型为采用本发明另一实施例提供的图像超分辨率模型训练装置训练得到的预设图像超分辨率模型。详细内容参见上述方法实施例中步骤s2的相关描述，在此不再进行赘述。
通过上述各个组成部分的协同合作，本发明实施例提供的图像超分辨率重建装置，通过利用在可见光空间计算高分辨率图像及对应的真实高分辨率图像的映射误差，作为反馈信息参与模型训练得到的预设图像超分辨率模型，实现了大尺度放大倍数情况下高质量的图像的超分辨率，克服了现有图像超分辨率重建方法难以支持大尺度放大倍数的问题。
根据本发明实施例还提供了一种电子设备，如图7所示，该电子设备可以包括处理器901和存储器902，其中处理器901和存储器902可以通过总线或者其他方式连接，图7中以通过总线连接为例。
处理器901可以为中央处理器(centralprocessingunit，cpu)。处理器901还可以为其他通用处理器、数字信号处理器(digitalsignalprocessor，dsp)、专用集成电路(applicationspecificintegratedcircuit，asic)、现场可编程门阵列(field-programmablegatearray，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
存储器902作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明方法实施例中的方法所对应的程序指令/模块。处理器901通过运行存储在存储器902中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的方法。
存储器902可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储处理器901所创建的数据等。此外，存储器902可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器902可选包括相对于处理器901远程设置的存储器，这些远程存储器可以通过网络连接至处理器901。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
一个或者多个模块存储在存储器902中，当被处理器901执行时，执行上述方法实施例中的方法。
上述电子设备具体细节可以对应参阅上述方法实施例中对应的相关描述和效果进行理解，此处不再赘述。
本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-onlymemory，rom)、随机存储记忆体(randomaccessmemory，ram)、快闪存储器(flashmemory)、硬盘(harddiskdrive，缩写：hdd)或固态硬盘(solid-statedrive，ssd)等；存储介质还可以包括上述种类的存储器的组合。
虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下作出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。
1.一种图像超分辨率模型训练方法，其特征在于，包括：
获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；
将所述训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；
分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；
基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数；
基于所述损失函数，对所述预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。
2.根据权利要求1所述的方法，其特征在于，所述预设图像超分辨率模型通过如下方式建立：
获取预设图像超分辨率模型的目标放大倍数；
基于所述目标放大倍数确定所述预设图像超分辨率模型上采样部分和下采样部分的采样模块数量，所述上采样部分和所述下采样部分为对称结构；
基于跳跃式连接，建立上采样部分的各采样模块和下采样部分的各采样模块的连接关系，构建所述预设图像超分辨率模型。
3.根据权利要求1所述的方法，其特征在于，所述分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像，包括：
获取当前待转换图像，并对所述当前待转换图像进行卷积编码，得到待转换图像编码张量；
基于多层残差网络，将所述待转换图像编码张量映射为可见光图像张量；
对所述可见光图像张量进行转置卷积解码，得到与所述当前待转换图像尺寸相同的可见光图像。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数，包括：
分别计算所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的第一图像距离和第二图像距离；
计算所述备选高分辨率图像和所述真实高分辨率图像的第三图像距离；
基于所述第一图像距离、所述第二图像距离及所述第三图像距离，构造所述损失函数。
5.根据权利要求4所述的方法，其特征在于，所述损失函数由如下公式表示：
其中，ltotal表示损失函数，n表示训练样本集中低分辨率图像的样本数量，li3表示第i个低分辨率图像对应的第三图像距离，li1表示第i个低分辨率图像对应的第一图像距离，li2表示第i个低分辨率图像对应的第二图像距离，λ表示权重参数。
6.一种图像超分辨率重建方法，其特征在于，包括：
获取目标低分辨率图像；
将所述目标低分辨率图像输入至预设图像超分辨率模型，得到所述目标低分辨率图像对应的高分辨率图像，所述预设图像超分辨率模型为采用如权利要求1-5任一项所述的图像超分辨率模型训练方法训练得到的预设图像超分辨率模型。
7.一种图像超分辨率模型训练装置，其特征在于，包括：
第一获取模块，用于获取低分辨率图像及其对应的真实高分辨率图像和真实可见光图像构成训练样本集；
第一处理模块，用于将所述训练样本集中的低分辨率图像输入至预设图像超分辨率模型，得到备选高分辨率图像；
第二处理模块，用于分别将所述备选高分辨率图像及所述真实高分辨率图像进行图像模式转换，得到第一可见光图像和第二可见光图像；
第三处理模块，用于基于所述第一可见光图像和所述第二可见光图像与所述真实可见光图像之间的差异及所述备选高分辨率图像和所述真实高分辨率图像的差异，构造损失函数；
第四处理模块，用于基于所述损失函数，对所述预设图像超分辨率模型进行模型训练，得到训练完成的预设图像超分辨率模型。
8.一种图像超分辨率重建装置，其特征在于，包括：
第二获取模块，用于获取目标低分辨率图像；
第五处理模块，用于将所述目标低分辨率图像输入至预设图像超分辨率模型，得到所述目标低分辨率图像对应的高分辨率图像，所述预设图像超分辨率模型为采用如权利要求7所述的图像超分辨率模型训练装置训练得到的预设图像超分辨率模型。
9.一种电子设备，其特征在于，包括：
存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器中存储有计算机指令，所述处理器通过执行所述计算机指令，从而执行权利要求1-5任一项所述的方法，或者执行权利要求6所述的方法。
10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使所述计算机从而执行权利要求1-5任一项所述的方法，或者执行权利要求6所述的方法。
技术总结