本申请涉及图片处理技术领域，特别是涉及一种图像超分重建模型的训练方法和计算机设备。
背景技术：
图像超分辨率重建是计算机视觉和图像处理领域比较火热的一个研究方向，深度学习技术的发展促进了图像超分辨率重建方法的进步，如edsr(enhanceddeepsuper-resolutionnetwork)、esrgan(enhancedsuper-resolutiongenerativeadversarialnetworks)等超分技术，然而这些超分方法均存在缺陷：基于深度学习的图像超分辨率重建技术中，决定超分尺度的上采样方法，例如双三次插值法、pixelshuffle，往往采用固定整数倍尺度的方式进行超分，例如：2倍、3倍和4倍超分，不能实现1.5倍、2.5倍等非整数倍超分，而实际上，非整数倍超分往往具有更多的应用。现有技术的缺陷导致基于深度学习的超分辨率图像重建技术的应用具有很大的局限性。
因此，现有技术有待改进。
技术实现要素：
本发明所要解决的技术问题是，提供图像超分重建模型的训练方法和计算机设备，以实现任意尺度超分。
一方面，本发明实施例提供了一种图像超分重建模型的训练方法，包括：
将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像；
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。
第二方面，本发明实施例提供了一种图像超分重建方法，所述方法包括：
获取待处理图像，以及所述待处理图像的第二超分尺度；
将所述待处理图像和所述第二超分尺度输入已训练的图像超分重建模型，以得到所述待处理图像对应的超分重建图像，其中，所述已训练的图像超分重建模型为通过上述一种图像超分模型的训练方法训练得到的图像超分重建模型。
第三方面，本发明实施例提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像；
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。
第四方面，本发明实施例提供了一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现以下步骤：
将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像；
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。
与现有技术相比，本发明实施例具有以下优点：
根据本发明实施方式提供的训练方法，将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像；根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。本方法在训练时，经过取整计算第一像素点的坐标，使在任意数值的超分尺度下都可以找到第一图像和生成图像之间的坐标映射，通过本发明训练得到的已训练的图像超分重建模型，对超分尺度的数值不做限定；本方法在训练时，生成了第一超分尺度下的第一权重，对于不同的第一超分尺度，可以动态生成每一超分尺度对应的权值，通过本发明训练得到的已训练的图像超分重建模型可以实现一个模型输出任意尺度下的超分结果，在实际应用中可以满足更多需要。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明中记载的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明实施例中一种图像超分重建模型的训练方法的流程示意图；
图2为本发明实施例中拜耳阵列的示意图；
图3为本发明实施例中在第一位置偏移量中不包括第一超分尺度，在同时训练多个不同的第一超分尺度时出现的情况示意图；
图4为本发明实施例中计算第一像素点的第一权值的示意图；
图5为本发明实施例中一种图像超分重建方法的流程示意图；
图6为本发明实施例中不同尺度的超分效果示意图；
图7为本发明实施例中计算机设备的内部结构图。
具体实施方式
为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
下面结合附图，详细说明本发明的各种非限制性实施方式。
参见图1，示出了本发明实施例中的一种图像超分重建模型的训练方法。在本实施例中，所述方法例如可以包括以下步骤：
s1、将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像。
本发明实施例中，所述第一图像可以是三基色图像(rgb图像)，也可以是图像传感器获取的原始图像(raw图像)；图像超分辨率重建技术是将低分辨率图像放大，以及补充更多图像细节，得到清晰的高分辨率的图像，其中，放大的倍数是超分尺度的数值；所述第一超分尺度的数值为任意数值，例如，可以是非整数倍：1.5、2.5、3.3等，也可以是整数倍：2、4、6等；第一图像在第一超分尺度下得到所述第二图像，所述第二图像的分辨率与所述第一图像的分辨率的比值等于第一超分尺度的数值，且所述第二图像与所述第一图像相比，增加了更多图像细节，所述第二图像更清晰，所述第二图像可看做图像超分重建的标准图像。
本发明实施例中，若第一图像是raw图像，raw图像中包含图像的所有噪声在内的所有信息，因此需要对raw图像进行预处理，预处理就是要去除raw图像中的噪声，经过预处理得到的图像噪点更少。预处理包括对图像进行降维处理和归一化。
具体的，若所述第一图像是raw图像，则步骤s1之前还包括：
m1、对所述第一图像进行预处理，得到预处理后的图像，并将所述预处理后的图像作为第一图像。
本发明实施例中，若所述第一图像是raw图像，raw图像中包含图像的所有噪声在内的所有信息，在传统方法中，采用图像信号处理(imagesignalprocessing,isp)对raw数据进行处理得到rgb数据，isp过程包含去马赛克、去噪、颜色校正、白平衡等等操作，处理过程会导致图像的部分信息丢失，而这些被丢失的信息会影响最终的超分质量，相比rgb图像，raw数据具有更为丰富的信息，可以得到更好的超分结果。
具体的，所述对所述第一图像进行预处理，得到预处理后的图像，并将所述预处理后的图像作为第一图像，包括：
m11、将所述第一图像的单维度数据转换为四维度数据；
m12、将所述四维数据进行归一化处理，得到预处理后的图像，并将所述预处理后的图像作为第一图像。
在本发明实施例中，图像传感器获取的图像为raw格式，图像传感器可以是电荷耦合器件(chargecoupleddevice,ccd)传感器或互补金属氧化物半导体(complementarymetal-oxide-semiconductor,cmos)传感器，图像传感器拍摄的彩色图像的数据采用拜耳阵列排布，拜耳阵列如图2所示，由8个绿色，4个蓝色，4个红色像素组成。
举例说明，在获取的raw格式的单图像x后，包括：对原始图像x进行预处理，预处理包括：将raw图像数据的维度由h×w×1，例如，图3中，h＝8，w＝8，raw图像数据为8×8×1，维度为1，改变为
本发明实施例中，所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像对应的生成图像。所述图像超分重建模型包括：特征提取模块和上采样模块，其中，所述特征提取模型用于提取所述第一图像的特征，所述上采样模块用于根据所述特征提取模块的输出结果输出所述生成图像。
具体的，步骤s1包括：
s11、将所述第一图像输入所述特征提取模块，以得到所述第一图像对应的特征图像。
特征提取模块是超分重建所必备的一个模块，本发明实施例中的特征提取模块可以是现有网络中的任意一种，如edsr超分网络的残差模块、rdn超分网络中的rdb模块、srdensenet中的稠密连接模块、senet中的se模块、inception网络中的inception模块或者convlstm等等。所述特征提取模块的作用在于提取更为抽象的图像特征，特征图像主要有图像的颜色特征、纹理特征、形状特征和空间关系特征，与其具体形式无关，因此现有全卷神经网络的特征提取方案均可作为该案例的特征提取模块。
举例说明，选取edsr超分网络的残差模块作为本发明实施例中超分重建模型中的特征提取模块，将所述第一图像输入edsr超分网络的残差模块，得到所述第一图像对应的特征图像；或者选取rdn超分网络中的rdb模块作为本发明实施例中的特征提取模块，将所述第一图像输入rdn超分网络中的rdb模块，以得到所述特征图像。
s12、将所述特征图像和所述第一超分尺度输入所述上采样模块，以得到所述特征图像对应的生成图像。
本发明实施例中，上采样模块主要是通过上采样方法放大图像，上采样方法主要有三种方式：插值法、反卷积和反池化，本发明实施例中可以采用反卷积实现，反卷积的过程最大的特点在于，其需要通过训练学习上采样模块的参数，训练完成后，上采样模块可以得到更接近第二图像的生成图像。
具体的，所述上采样模块包括第一上采样层、第二上采样层、第三上采样层和输出层，步骤s12包括：
s121、将所述特征图像和所述第一超分尺度输入到所述第一上采样层，以得到各个第一像素点分别对应的第一位置偏移量以及第一局部块，其中，所述第一像素点为所述特征图像中的像素点。
本发明实施例中，根据特征图像和所述第一超分尺度，通过所述第一上采样层得到生成图像的大小，由于进行此步骤时并未真正得到生成图像，因此，可称其为假定的生成图像，并通过假定的生成图像的大小可以得到假定的生成图像中的各像素点的坐标，再由假定的生成图像中的各像素点的坐标推出其在所述特征图像中的各个像素点，即所述各个第一像素点，所述特征图像中的任意一个像素点都可以称为第一像素点。通过所述第一上采样层，还可以得到所述各个第一像素点分别对应的第一位置偏移量，以及第一局部块。由假定的生成图像中的各像素点的坐标推出其在所述特征图像中的各个像素点的过程中，产生的位置偏移是所述第一位置偏移量。所述第一局部块是得到各个第一像素点后，以所述各个第一像素点为中心，取特征图像中的部分像素点形成第一局部块，部分像素点包括所述特征图像中以第一像素点为中心的邻域像素点。
具体的，步骤s121包括：
s121a、将所述特征图像和所述第一超分尺度输入到所述第一上采样层，以确定所述生成图像的各个第一假定像素点。
本发明实施例中，所述第一上采样层通过所述特征图像的分辨率和第一超分尺度的数值，可以得到所述生成图像的分辨率，通过所述生成图像的分辨率可以知道所述生成图像中各像素点的坐标，由于生成图像并非已存在，本发明实施例中，通过计算生成图像的分辨率，得到的所述生成图像中各像素点的坐标称为第一假定像素点。
举例说明，假设所述输入的特征图像x的分辨率为200*300，第一超分尺度r1＝1.5，可以得到特征图像在第一超分尺度下的生成图像y的分辨率为300*450，可以假定生成图像y的像素点，为第一假定像素点，所述生成图像的各个第一假定像素点的横坐标可以取1至300，纵坐标可以取1至450。
s121b、根据所述各个第一假定像素点和所述第一超分尺度，计算所述各个第一假定像素点各自分别对应的第一计算值。
本发明实施例中，所述生成图像是所述特征图像在第一超分尺度下得到的图像，所述生成图像的各像素点的坐标与所述特征图像的各像素点的坐标的比值，理论上接近所述第一超分尺度的数值。将所述各个第一假定像素点的坐标除以第一超分超分尺度的数值，即可得到所述各个第一假定像素点各自分别对应的第一计算值，所述第一计算值代表，通过生成图像的各像素点的坐标以及所述第一超分尺度，在理论上应得到的特征图像的各个第一像素点的真实坐标。
举例说明，针对生成图像y的各个第一假定像素点中的一个像素点f1＝(i1,j1)＝(80,400)，第一超分尺度r1＝1.5，将f1的横坐标和纵坐标分别除以r1＝1.5可以计算出第一假定像素点f1对应的第一计算值p1，即
s121c、对所述各个第一假定像素点各自分别对应的第一计算值作取整计算，得到与所述各个第一假定像素点分别对应的第一像素点；
本发明实施例中，由于第一超分尺度r1的数值可以是任意数值，直接采用各个第一假定像素点的坐标除以r1得到的坐标不能保证是整数，因此不能将步骤s121b中得到的第一计算值作为与所述各个第一假定像素点分别对应的第一像素点，需要对第一计算值进行取整计算，可选的，对第一计算值进行向下取整计算，将取整后的值作为与所述各个第一假定像素点分别对应的第一像素点。本发明实施例中，通过步骤s221c对第一计算值作取整计算，可以实现任意尺度超分(而不仅限于整数超分尺度)。
举例说明，针对生成图像y的各个第一假定像素点中的一个像素点f1＝(i1,j1)＝(80,400)，其对应的第一计算值
s121d、针对每一个第一像素点，计算第一像素点与该第一像素点对应的第一计算值之间的差值，得到各个第一像素点分别对应的第一位置偏移量。
本发明实施例中，由于步骤s221c中，对第一计算值作了取整计算，所述第一假定像素点通过第一超分尺度直接对应的第一计算值，与第一计算值取整得到的特征图像的第一像素点之间出现了位置偏移量，称为第一位置偏移量。
举例说明，针对特征图像的第一像素点中的一个像素点
或者，考虑到第一超分尺度的影响，也可以是：针对每一个第一像素点，根据第一像素点、该第一像素点对应的第一计算值和所述第一超分尺度得到各个第一像素点分别对应的第一位置偏移量。
本发明实施例中，所述第一位置偏移量中，除了包括所述第一计算值和所述第一像素点之间的差值以外，还可以包括第一超分尺度，以便所述第一位置偏移量用于在同时训练多个不同的第一超分尺度时，可以区分不同超分尺度的第一位置偏移量，进而区分不同超分尺度下的第一权值和不同超分尺度下得到的生成图像的像素点的像素值。
若第一位置偏移量中不包括第一超分尺度，在同时训练多个不同的第一超分尺度时，可能会出现下述情况：
参见图3，ⅰ为第一图像，ⅱ为第一图像在第一超分为2时对应的生成图像，ⅲ为第一图像在第一超分尺度为4时对应的生成图像；对于ⅰ中的第一像素点(i',j')，在超分尺度为2时所得到的生成图像ⅱ中的像素点为(i,j)，以及ⅰ中的第一像素点(i',j')，在超分尺度为4时所得到的生成图像ⅲ中的像素点为(2i,2j)，若在同时训练多个不同的第一超分尺度时，第一位置偏移量中不包括第一超分尺度，会导致(i',j')在第一超分尺度为2时的第一权值与(i',j')在第一超分尺度为4时的第一权值相同，进而导致生成图像ⅱ中像素点(i,j)的像素值与生成图像ⅲ中像素点(2i,2j)的像素值相同；同样的，对于ⅰ中的第一像素点(i' 1,j' 1)，(i' 1,j' 1)在第一超分尺度为2时的第一权值与(i' 1,j' 1)在第一超分尺度为4时的第一权值相同，进而导致生成图像ⅱ中像素点(i,j)的像素值与生成图像ⅲ中像素点(2i,2j)的像素值相同；这样，导致生成图像ⅱ中各像素点的像素值与生成图像ⅲ中部分像素点的像素值相同，可以理解为生成图像ⅱ中的各像素点取自生成图像ⅲ，即生成图像ⅱ为生成图像ⅲ的子图像，这样会限制超分重建效果。
因此，所述第一位置偏移量中，包括所述第一计算值和所述第一像素点之间的差值和第一超分尺度，以便所述第一位置偏移量用于在同时训练多个不同的第一超分尺度时，可以区分不同超分尺度的第一位置偏移量，进而区分不同超分尺度下的第一权值和不同超分尺度下得到的生成图像的像素点的像素值。
举例说明，当第一图像中的第一像素点f1＝(i1,j1)＝(80,400)，r1＝3时，
s121e、根据所述各个第一像素点和所述第一上采样层的卷积核的大小，在所述特征图像中提取所述各个第一像素点分别对应的第一局部块。
本发明实施例中，通过所述第一上采样层中的卷积核获取k*k矩阵，分别以每一个第一像素点依次作为k*k矩阵的中心点，并可以将中心点为第一像素点的k*k矩阵所对应的区域作为该第一像素点对应的第一局部块，例如，可以将中心点为第一像素点q2的k*k矩阵所对应的区域作为该第一像素点q2对应的第一局部块，可以将中心点为第一像素点q3的k*k矩阵所对应的区域作为该第一像素点q3对应的第一局部块；其中，所述第一局部块包括第一像素点和所述第一像素点的邻域像素点，所述k为第一上采样层的卷积核的数量，第一局部的大小为k*k。
举例说明，特征图像x的一个第一像素点坐标q1＝(53,260)，在特征图像x中，以q1＝(53,260)为中心，取大小为k*k的第一局部块h'1，所述k为第一上采样层的卷积核的大小，假设k＝3，则第一局部块h'1由特征图像x中的9个像素点组成。
本发明实施例中，当第一像素点为所述特征图像的边缘像素点时，在特征图像中无法得到以第一像素点作为中心点的k*k矩阵对应的完整区域，此时，需要进行补零操作，即用像素值“0”填充所述第一局部块中所缺少的第一像素点的邻域像素点，这样，补零之后，位于所述特征图像边缘的第一像素点对应的第一局部块中的部分像素点是特征图像中的部分第一像素点，另一部分像素点是填充的像素值为0的填充像素点。
举例说明：若特征图像x的一个边缘第一像素点坐标q4＝(1,1)，k＝3，在特征图像x中，以q4＝(1,1)为中心，取大小为3*3的第一局部块h'2，第一局部块h'2中包括第一像素点q4＝(1,1),第一像素点q5＝(1,2),第一像素点q6＝(2,1),第一像素点q7＝(2,2)，以及其余五个像素值为0的填充像素点。
s122、将所述各个第一像素点分别对应的第一位置偏移量和第一局部块输入到所述第二上采样层，以得到所述各个第一像素点分别对应的第一权值。
本发明实施例中，根据各个第一像素点的第一位置偏移量和第一局部块得到所述各个第一像素点分别对应的第一权值，因此，所述第一权值不仅与所述第一位置偏移量有关，还与所述第一局部块有关，通过第二上采样层得到第一权值的过程也可以称为双边上采样过程。
本发明实施例中，所述各个第一像素点的第一位置偏移量和第一局部块经过线性组合形式输入所述第二上采样层中，通过非线性激活函数的变换，得到第一权值。所述第一位置偏移量和第一局部块输入所述第二上采样层，得到第一权值，而第一位置偏移量和第一局部块是第一上采样层的输出结果，第一权值表示第二上采样层中的神经元与第一上采样层中的神经元的联系强度，所述第一权值越大，表示神经元之间的联系强度越大，反之，所述第一权值越小，表示神经元之间的联系强度越小。
具体的，所述第二上采样层包括第一卷积层和第二卷积层，步骤1222包括：
s122a、将所述第一位置偏移量输入到所述第一卷积层，得到所述各个第一像素点分别对应的第一位置分量。
本发明实施例中，将第一位置偏移量输入第一卷积层，对所述第一位置偏移量进行非线性变换后得到第一位置分量。所述第一位置分量体现了第一像素点的第一位置偏移量的大小，第一位置分量越大，表示第一位置偏移量越大，反之，第一位置分量越小，表示第一位置偏移量越小。
举例说明，参见图3，针对各个第一像素点中的一个像素点q1，将第一位置偏移量v1输入到第一卷积层，得到q1对应的第一位置分量point'1，同样的，针对各个第一像素点q1，……，qn，可以得到所述各个第一像素点对应的第一位置分量：point'1，……，point'n，其中，n为生成图像中第一像素点的个数。
s122b、将所述第一局部块输入到所述第二卷积层，得到所述各个第一像素点分别对应的第一数据分量。
本发明实施例中，将第一局部块输入第二卷积层，对所述第一局部块进行非线性变换后，得到第一数据分量。所述第一数据分量体现了所述生成图像中各像素点映射到所述特征图像中各像素点的第一局部块的特征信息，所述第一局部块的特征信息包括所述第一局部块中各像素点的颜色特征、纹理特征形状特征和空间关系特征。
举例说明，参见图4，针对各个第一像素点中的一个像素点q1，将第一局部块h'1输入到第二卷积层，得到q1对应的第一数据分量data'1，同样的，针对各个第一像素点q1，……，qn，可以得到所述各个第一像素点对应的第一数据分量：data'1，……，data'n，其中，n为生成图像中第一像素点的个数。
s122c、根据所述第一位置分量和所述第一数据分量，得到所述各个第一像素点分别对应的第一权值。
本发明实施例中，可以根据第一卷积层输出的第一位置分量和第二卷积层输出的第一数据分量，得到所述各个第一像素点分别对应的第一权值；也可以是按照所述第一位置分量和所述第一数据分量的权重进行求和运算，得到所述各个第一像素点分别对应的第一权值。
举例说明，针对第一像素点中的一个像素点q1，其第一位置分量为：point'1，第一数据分量为data'1，将point'1与data'1相乘，可以得到q1的第一权值w1，同样的，针对各个第一像素点q1，……，qn，可以得到各个第一像素点对应的第一权值w'1，……w'n，其中，n为生成图像中第一像素点的个数。针对第一像素点中的一个像素点q1，其第一位置分量为：point'1，第一数据分量为data'1，也可以是按照所述第一位置分量和所述第一数据分量的权重进行求和运算得到第一权值w'1，记为：w'1＝αpoint'1 βdata'1，其中，α为所述第一卷积层的参数，β为所述第二卷积层的参数，point'1为q1的第一位置分量，data'1为q1的第一数据分量。
本发明实施例中，对于所述第一图像，若第一超分尺度的数值不同，则步骤s122中会对应不同的第一超分尺度，得到不同的第一权值，即本发明实施例提供的模型，对于每一超分尺度，可以动态生成相应的第一权值，可以实现一套模型输出不同超分尺度下的输出结果。
s123、将所述第一局部块和所述第一权值输入到所述第三上采样层，以得到各个第二像素点分别对应的像素值，其中，所述第二像素点为所述生成图像中的像素点。
本发明实施例中，第二像素点t1＝(i1,j1)与第一假定像素点f1＝(i1,j1)的坐标值相同，但是意义不同，第一假定像素点是通过特征图像和第一超分尺度假定的生成图像的像素点，得到第一假定像素点时并未得到生成图像；而第二像素点是根据特征图像的第一像素点的权值和局部块，通过第三上采样层输出的生成图像的像素点，根据第二像素点对应的像素值可得到生成图像，生成图像中每个像素点都称之为第二像素点。
举例说明，针对特征图像x的第一像素点q1＝(i1',j1')，其对应的生成图像y的第二像素点t1＝(i1,j1)；对于生成图像y的第二像素点t1＝(i1,j1)的像素值，可以认为是，由特征图像像素点q1＝(i1',j1')对应的局部块h'1的特征值，以及q1对应的第一权值w1共同决定，第三上采样层可以认为是特征图像x的第一局部块h1到生成图像y的像素值i的映射函数，如公式(1)所示：
iy(i,j)＝φ(sx(h′),w′(i′,j′))(1)
其中，φ表示第一局部块h'的特征值s到生成图像各第二像素点的像素值之间的映射，(h′)表示特征图像x中像素点(i′,j′)的第一局部块h'的特征值，w′(i’,j’)为特征图像x中像素点(i’,j’)的第一权值，iy(i,j)为生成图像中坐标为(i1,j1)的第二像素点的像素值。
s124、将所述各个第二像素点分别对应的像素值输入到所述输出层，以得到所述生成图像。
本发明实施例中，输出层用于将第三采样层的输出结果装换为常见的rgb格式数据，即将各个第二像素点分别对应的像素值转换为常见的rgb格式数据，具体的，首先进行尺度缩放，将各个第二像素点分别对应的像素值乘以255，确保最终的输出具有rgb数据相同的范围，尺度缩放后可能存在超出[0,255]范围的数据，需要对尺度缩放后的结果进行数据截断，将小于0的数据置为0，大于255的数据置为255。
s2、根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。
本发明实施例中，所述第二图像是所述第一图像在所述超分尺度下的图像，相当于图像超分重建处理得到的标准图像，所述生成图像是将所述第一图像输入图像超分重建模型得到的图像，通过比较通过图像超分重建模型得到生成图像与第二图像，得到差值，用得到的差值调整所述图像超分重建模型的模型参数，所述图像超分重建模型的模型参数经过修改，可以使图像超分重建模型得到的生成图像更接近第二图像。
可选的，步骤s2中根据所述第二图像和所述生成图像，对所述图像超分重建模型的模型参数进行调整，包括：
s21a、根据所述第二图像和所述生成图像，计算第一损失值；
在本发明实施例中，所述第二图像为所述第一图像经所述第一超分尺度变换的图像，可看作标准答案，所述第一图像通过超分重建模型得到生成图像，比较所述生成图像各像素点的像素值与所述第二图像各像素点的像素值，得到第一损失值loss1。
s22a、根据所述第一损失值调整所述图像超分重建模型的参数。
在本发明实施例中，假设图像超分重建模型的参数为β1，将第一损失值loss1反向传播修改图像超分重建模型的参数β1，得到修改后参数β2。
本发明实施例中，修改参数之后再继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，其中，所述预设训练条件包括第一损失值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像已训练的超分重建模型来确定，这里不做详细说明，所述预设次数可以为图像超分重建模型的最大训练次数，例如，50000次等。由此，在图形超分重建模型输出生成图像，根据所述生成图像和第二图像计算第一损失值，在计算得到第一损失值后，判断所述第一损失值是否满足预设要求，若第一损失值满足预设要求，则结束训练，若第一损失值不满足预设要求，则判断所述图像超分重建模型的训练次数是否达到训练次数，若未达到预设次数，则根据所述第一损失值对所述图像超分重建模型的参数进行调整，若达到预设次数，则结束训练，这样通过损失函数值和训练次数来判断图像超分重建模型训练是否结束，可以避免因损失函数值无法达到预设要求而造成图像超分重建模型进入死循环。
进一步，由于对图像超分重建模型的参数进行修改是在图像超分重建模型的训练情况未满足预设条件(例如，第一损失值未满足预设要求并且训练次数未达到预设次数)，从而在根据第一损失值对所述图像超分重建模型的参数进行修正后，需要继续对图像超分重建模型进行训练，即继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤。其中，继续执行将训练图像集中第一图像和第一超分尺度输入图像超分重建模型中的第一图像和第一超分尺度可以为均未输入过图像超分重建模型的第一图像和第一超分尺度。例如，训练数据中所有第一图像具有唯一图像标识(例如，图像编号)第一超分尺度的数值不同(r1＝1,r2＝2……)，第一次训练输入图像超分重建模型的第一图像的图像标识与第二次训练输入预设网络模型的第一图像的图像标识不同，如，第一次训练输入图像超分重建模型的第一图像的图像编号为1，第一超分尺度为r1，第二次训练输入图像超分重建模型的第一图像的图像编号为2，第一超分尺度为r2，第n次训练输入图像超分重建模型的第一图像的图像编号为n，第一超分尺度为rn。当然，在实际应用中，由于训练数据中的第一图像的数量有限，为了提高图像超分重建模型的训练效果，可以依次将训练数据中的第一图像输入至图像超分重建模型以对图像超分重建模型进行训练，当训练数据中的所有第一图像和所有第一图像分别对应的第一超分尺度均输入过图像超分重建模型后，可以继续执行依次将训练数据中的第一图像和所有第一图像分别对应的第一超分尺度均输入至图像超分重建模型的操作，以使得训练数据中的训练图像组按循环输入至图像超分重建模型。需要说明的是，在将第一图像输入图像超分重建模型训练的过程中，可以按照各个第一图像的图像编号顺序输入，也可以不按照各个第一图像的图像编号顺序输入，当然，可以重复使用同一张第一图像对预设网络模型进行训练，也可以不重复使用同一张第一图像对预设网络模型进行训练，在本实施例中，不对“继续执行将训练图像集中的第一图像输入预设网络模型的步骤”的具体实现方式进行限定。
可选的，步骤s2中根据所述第二图像和所述生成图像，对所述图像超分重建模型的模型参数进行调整，还可以包括：
s21b、根据所述第二图像和所述生成图像，计算第一损失值。
本发明实施例中，步骤s21a与步骤s21b相同，比较所述生成图像各像素点的像素值与所述第二图像各素点的像素值，得到第一损失值loss1。
s22b、将所述生成图像和所述第二图像输入辨别器网络，得到所述生成图像的概率，根据所述概率计算第二损失值。
本发明实施例中，可选的，所述图像超分重建模型采用生成对抗的方式进行训练，将所述图像超分重建模型作为生成对抗训练中的生成器，以得到生成图像，将所述生成图像和第二图像输入辨别器网络，让辨别器网络分辨所述生成图像和第二图像哪个是第一图像在第一超分尺度下真实图像，根据辨别器的输出的所述生成图像为真实图像的概率计算第二损失值。
s23b、根据所述第一损失值和所述第二损失值调整所述图像超分重建模型的参数。
本发明实施例中，所述图像超分重建模型采用生成对抗的方式进行训练，所述第一损失值相当于生成对训练中生成器的损失值，所述第二损失值相当于生成训练中辨别器的损失值，根据所述第一损失值和所述第二损失值调整所述图像超分重建模型的参数。经过多次迭代训练，使图像超分重建模型输出的生成图像更加接近所述第二图像，而辨别器无法识别真假图像，所述辨别器输出的概率接近0.5，概率接近0.5相当于辨别器无法分辨真假，只能随机猜测。
本发明实施例中，同样的，修改参数之后再继续执行将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，其中，其中，所述预设训练条件包括第一损失值满足预设要求或者训练次数达到预设次数。所述预设要求可以是根据图像已训练的超分重建模型来确定，这里不做详细说明，所述预设次数可以为图像超分重建模型的最大训练次数，例如，50000次等。所述预设训练条件还可以是辨别器输出的概率接近0.5，表示超分重建模型得到的生成图像已非常接近第二图像。
本发明实施例中还提供了一种图像超分重建方法，参见图5，示出一种图像超分重建方法，所述图像超分重建方法例如可以包括以下步骤包括：
k1、获取待处理图像，以及所述待处理图像的第二超分尺度。
本发明实施例中，所述待处理图像可以是rgb图像，也可以是图像传感器获取的原始图像(raw图像)，所述第二超分尺度的数值可以是任意数值，例如，可以是非整数倍，例如1.5、2.5、3.3等，也可以是整数倍：2、4、6等。
若待处理图像是raw图像，raw图像中包含图像的所有噪声在内的所有信息，因此需要对raw图像进行预处理，预处理就是要将raw图像中的噪声去除，经过预处理才能得到的图像噪点更少。预处理包括对图像进行降维处理和归一化。
具体的，当所述待处理图像是raw图像时，在步骤k1之后，包括：对所述待处理图像进行预处理，得到预处理后的图像，并将所述预处理后的图像作为待处理图像。
具体的，所述对所述待处理图像进行预处理，得到预处理后的图像，并将所述预处理后的图像作为待处理图像，包括：
k11、将所述待处理图像的单维度数据转换为四维度数据；
k12、将所述四维数据进行归一化处理，得到预处理后的图像，并将所述预处理后的图像作为待处理图像。
在本发明实施例中，图像传感器获取的图像为raw格式，图像传感器可以是ccd传感器或cmos传感器，图像传感器拍摄的彩色图像的数据采用拜耳阵列排布。
举例说明，在获取的raw格式的单图像x后，包括：对原始图像x进行预处理，预处理包括：将raw图像数据的维度由h×w×1，例如，图3中，h＝8，w＝8，raw图像数据为8×8×1，维度为1，改变为
k2、将所述待处理图像和所述第二超分尺度输入已训练的图像超分重建模型，以得到所述待处理图像对应的超分重建图像，其中，所述已训练的图像超分重建模型为上述一种图像超分重建模型的训练方法得到的图像超分重建模型。
本发明实施例中，通过已训练的图像超分重建模型，得到所述待处理图像在所述第二超分尺度下的超分重建图像。所述图像超分重建模型包括：特征提取模块和上采样模块，其中，所述特征提取模型用于提取所述待处理图像的特征，所述上采样模块用于根据所述特征提取模块的输出结果输出所述超分重建图像。
具体的，步骤k2包括：
k21、将所述待处理图像输入特征提取模块，以得到待处理特征图像。
本发明实施例中，特征提取模块可以是现有网络中的任意一种，如edsr超分网络的残差模块、rdn超分网络中的rdb模块、srdensenet中的稠密连接模块、senet中的se模块、inception网络中的inception模块或者convlstm等等。
举例说明，可以选取edsr超分网络的残差模块作为本发明实施例中超分重建模型中的特征提取模块，将所述待处理图像输入edsr超分网络的残差模块，得到所述待处理图像对应的待处理特征图像。
k22、将所述待处理特征图像和所述第二超分尺度输入上采样模块，以得到超分重建图像。
本发明实施例中，上采样模块主要是通过上采样方法放大图像，上采样方法主要有三种方式：插值法、反卷积和反池化，本发明实施例中可以采用反卷积实现，反卷积的过程最大的特点在于，其需要通过训练学习上采样模块的参数，训练完成后，上采样模块可以得到更接近第二图像的生成图像。
具体的，所述上采样模块包括第一上采样层、第二上采样层、第三上采样层和输出层，步骤k22包括：
k221、将所述待处理特征图像和所述第二超分尺度输入到所述第一上采样层，以得到各个第三像素点分别对应的第二位置偏移量以及第二局部块，其中，所述第三像素点为所述待处理特征图像中的像素点。
本发明实施例中，根据待处理特征图像和所述第二超分尺度，通过所述第一上采样层得到超分重建图像的大小，由于进行此步骤时并未真正得到超分重建图像，因此，可称其为假定的超分重建图像，并通过假定的超分重建图像的大小可以得到假定的超分重建图像中的各像素点的坐标，再由假定的超分重建图像中的各像素点的坐标推出其在所述待处理特征图像中的各个像素点，即所述各个第三像素点，所述待处理特征图像中的任意一个像素点都可以称为第一像素点。通过所述第一上采样层，还可以得到所述各个第三像素点分别对应的第二位置偏移量，以及第二局部块。由假定的超分重建图像中的各像素点的坐标推出其在所述待处理特征图像中的各个像素点的过程中，产生的位置偏移是所述第二位置偏移量。所述第二局部块是得到各个第三像素点后，以所述各个第三像素点为中心，取待处理特征图像中的部分像素点形成第三局部块，部分像素包括所述待处理特征图像中以第三像素点为中心的邻域像素点。
具体的，步骤k221包括：
k221a、将所述待处理特征图像和所述第二超分尺度输入到所述第一上采样层，以确定所述超分重建图像的第二假定像素点。
本发明实施例中，所述第一上采样层通过所述待处理特征图像的分辨率和第二超分尺度的数值，可以得到所述超分重建图像的分辨率，通过所述超分重建图像的分辨率可以知道所述超分重建图像中各像素点的坐标，由于超分重建图像还未生成，通过计算超分重建图像的分辨率，得到的所述生成图像中各像素点的坐标称为第二假定像素点。
举例说明，假设所述输入的特征图像a的分辨率为500*500，第二超分尺度r2＝2.2，可以得到超分重建图像b的分辨率为1100*1100，可以假定超分重建图像b的像素点，即第二假定像素点，所述第二假定像素点的横坐标可以取1至1100，纵坐标可以取1至1100。
k221b、并根据所述第二假定像素点和所述第二超分尺度，计算所述第二假定像素点对应的第二计算值。
本发明实施例中，所述超分重建图像是所述待处理特征图像在第二超分尺度下得到的图像，所述超分重建图像的各像素点的坐标与所述待处理特征图像的各像素点的坐标的比值，理论上接近所述第二超分尺度的数值。将所述各个第二假定像素点的坐标除以第二超分超分尺度的数值，即可得到所述各个第二假定像素点各自分别对应的第二计算值，所述第二计算值代表，通过超分重建图像的各像素点的坐标以及所述第二超分尺度，在理论上应得到的待处理特征图像的各第三像素点的真实坐标。
举例说明，针对超分重建图像b的各个第二假定像素点中的一个像素点a1＝(i1,j1)＝(700,200)，第二超分尺度r2＝2.2，将a1的横坐标和纵坐标分别除以r2，可以计算出第二假定像素点a1对应的第二计算值b1，即
k221c、对所述第二计算值作取整计算，以得到所述第二假定像素点对应的第三像素点。
本发明实施例中，由于第二超分尺度r2的数值可以是任意数值，直接采用各个第二假定像素点除以r2，不能保证是整数，因此需要对第二计算值进行取整计算，可选的，对第二计算值进行向下取整计算，将取整后的值作为与所述各个第二假定像素点分别对应的第三像素点。
举例说明，针对超分重建图像b的各个第二假定像素点中的一个像素点a1＝(i1,j1)＝(700,200)，其对应的第二计算值b1＝(318.18,90.91)，对b1做向下取整计算，得到a1对应的第三像素点
k221d、计算所述第三像素点与所述第二计算值的差值，得到各个第三像素点分别对应的第二位置偏移量。
本发明实施例中，由于步骤k221c中，对第二计算值作了取整计算，所述第二假定像素点通过第二超分尺度直接对应的第二计算值，与第二计算值取整得到的特征图像的第三像素点之间出现了位置偏移量，称为第二位置偏移量。
举例说明，针对待处理特征图像的第二像素点中的一个像素点c1＝(318,90)，其对应的第二计算值为：b1＝(318.18,90.91)，根据b1和c1可以得到c1的第二位置偏移量
或者，考虑到第二超分尺度的影响，也可以是：针对每一个第三像素点，根据第二像素点、该第二像素点对应的第二计算值和所述第二超分尺度得到各个第三像素点分别对应的第二位置偏移量。
本发明实施例中，所述第二位置偏移量中，除了包括所述第二计算值和所述第二像素点之间的差值以外，还可以包括第二超分尺度，以便所述第二位置偏移量用于在同时训练多个不同的第二超分尺度时，可以区分不同超分尺度的第二位置偏移量，进而区分不同超分尺度下的第二权值和不同超分尺度下得到的超分重建图像的像素点的像素值。
举例说明，当a1＝(i1,j1)＝(700,200)，第二超分尺度r2＝2.2时，则c1＝(318,90)，其对应的第二计算值为：b1＝(318.18,90.91)，,根据b1、c1和r2，可以得到c1的c1的第二位置移量
k221e、根据所述第三像素点和所述第一上采样层中卷积核的大小，在所述待处理特征图像中提取各个第三像素点分别对应的第二局部块。
本发明实施例中，通过所述第一上采样层中的卷积核获取k*k矩阵，分别以每一个第三像素点依次作为k*k矩阵的中心点，并可以将中心点为第三像素点的k*k矩阵所对应的区域作为该第三像素点分别对应的第二局部块，例如，可以将中心点为第三像素点c2的k*k矩阵所对应的区域作为该第三像素点c2对应的第二局部块，可以将中心点为第三像素点c3的k*k矩阵所对应的区域作为该第三像素点c3对应的第二局部块；其中，所述第二局部块包括第三像素点和所述第三像素点的邻域像素点，所述k为第一上采样层的卷积核的数量，第二局部的大小为k*k。
举例说明，待处理特征图像a的一个第三像素点坐标c1＝(318,90)，在待处理特征图像a中，以c1为中心，取大小为k*k的第二局部块h”1，所述k为第一上采样层的卷积核的大小，假设k＝3，则第二局部块h”1由待处理特征图像a中的9个像素点组成。
本发明实施例中，当第三像素点为所述待处理特征图像的边缘像素点时，在待处理特征图像中无法得到以第三像素点作为中心点的k*k矩阵对应的完整区域，此时，需要进行补零操作，即用像素值“0”填充所述第二局部块中所缺少的第三像素点的邻域像素点的位置，这样，补零之后，位于所述待处理特征图像边缘的第三像素点对应的第二局部块中的部分像素点是待处理特征图像中的部分第三像素点，另一部分像素点是填充的像素值为0的填充像素点。
举例说明：若待处理特征图像a的一个第三像素点坐标c4＝(1,1)，k＝3，在待处理特征图像a中，以c4＝(1,1)为中心，取大小为3*3的第二局部块h”2，第二局部块h”2中包括第三像素点c4＝(1,1),第三像素点c5＝(1,2),第三像素点c6＝(2,1),第三像素点c7＝(2,2)，以及其余五个像素值为0的填充像素点。
k222、将所述各个第三像素点分别对应的第二位置偏移量和第二局部块输入到所述第二上采样层，以得到所述各个第三像素点分别对应的第二权值。
本发明实施例中，根据各个第三像素点的第二位置偏移量和第二局部块得到所述各个第三像素点分别对应的第二权值，因此所述第二权值不仅与所述第二位置偏移量有关，还与所述第二局部块有关，通过第二上采样层得到第二权值的过程也可以称为双边上采样过程。
本发明实施例中，所述各个第三像素点的第二位置偏移量和第二局部块经过线性组合形式输入所述第二上采样层中，通过非线性激活函数的变换，得到第二权值。所述第二位置偏移量和第二局部块输入所述第二上采样层，得到第二权值，而第二位置偏移量和第二局部块是第一上采样层的输出结果，第二权值表示第二上采样层中的神经元与第一上采样层中的神经元的联系强度，所述第二权值越大，表示神经元之间的联系强度越大，反之，所述第二权值越小，表示神经元之间的联系强度越小。
具体的，所述第二上采样层包括第一卷积层和第二卷积层，步骤k222包括：
k222a、将所述第二位置偏移量输入到所述第一卷积层，得到所述各个第三像素点分别对应的第二位置分量。
本发明实施例中，将第二位置偏移量输入第一卷积层，对所述第二位置偏移量进行非线性变换后得到第二位置分量，所述第二位置分量体现了第三像素点的第二位置偏移量的大小，第二位置分量越大，表示第二位置偏移量越大，反之，第二位置分量越小，表示第二位置偏移量越小。
举例说明，针对各个第三像素点中的一个像素点c1，将第二位置偏移量v2输入到第一卷积层，得到q1对应的第二位置分量point”1，同样的，针对各个第三像素点c”1，……，c”n，可以得到所述各个第三像素点对应的第二位置分量：point”1，……，point”n，n为超分重建图像的像素点个数。
k222b、将所述第二局部块输入到所述第二卷积层，得到所述各个第三像素点分别对应的第二数据分量。
本发明实施例中，将第二局部块输入第二卷积层，对所述第二局部块进行非线性变换后，得到第二数据分量，所述第二数据分量体现了所述超分重建图像中各像素点映射到所述待处理特征图像中各像素点的第二局部块的特征信息，所述第二局部块的特征信息包括所述第二部块中各像素点的颜色特征、纹理特征形状特征和空间关系特征。
举例说明，针对各个第三像素点中的一个像素点c1，将第二局部块h”1输入到第二卷积层，得到c1对应的第二数据分量data”1，同样的，针对各个第三像素点c1，……，cn，可以得到所述各个第三像素点对应的第二数据分量：data”1，……，data”n。
k222c、根据所述第二位置分量和所述第二数据分量相乘，得到所述各个第三像素点分别对应的第二权值。
本发明实施例中，根据第一卷积层输出的第二位置分量和第二卷积输出的第二数据分量，可以将根据所述第二位置分量和所述第二数据分量，得到所述各个第三像素点分别对应的第二权值；也可以是按照所述第二位置分量和所述第二数据分量的权重进行求和运算，得到所述各个第三像素点分别对应的第二权值。
举例说明，针对各个第三像素点中的一个像素点c1，其第二位置分量为：point”1，第二数据分量为data”1，将point”1与data”1相乘，可以得到c1的第二权值w”1，同样的，针对各个第三像素点c1，……，cn，可以得到各个第三像素点对应的第二权值w”1，……w”n。针对第三像素点中的一个像素点c1，其第二位置分量为：point”1，第二数据分量为data”1，也可以是按照所述二位置分量和所述第二数据分量的权重进行求和运算得到第二权值w”1，记为：w”1＝α′point”1 β′data”1，其中，α′为已训练的超分重建图像模型中第一卷积层的参数，β′为已训练的超分重建图像模型第二卷积层的参数，point”1为c1的第二位置分量，data”1为c1的第二数据分量。
k223、将所述第二局部块和所述第二权值输入到所述第三上采样层，以得到各个第四像素点分别对应的像素值，其中，所述第四像素点为所述超分重建图像中的像素点；
本发明实施例中，针对待处理特征图像a的第三像素点c1＝(i1',j1')，对应生成的超分重建图像b的第四像素点d1＝(i1,j1)，如公式(2)通过待处理特征图像a的第二局部块h”1到超分重建图像b的像素值i的映射函数，可以得到超分重建图像b中各个第四像素点的像素值。
ib(i,j)＝φ(sa(h″),w″(i′,j′))(2)
其中，φ表示第二局部块h”的特征值s到生成图像各第二像素点的像素值之间的映射，sa(h″)表示待处理特征图像a中像素点(i′,j′)的第二局部块h”的特征值，w″(i’,j’)为待处理特征图像a中像素点(i’,j’)的第二权值，ib(i,j)为超分重建图像b中坐标为(i,j)的第四像素点的像素值。
k224、将所述各个第四像素点分别对应的像素值输入到所述输出层，以得到所述超分重建图像。
本发明实施例中，输出层用于将第三采样层的输出结果装换为常见的rgb格式数据，即将各个第四像素点分别对应的像素值转换为常见的rgb格式数据，具体的，首先进行尺度缩放，将各个第四像素点分别对应的像素值乘以255，确保最终的输出具有rgb数据相同的范围，尺度缩放后可能存在超出[0,255]范围的数据，需要对尺度缩放后的结果进行数据截断，将小于0的数据置为0，大于255的数据置为255，得到超分重建图像。
现有的超分方法对于不同尺度需要采用不同的模型重新计算，图像超分重建模型可以实现多种任意尺度的超分。参见图6，图6示出了不同尺度的超分效果，a为1.5倍，b为2倍，c为2.5倍，d为3倍，e为3.5倍，f为4倍，在进行同一图像进行多个尺度放大超分时，只需要改变输入超分重建模型中上采样模块的超分尺度，使得一套模型进行多尺度图像超分的操作方便快捷，这无疑提升了用户体验。
在一个实施例中，本发明提供了一种计算机设备，该设备可以是终端，内部结构如图7所示。该计算机设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该计算机设备的处理器用于提供计算和控制能力。该计算机设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该计算机设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现图像超分重建模型的训练方法。该计算机设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该计算机设备的输入装置可以是显示屏上覆盖的触摸层，也可以是计算机设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图7所示的仅仅是与本申请方案相关的部分结构的框图，并不构成对本申请方案所应用于其上的计算机设备的限定，具体的计算机设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像；
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像；
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
上述一种图像超分重建模型的训练方法和计算机设备，所述训练方法包括：将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像；根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。本方法在训练时，经过取整计算第一像素点的坐标，使在任意数值的超分尺度下都可以找到第一图像和生成图像之间的坐标映射，通过本发明训练得到的已训练的图像超分重建模型，对超分尺度的数值不做限定；本方法在训练时，生成了第一超分尺度下的第一权重，对于不同的第一超分尺度，可以动态生成每一超分尺度对应的权值，通过本发明训练得到的已训练的图像超分重建模型可以实现一个模型输出任意尺度下的超分结果，在实际应用中可以满足更多需要。
1.一种图像超分重建模型的训练方法，其特征在于，所述方法包括：
将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，其中，所述训练数据包括多组训练图像组，每一组训练图像组包括第一图像、第二图像和第一超分尺度，第二图像为第一图像在第一超分尺度下所对应的图像；
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，并继续执行所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型的步骤，直至满足预设训练条件，以得到已训练的图像超分重建模型。
2.根据权利要求1所述的方法，其特征在于，所述图像超分重建模型包括：特征提取模块和上采样模块；
所述将训练数据中的第一图像和第一超分尺度输入图像超分重建模型，通过所述图像超分重建模型生成所述第一图像在所述第一超分尺度下所对应的生成图像，包括：
将所述第一图像输入所述特征提取模块，以得到所述第一图像对应的特征图像；
将所述特征图像和所述第一超分尺度输入所述上采样模块，以得到所述特征图像对应的生成图像。
3.根据权利要求2所述的方法，其特征在于，所述上采样模块包括第一上采样层、第二上采样层、第三上采样层和输出层；
所述将所述特征图像和所述第一超分尺度输入所述上采样模块，以得到所述特征图像对应的生成图像，包括：
将所述特征图像和所述第一超分尺度输入到所述第一上采样层，以得到各个第一像素点分别对应的第一位置偏移量以及第一局部块，其中，所述第一像素点为所述特征图像中的像素点；
将所述各个第一像素点分别对应的第一位置偏移量和第一局部块输入到所述第二上采样层，以得到所述各个第一像素点分别对应的第一权值；
将所述第一局部块和所述第一权值输入到所述第三上采样层，以得到各个第二像素点分别对应的像素值，其中，所述第二像素点为所述生成图像中的像素点；
将所述各个第二像素点分别对应的像素值输入到所述输出层，以得到所述生成图像。
4.根据权利要求3所述的方法，其特征在于，所述将所述特征图像和所述第一超分尺度输入到所述第一上采样层，以得到各个第一像素点分别对应的第一位置偏移量以及第一局部块，包括：
将所述特征图像和所述第一超分尺度输入到所述第一上采样层，以确定所述生成图像的各个第一假定像素点；
根据所述各个第一假定像素点和所述第一超分尺度，计算所述各个第一假定像素点各自分别对应的第一计算值；
对所述各个第一假定像素点各自分别对应的第一计算值作取整计算，得到与所述各个第一假定像素点分别对应的第一像素点；
针对每一个第一像素点，计算第一像素点与该第一像素点对应的第一计算值之间的差值，得到各个第一像素点分别对应的第一位置偏移量；
根据所述各个第一像素点和所述第一上采样层的卷积核的大小，在所述特征图像中提取所述各个第一像素点分别对应的第一局部块。
5.根据权利要求3所述的方法，其特征在于，所述第二上采样层包括第一卷积层和第二卷积层；
所述将所述各个第一像素点分别对应的第一位置偏移量和第一局部块输入到所述第二上采样层，以得到所述各个第一像素点分别对应的第一权值，包括：
将所述第一位置偏移量输入到所述第一卷积层，得到所述各个第一像素点分别对应的第一位置分量；
将所述第一局部块输入到所述第二卷积层，得到所述各个第一像素点分别对应的第一数据分量；
根据所述第一位置分量和所述第一数据分量，得到所述各个第一像素点分别对应的第一权值。
6.根据权利要求3所述的方法，其特征在于，所述将所述各个第一像素点分别对应的第一位置偏移量和第一局部块输入到所述第二上采样层，以得到所述各个第一像素点分别对应的第一权值，包括：
将所述各个第一像素点分别对应的第一位置偏移量和第一局部块拼接输入到所述第二上采样层，得到所述各个第一像素点分别对应的第一权值。
7.根据权利要求1所述的方法，其特征在于，所述根据所述第二图像和所述生成图像，对所述图像超分重建模型的模型参数进行调整，包括：
根据所述第二图像和所述生成图像，计算第一损失值；
根据所述第一损失值调整所述图像超分重建模型的参数。
8.根据权利要求1所述的方法，其特征在于，所述根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，对所述图像超分重建模型的模型参数进行调整，包括：
根据所述第一图像对应的第二图像和所述第一图像对应的生成图像，计算第一损失值；
将所述生成图像和所述第二图像输入辨别器网络，得到所述生成图像的概率，根据所述概率计算第二损失值；
根据所述第一损失值和所述第二损失值调整所述图像超分重建模型的参数。
9.根据权利要求1所述的方法，其特征在于，当所述第一图像为图像传感器获取的原始图像时，在所述将所述第一图像和所述第一超分尺度输入图像超分重建模型之前，所述方法还包括：
对所述第一图像进行预处理，得到预处理后的图像，并将所述预处理后的图像作为第一图像。
10.根据权利要求9所述的方法，其特征在于，所述对所述第一图像进行预处理，得到预处理后的图像，并将所述预处理后的图像作为第一图像，包括：
将所述第一图像的单维度数据转换为四维度数据；
将所述四维数据进行归一化处理，得到预处理后的图像，并将所述预处理后的图像作为第一图像。
11.一种图像超分重建方法，其特征在于，所述方法包括：
获取待处理图像，以及所述待处理图像的第二超分尺度；
将所述待处理图像和所述第二超分尺度输入已训练的图像超分重建模型，以得到所述待处理图像对应的超分重建图像，其中，所述已训练的图像超分重建模型为权利要求1-10中任一所述的图像超分重建模型。
12.根据权利要求11所述的方法，其特征在于，所述图像超分重建模型包括：特征提取模块和上采样模块；
所述将所述待处理图像和所述第二超分尺度输入已训练的图像超分重建模型，以得到所述待处理图像对应的超分重建图像，包括：
将所述待处理图像输入特征提取模块，以得到待处理特征图像；
将所述待处理特征图像和所述第二超分尺度输入上采样模块，以得到超分重建图像。
13.根据权利要求12所述的方法，其特征在于，所述上采样模块包括第一上采样层、第二上采样层、第三上采样层和输出层；
所述将所述待处理特征图像和所述第二超分尺度输入上采样模块，以得到超分重建图像，包括：
将所述待处理特征图像和所述第二超分尺度输入到所述第一上采样层，以得到各个第三像素点分别对应的第二位置偏移量以及第二局部块，其中，所述第三像素点为所述待处理特征图像中的像素点；
将所述各个第三像素点分别对应的第二位置偏移量和第二局部块输入到所述第二上采样层，以得到所述各个第三像素点分别对应的第二权值；
将所述第二局部块和所述第二权值输入到所述第三上采样层，以得到各个第四像素点分别对应的像素值，其中，所述第四像素点为所述超分重建图像中的像素点；
将所述各个第四像素点分别对应的像素值输入到所述输出层，以得到所述超分重建图像。
14.根据权利要求13所述的方法，其特征在于，所述将所述待处理特征图像和所述第二超分尺度输入到所述第一上采样层，以得到各个第三像素点分别对应的第二位置偏移量以及第二局部块，包括：
将所述待处理特征图像和所述第二超分尺度输入到所述第一上采样层，以确定所述超分重建图像的第二假定像素点；
并根据所述第二假定像素点和所述第二超分尺度，计算所述第二假定像素点对应的第二计算值；
对所述第二计算值作取整计算，以得到所述第二假定像素点对应的第三像素点；
计算所述第三像素点与所述第二计算值的差值，得到各个第三像素点分别对应的第二位置偏移量；
根据所述第三像素点和所述第一上采样层中卷积核的大小，在所述待处理特征图像中提取各个第三像素点分别对应的第二局部块。
15.根据权利要求13所述的方法，其特征在于，所述第二上采样层包括第一卷积层和第二卷积层；
所述将所述各个第三像素点分别对应的第二位置偏移量和第二局部块输入到所述第二上采样层，以得到所述各个第三像素点分别对应的第二权值，包括：
将所述第二位置偏移量输入到所述第一卷积层，得到所述各个第三像素点分别对应的第二位置分量；
将所述第二局部块输入到所述第二卷积层，得到所述各个第三像素点分别对应的第二数据分量；
根据所述第二位置分量和所述第二数据分量，得到所述各个第三像素点分别对应的第二权值。
16.根据权利要求13所述的方法，其特征在于，所述将所述各个第三像素点分别对应的第二位置偏移量和第二局部块输入到所述第二上采样层，以得到所述各个第三像素点分别对应的第二权值，包括：
将所述第二位置偏移量和所述第二局部块拼接输入到所述第二上采样层，以得到所述各个第三像素点分别对应的第二权值。
17.根据权利要求11所述的方法，其特征在于，当所述待处理图像为图像传感器获取的原始图像时，在所述将所述待处理图像和所述第二超分尺度输入已训练的图像超分重建模型之前，所述方法还包括：
对所述待处理图像进行预处理，得到预处理后的图像，并将所述预处理后的图像作为待处理图像。
18.根据权利要求17所述的方法，其特征在于，所述对所述待处理图像进行预处理，得到预处理后的图像，并将所述预处理后的图像作为待处理图像，包括：
将所述待处理图像的单维度数据转换为四维度数据；
将所述四维数据进行归一化处理，得到预处理后的图像，并将所述预处理后的图像作为待处理图像。
19.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至10中任一项所述方法的步骤。
20.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至10中任一项所述的方法的步骤。
技术总结