本发明涉及一种视频超分辨率重建方法，特别涉及一种基于深度学习的视频超分辨率重建方法。
背景技术：
1、目前，随着视频处理技术的发展和各类显示设备的分辨率提高，视频在人们生活中占据着越来越重要的位置，视频超分辨率重建的需求也在逐渐提高。超分辨率(简称超分)重建任务是根据低分辨率图像信息计算并生成其对应的高分辨率图像，分为单幅图像超分辨率重建和视频超分辨率重建。视频超分辨率重建方法与图像超分辨率重建相比，除了提取图像本身的特征信息之外，还要从重建帧的邻近帧中提取有价值的互补或相似细节进行重建。视频超分辨率重建对连续的视频帧序列中的时间和空间信息充分利用是该任务的重点。目前信息的传播主要采用迭代方式和循环方式，前者将重建帧及多个邻近帧对齐后进行重建得到超分辨率结果，而后者利用当前时序上累积的特征信息对当前时间步进行重建。如何对多信息的特征进行准确的融合是影响超分辨率重建质量的关键,其中将多信息有效对齐是融合的前提。对齐通常分为显式对齐和隐式对齐,显式对齐指用直观的方式有目的性地让图像或特征对齐,常见的方法有运动估计与补偿方法；隐式对齐法不同于显式对齐，它是可以利用神经网络的学习能力让模型自适应地从多帧图像及特征中提取合适的信息进行对齐。目前深度学习在计算机视觉领域有广泛的应用，在超分辨率重建方面也取得较好的效果。因此需要设计深度网络模型的结构和损失函数，利用先验信息，过去、现在和未来的全时信息，以及时空相关性更好地重建出低频超分序列和高频超分序列，从而融合生成最后的高分辨率视频。
技术实现思路
1、本发明的主要目的是在深度神经网络中结合迭代和循环方式使得每个帧在重建时都能够运用过去和未来全部帧累积信息，同时设计基于双向混合传播的低频超分重建，以及基于非局部注意力渐进融合的高频超分重建，并利用先验信息设计新的损失函数更好地优化深度学习模型，而提供的一种基于深度学习的视频超分辨率重建方法。
2、本发明提供的基于深度学习的视频超分辨率重建方法，其方法包括的步骤如下：
3、第一步、获取视频样本，构建视频超分辨率重建任务的数据集，将每段高分辨率视频对应的高分辨率图像序列进行高斯模糊下采样，得到对应的低分辨率图像序列来构建视频超分辨率重建任务的数据集，并将其分为训练集、验证集和测试集；
4、第二步、构建全时超分辨率重建网络模型，通过下面三个步骤构造深度神经网络，称为全时视频超分辨率网络模型，包括先验信息生成器、基于双向混合传播的低频超分重建以及融合高频信息的超分重建，具体步骤如下：
5、步骤1、先验信息生成器的构建，首先正反两个时间方向上的图像序列采用基于高斯混合分布的背景减除算法得到双向的前景信息，经一系列图像处理操作后得到二值图像作为蒙版，再与高分辨率图像共享高斯模糊下采样核得到补充的先验信息，作为先验知识提供给网络，先验信息能够换成任何对于网络训练有帮助的信息；
6、步骤2、基于双向混合传播的低频超分重建，网络构建中设计双向混合传播模块和低频超分重建模块，具体如下：
7、(1)双向混合传播模块构建，按图像序列的正反两个方向送入对应的循环传播网络，按滑动窗口的迭代方式构建双向混合传播方式，在正向或反向混合传播中，每一个时间步基于滑动窗口方式迭代地接收三个输入：循环传播的历史特征，重建帧、未来帧或过去帧以及先验信息融合后的特征提取，以及重建帧本身的浅层特征，将以上三个输入进行特征提取与融合后，再经过正向或反向的循环网络传播，得到过去的或未来的特征图序列，输出到下一步的低频重建模块；
8、(2)低频超分重建，将上述得到的两个特征图序列进行降维，通过少数的残差连接块的解码和上采样块构建低频超分结果；
9、步骤3、融合高频信息的重建，依次进行特征提取与对齐、全时渐进融合、高频超分重建以及高频融合重建，具体如下：
10、(1)特征提取与对齐模块的构建，该模块接收当前帧与左右邻近共三帧作为输入，输入时每帧伴随着先验信息，对它们分别进行特征提取与对齐后进行拼接降维，输出到下一步的全时渐进融合模块中；
11、(2)全时渐进融合模块，在这个模块中由数个级联的非局部注意力渐进融合残差块组成，非局部注意力渐进融合残差块的构建来自于过去、现在和未来的三个特征通道上的特征图拼接,经过降维卷积后将该隐藏状态输入到非局部注意力块中,经过该块后输出了包含全局信息的特征状态,将这个特征状态与三个通道拼接前的各自通道上的特征状态进行拼接,再将每个通道分别输入到一个卷积块中,最终将每个通道得到的特征图与输入前的特征图进行逐像素相加的残差连接,就得到了该块的三通道输出；
12、(3)高频超分重建模块，对全时渐进融合后的信息进行高频细节超分重建，与上述步骤2中的低频超分重建模块的结构一样，但不共享参数；
13、(4)高频融合重建，将上述步骤2中得到的低频超分重建结果与上述的高频超分重建结果叠加，得到融合后的图像超分辨率结果；
14、第三步、模型训练，将低频超分重建结果的损失、融合高频信息重建结果的损失及基于重建的图像特征感知损失这三者综合起来构建损失函数，将训练集输入到第二步构建的全时视频超分辨率网络模型中进行训练，训练设定轮数后，待模型效果趋于收敛停止训练，得到最终的视频超分辨率重建网络；
15、第四步、将待进行超分辨率重建任务的视频，制作成一组相同分辨率大小的图像序列，将图像序列输入到训练好的网络模型中，得到超分辨率重建后的图像序列，再将图像序列合成视频。
16、本发明的有益效果：
17、本发明提供的基于深度学习视频超分辨率重建方法，在双向混合传播框架下，能够运用过去和未来全部帧累积的状态，构建了低频超分结果，并采用非局部注意力渐进融合，对来自过去、现在和未来的信息进行渐进融合,充分提取帧内空间相关性与帧间时间相关性,实现了有效的对齐与融合，同时利用先验信息,使得模型更好地重建前景的高频信息,提高重建观感和质量。该方法在多个公开数据集上取得了较好的重建效果。
1.一种基于深度学习的视频超分辨率重建方法，其特征在于：其方法包括的步骤如下：
