本公开涉及人工智能领域，具体涉及一种基于深度神经网络的图像超分辨率重建方法及系统。
背景技术：
1、随着科技的不断发展，图像和视频技术在各个领域中的应用越来越广泛。然而，由于受到成像设备和传输信道等因素的限制，获取的图像或视频往往存在分辨率不足的问题，会导致图像细节不清晰，视觉效果不佳。因此，图像超分辨率重建方法应运而生。
2、图像超分辨率重建方法是指通过算法处理，基于低分辨率图像生成对应的高分辨率图像的方法。近年来，随着深度学习技术的快速发展，神经网络模型在图像超分辨率重建领域得到了广泛的应用。基于神经网络的图像超分辨率重建方法通过学习大量的低分辨率和高分辨率图像对，建立二者的映射关系，从而实现从低分辨率图像到高分辨率图像的转换。相较于传统的插值方法，神经网络模型具有更强的学习能力和自适应能力，能够更好地保持图像的细节，提高重建效果。
3、然而，现有的基于神经网络的图像超分辨率重建方法一般计算量大，需要大量计算资源，难以部署在计算资源有限的设备(例如嵌入式设备或者fpga(field-programmablegate array，现场可编程门阵列)设备)中。因此，如何减少神经网络模型对计算资源的需求，从而实现高效的图像超分辨率重建，是亟待解决的问题。
技术实现思路
1、本公开是有鉴于上述的状况而提出的，其目的在于提供一种能够降低神经网络模型对计算资源的需求的基于深度神经网络的图像超分辨率重建方法及系统。
2、为此，本公开的第一方面提供一种基于深度神经网络的图像超分辨率重建方法，包括：将待处理图像输入至经训练的神经网络模型以获得与所述待处理图像对应的目标图像，所述目标图像的分辨率高于所述待处理图像的分辨率，其中，所述神经网络模型包括第一提取模块、第一上采样模块、第二上采样模块、以及残差连接模块，所述第一提取模块包括残差模块且配置为通过所述残差模块对与所述待处理图像相关的初始特征信息进行深层特征提取以获得深层特征信息，其中，所述残差模块包括至少一个深度可分离卷积层且配置为将所述至少一个深度可分离卷积层中的最后一个深度可分离卷积层的输出与所述残差模块的输入进行残差连接以获得残差特征信息，第一个所述残差模块的输入为所述初始特征信息，将最后一个所述残差模块输出的残差特征信息作为所述深层特征信息，所述第一上采样模块配置为对所述深层特征信息进行通道融合以获得融合特征信息，并对所述融合特征信息进行像素重组以获得重组图像，所述重组图像的分辨率与所述目标图像的分辨率相同，所述第二上采样模块配置为对所述待处理图像进行插值上采样以获得上采样图像，所述上采样图像与所述目标图像的分辨率相同，所述残差连接模块配置为将所述上采样图像与所述重组图像进行残差连接以获得所述目标图像。
3、在本公开的第一方面中，残差模块包括至少一个深度可分离卷积层且配置为将至少一个深度可分离卷积层中的最后一个深度可分离卷积层的输出与残差模块的输入进行残差连接以获得残差特征信息，残差连接模块配置为将上采样图像与重组图像进行残差连接以获得目标图像。在这种情况下，残差模块包括深度可分离卷积层，相对于传统卷积层，深度可分离卷积层通过分解传统卷积操作，能够对特征信息的单个通道进行卷积操作，能够减少计算量，从而能够降低神经网络模型对计算资源的需求。另外，将待处理图像经插值上采样获得的上采样图像与重组图像进行残差连接，能够还原待处理图像的色彩信息，还能够有利于保留更多的待处理图像的原始信息，从而能够减少目标图像相对于待处理图像的信息损失，能够提高目标图像的准确性。另外，残差模块将最后一个深度可分离卷积层的输出与残差模块的输入进行残差连接以获得残差特征信息，能够有利于残差模块保留更多的输入中的原始信息，从而能够进一步提高目标图像的准确性。
4、另外，在本公开的第一方面所涉及的基于深度神经网络的图像超分辨率重建方法中，可选地，所述神经网络模型还包括第二提取模块，所述第二提取模块配置为对所述待处理图像进行浅层特征提取以获取所述初始特征信息，所述浅层特征信息的通道数为多个。在这种情况下，先对待处理图像进行浅层特征提取，相对于直接对待处理图像进行深层特征提取，能够减少第一提取模块的计算量。
5、另外，在本公开的第一方面所涉及的基于深度神经网络的图像超分辨率重建方法中，可选地，所述初始特征信息为所述待处理图像的亮度通道图像的特征信息。在这种情况下，提取待处理图像的亮度通道图像的特征信息，相对于直接对多通道图像进行特征提取，能够进一步减少计算量。
6、另外，在本公开的第一方面所涉及的基于深度神经网络的图像超分辨率重建方法中，可选地，所述残差模块的数量为多个，多个所述残差模块级联，其中，多个所述残差模块中除第一个以外的残差模块的输入为上一个残差模块的输出。在这种情况下，第一提取模块中的多个残差模块级联，能够提高第一提取模块的特征提取能力，能够有利于提高深层特征信息的准确性。
7、另外，在本公开的第一方面所涉及的基于深度神经网络的图像超分辨率重建方法中，可选地，所述残差模块中的深度可分离卷积层的数量为多个且包括第一激活模块，所述第一激活模块包括激活函数且在两个所述深度可分离卷积层之间，所述第一激活模块中的激活函数用于将输入的数值转为在第一预设区间内的新数值，所述第一预设区间具有上界和下界。在这种情况下，激活函数在两个深度可分离卷积层之间，通过激活函数，下一个深度可分离卷积层能够捕捉到上一个深度可分离卷积层的输出中的非线性关系，能够进一步提高神经网络模型对复杂关系的建模能力，从而能够进一步提高目标图像的准确性。另外，第一预设区间具有上界和下界，能够使新数值处于同一数量级，能够使得不同的特征之间更容易进行比较和加权，从而能够提高后续的深度可分离卷积层的计算效率，进而能够降低神经网络模型对计算资源的需求。
8、另外，在本公开的第一方面所涉及的基于深度神经网络的图像超分辨率重建方法中，可选地，所述残差模块还包括第二激活模块，所述第二激活模块包括激活函数且配置为将所述残差模块中的残差连接的输出作为输入以输出所述残差特征信息。在这种情况下，将残差连接的输出输入至激活函数以输出残差特征信息，能够使残差模块进一步捕捉到特征信息中的非线性关系，从而能够进一步提高目标图像的准确性。
9、另外，在本公开的第一方面所涉及的基于深度神经网络的图像超分辨率重建方法中，可选地，所述第二激活模块中的激活函数用于将输入的数值转为在第二预设区间内的新数值，所述第二预设区间具有上界和下界；和/或所述深度可分离卷积层中的激活函数用于将输入的数值转为在第三预设区间内的新数值，所述第三预设区间具有上界和下界。在这种情况下，将输入的数值转为在第二预设区间内的新数值或将输入的数值转为在第三预设区间内的新数值，能够使新数值处于同一数量级，能够提高神经网络模型的计算效率，从而能够降低神经网络模型对计算资源的需求。另外，在将输入的数值转为在第二预设区间内的新数值和将输入的数值转为在第三预设区间内的新数值时，能够进一步使新数值处于同一数量级，能够进一步提高神经网络模型的计算效率，从而能够进一步降低神经网络模型对计算资源的需求。
10、另外，在本公开的第一方面所涉及的基于深度神经网络的图像超分辨率重建方法中，可选地，所述神经网络模型还包括截断模块和量化模块；所述截断模块配置为根据作为最大值的截断数值对所述神经网络模型的目标信息中的数值进行截断，其中，所述截断数值为2的整数指数幂，所述目标信息包括特征信息和网络参数中的至少一个；所述量化模块配置为将截断后的所述数值用定点数表示。在这种情况下，对数值进行截断和量化，能够提高神经网络模型对于不同数据类型的图像的适用性。另外，截断数值为2的整数指数幂，能够有利于计算机将浮点数用定点数表示，在后续量化时，能够有利于减小量化误差。
11、另外，在本公开的第一方面所涉及的基于深度神经网络的图像超分辨率重建方法中，可选地，所述深层特征信息的通道数与所述浅层特征信息的通道数相同，所述融合特征信息的通道数少于所述深层特征信息的通道数。在这种情况下，融合特征信息的通道数少于深层特征信息的通道数，在后续利用融合特征信息进行像素重组时能够减少计算量。
12、本公开的第二方面提供一种基于深度神经网络的图像超分辨率重建系统，包括获取模块和重建模块；所述获取模块配置为获取待处理图像；所述重建模块配置为利用经训练的神经网络模型获得与所述待处理图像对应的目标图像，所述目标图像的分辨率高于所述待处理图像的分辨率，其中，所述神经网络模型包括第一提取模块、第一上采样模块、第二上采样模块、以及残差连接模块，所述第一提取模块包括残差模块且配置为通过所述残差模块对与所述待处理图像相关的初始特征信息进行深层特征提取以获得深层特征信息，其中，所述残差模块包括至少一个深度可分离卷积层且配置为将所述至少一个深度可分离卷积层中的最后一个深度可分离卷积层的输出与所述残差模块的输入进行残差连接以获得残差特征信息，第一个所述残差模块的输入为所述初始特征信息，将最后一个所述残差模块输出的残差特征信息作为所述深层特征信息，所述第一上采样模块配置为对所述深层特征信息进行通道融合以获得融合特征信息，并对所述融合特征信息进行像素重组以获得重组图像，所述重组图像的分辨率与所述目标图像的分辨率相同，所述第二上采样模块配置为对所述待处理图像进行插值上采样以获得上采样图像，所述上采样图像与所述目标图像的分辨率相同，所述残差连接模块配置为将所述上采样图像与所述重组图像进行残差连接以获得所述目标图像。在这种情况下，残差模块包括深度可分离卷积层，相对于传统卷积层，深度可分离卷积层通过分解传统卷积操作，对特征信息的单个通道进行卷积操作，能够减少计算量，从而能够降低神经网络模型对计算资源的需求。另外，将待处理图像经插值上采样获得的上采样图像与重组图像进行残差连接，能够还原待处理图像的色彩信息，还能够有利于保留更多的原始信息，从而能够减少目标图像的信息损失。
13、根据本公开，提供一种基于深度神经网络的图像超分辨率重建方法及系统，能够降低神经网络模型对计算资源的需求。
1.一种基于深度神经网络的图像超分辨率重建方法，其特征在于，包括：
2.根据权利要求1所述的基于深度神经网络的图像超分辨率重建方法，其特征在于，
3.根据权利要求1或2所述的基于深度神经网络的图像超分辨率重建方法，其特征在于，
4.根据权利要求1所述的基于深度神经网络的图像超分辨率重建方法，其特征在于，
5.根据权利要求1或4所述的基于深度神经网络的图像超分辨率重建方法，其特征在于，
6.根据权利要求1或4所述的基于深度神经网络的图像超分辨率重建方法，其特征在于，
7.根据权利要求6所述的基于深度神经网络的图像超分辨率重建方法，其特征在于，
8.根据权利要求1所述的基于深度神经网络的图像超分辨率重建方法，其特征在于，
9.根据权利要求1所述的基于深度神经网络的图像超分辨率重建方法，其特征在于，
10.一种基于深度神经网络的图像超分辨率重建系统，其特征在于，包括获取模块和重建模块；
