本申请涉及图像处理,具体涉及一种图像超分辨率处理方法与装置、电子设备。
背景技术:
1、变形镜头,是一种可以将具有长幅度或宽幅度的场面压缩到标准的画面区域的光学透镜。因此,变形镜头所采集的图像通常在单个方向(如x轴方向或y轴方向)上进行了压缩。也就是说,由变形镜头所采集的图像通常称为压缩图像。
2、为了恢复压缩图像的图像大小,提高图像分辨率,实现图像超分辨率重建,目前通常是针对压缩图像进行处理以得到rgb图像,再对rgb图像进行图像插值处理。例如,变形镜头在x轴方向的压缩比为1:2,使得采集得到的压缩图像的图像大小为3000*4000像素(即3000行和4000列的像素),而在通过图像插值处理之后,将该图像大小拉伸为3000*8000像素。
3、然而,目前的图像插值处理只是针对图像的像素值进行插值计算,虽然通过像素插值来提升图像分辨率以恢复压缩图像,但是恢复后的压缩图像在压缩方向上的清晰度并没有提升。同时,图像插值处理也仅只考虑了压缩图像中相邻像素值的关系,而未考虑因变形镜头引入的光学模糊,使得很难恢复压缩图像的清晰度。因此,如何在提高由变形镜头所采集的压缩图像的图像分辨率的情况下,提高图像处理效率以及提升图像清晰度和图像质量,还需要进一步研究。
技术实现思路
1、本申请提供了一种图像超分辨率处理方法与装置、电子设备,以期望在提高由变形镜头所采集的压缩图像的图像分辨率的情况下,提高图像处理效率以及提升图像清晰度和图像质量。
2、第一方面,为本申请的一种图像超分辨率处理方法,包括:
3、获取对压缩图像经过处理后的yuv图像,所述压缩图像是指由变形镜头所采集的在单个方向上进行压缩过的原始raw图像;
4、对所述yuv图像的y通道图像进行分块解卷积处理,所述分块解卷积用于对所述y通道图像的分块图像中因所述变形镜头引入的光学模糊进行消除;
5、将处理后的所述y通道图像输入卷积神经网络以输出目标y通道图像,所述卷积神经网络用于对处理后的所述y通道图像进行图像超分辨率重建和图像质量增强,所述目标y通道图像的图像分辨率和图像质量高于所述y通道图像;
6、对所述yuv图像的uv通道图像进行图像插值处理以得到目标uv通道图像,所述目标uv通道图像的图像分辨率高于所述uv通道图像;
7、根据所述目标y通道图像和所述目标uv通道图像得到目标yuv图像,所述目标yuv图像的图像分辨率高于所述yuv图像。
8、综上所述,首先,通过对该yuv图像的y通道图像进行分块解卷积处理,以便利用分块解卷积处理来消除y通道图像的分块图像中因变形镜头引入的光学模糊,使得处理后的y通道图像的清晰度得到提升。
9、其次,通过将处理后的y通道图像输入卷积神经网络以输出目标y通道图像,以便利用卷积神经网络实现图像超分辨率重建和图像质量增强,使得目标y通道图像的图像分辨率和图像质量高于y通道图像,从而有利于实现提升y通道图像的图像分辨率和清晰度。同时,利用卷积神经网络也有利于减少图像计算量和复杂度,提高图像处理效率。
10、接着,通过对yuv图像的uv通道图像进行图像插值处理以得到目标uv通道图像,使得目标uv通道图像的图像分辨率高于uv通道图像,实现图像超分辨率重建。
11、最后,根据目标y通道图像和目标uv通道图像得到目标yuv图像,使得目标yuv图像的图像分辨率高于yuv图像,从而实现在对yuv图像进行图像超分辨率处理的同时,也有利于减少图像计算量、提高图像处理效率以及提升图像清晰度和图像质量。
12、第二方面,为本申请的一种图像超分辨率处理装置,包括:
13、图像获取单元,用于获取yuv图像,所述yuv图像是指对压缩图像经过处理后的yuv图像,所述压缩图像是指由变形镜头所采集的在单个方向上进行压缩过的原始raw图像;
14、分块解卷积单元,用于对所述yuv图像的y通道图像进行分块解卷积处理,所述分块解卷积用于对所述y通道图像的分块图像中因所述变形镜头引入的光学模糊进行消除;
15、卷积神经网络单元,用于将处理后的所述y通道图像输入卷积神经网络处理以输出目标y通道图像,所述卷积神经网络用于对处理后的所述y通道图像进行图像超分辨率重建和图像质量增强,所述目标y通道图像的图像分辨率和图像质量高于所述y通道图像;
16、图像插值单元,用于对所述yuv图像的uv通道图像进行图像插值处理以得到目标uv通道图像,所述uv通道图像的图像分辨率高于所述uv通道图像;
17、图像生成单元,用于根据所述目标y通道图像和所述目标uv通道图像生成目标yuv图像,所述目标yuv图像的图像分辨率高于所述yuv图像。
18、第三方面,为本申请的一种电子设备,包括处理器、存储器及存储在所述存储器上的计算机程序或指令,所述处理器执行所述计算机程序或指令以实现上述第一方面中所设计的方法中的步骤。
19、第四方面,为本申请的一种计算机可读存储介质,其中,其存储有计算机程序或指令,所述计算机程序或指令被执行时以实现上述第一方面中所设计的方法中的步骤。
20、第五方面,为本申请的一种计算机程序产品,包括计算机程序或指令,其中,所述计算机程序或指令被执行时以实现上述第一方面中所设计的方法中的步骤。
21、第二方面至第五方面的技术方案所带来的有益效果可以参见第一方面的技术方案所带来的技术效果,此处不再赘述。
1.一种图像超分辨率处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述对所述yuv图像的y通道图像进行分块解卷积处理,包括:
3.根据权利要求2所述的方法,其特征在于,所述y通道的psf的获取方式包括:
4.根据权利要求3所述的方法,其特征在于,所述rgb三通道的psf的获取方式包括:
5.根据权利要求2所述的方法,其特征在于,所述图像解卷积包括维纳解卷积。
6.根据权利要求1所述的方法,其特征在于,所述卷积神经网络采用res-unet的网络结构,且所述res-unet的网络结构的输出层采用转置卷积结构或者上采样卷积结构。
7.根据权利要求1所述的方法,其特征在于,所述获取对压缩图像经过处理后的yuv图像,包括:
8.一种图像超分辨率处理装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括处理器、存储器及存储在所述存储器上的计算机程序或指令,所述处理器执行所述计算机程序或指令以实现权利要求1-7中任一项所述方法的步骤。
10.一种计算机可读存储介质,其特征在于,其存储有计算机程序或指令,所述计算机程序或指令被执行时实现权利要求1-7中任一项所述方法的步骤。