本发明涉及图像处理,特别涉及一种基于透镜图的光场图像全参考质量评价方法。
背景技术:
1、光场成像可以记录来自真实场景的光线的强度值和方向,这为真实世界物体的三维表示带来了额外的角度信息。由于光场具有丰富的空间和角度信息,因此被广泛应用于深度估计、重新聚焦、三维重建等图像应用领域。遗憾的是,在光场成像处理的每一个环节中,都不可避免地会产生失真效应,从而破坏光场内容的保真度和可读性。当失真光场图像投射到人的视觉系统中时,观看者会获得较差的沉浸式视觉体验,长期观看还会损害人的视觉健康。因此,研究光场图像质量评估方法具有重要的理论价值和现实意义。
技术实现思路
1、为解决上述技术问题,本发明提出一种基于透镜图的光场图像全参考质量评价方法,可以获得更精准的光场图像质量预测分数,指导光场图像的高质量传输与压缩重建。
2、本发明提供的一种基于透镜图的光场图像全参考质量评价方法,包括:
3、对失真光场透镜图像进行处理得到失真光场子孔径图像和失真光场极平面图像的y通道信息;
4、对参考光场透镜图像进行处理得到参考光场子孔径图像和参考光场极平面图像的y通道信息;
5、对所述失真光场子孔径图像和所述参考光场子孔径图像的y通道信息进行特征提取得到子孔径图像特征;
6、对所述失真光场极平面图像和所述参考光场极平面图像的y通道信息进行特征提取得到极平面图像特征;
7、将所述子孔径图像特征和所述极平面图像特征进行特征信息合并得到最终的图像质量预测分数。
8、可选地,获取失真光场子孔径图像、失真光场极平面图像、参考光场子孔径图像和参考光场极平面图像的y通道信息的过程包括:
9、获取rgb空间的失真光场透镜图像和参考光场透镜图像;
10、所述失真光场透镜图像和参考光场透镜图像从rgb空间转换到yuv空间,得到yuv空间的失真光场透镜图像和参考光场透镜图像;
11、提取所述yuv空间的失真光场透镜图像和yuv空间的参考光场透镜图像的y通道信息;
12、对失真光场透镜图像的y通道信息进行表征转换得到失真光场子孔径图像和失真光场极平面图像的y通道信息;
13、对参考光场透镜图像的y通道信息进行表征转换得到参考光场子孔径图像和参考光场极平面图像的y通道信息。
14、可选地,所述失真光场极平面图像的y通道信息包括:失真光场水平极平面图像的y通道信息和失真光场垂直极平面图像的y通道信息;
15、所述参考光场极平面图像的y通道信息包括:参考光场水平极平面图像的y通道信息、参考光场垂直极平面图像的y通道信息。
16、可选地,将所述失真光场子孔径图像和所述参考光场子孔径图像的y通道信息输入子孔径特征提取网络进行特征提取得到子孔径图像特征;
17、其中,所述子孔径特征提取网络包括2个卷积层。
18、可选地,所述子孔径图像特征包括失真光场子孔径图像特征信息和参考光场子孔径图像特征信息;
19、其中,所述子孔径图像特征的维度为维度为1×(x×y)×h×w。
20、可选地,将所述失真光场极平面图像和所述参考光场极平面图像的y通道信息输入极平面图像特征提取网络进行特征提取得到极平面图像特征;
21、其中,所述极平面图像特征提取网络包括4个卷积层,1个relu激励层,1个sigmoid激励层和1个平均池化层。
22、可选地,所述极平面图像特征包括:失真光场水平极平面图像特征信息、参考光场水平极平面图像特征信息、失真光场垂直极平面图像特征信息和参考光场垂直极平面图像特征信息;
23、其中,失真光场水平极平面图像特征信息和参考光场水平极平面图像特征信息的维度为:h×(x×y)×1×w;
24、失真光场垂直极平面图像特征信息和参考光场垂直极平面图像特征信息的维度为:w×(x×y)×1×h。
25、可选地,将所述子孔径图像特征和所述极平面图像特征进行特征信息合并送入图像质量分数预测模块,获得最终的图像质量预测分数;
26、其中,所述图像质量分数预测模块包括3个卷积层,3个批规范化层,3个relu激励层,1个平均池化层,1个展平层和两个全连接层。
27、本发明具有如下技术效果:
28、与传统的二维图像类似,光场图像在采集、压缩、传输、重建和显示等各个图像处理阶段也不可避免地会出现各种失真,导致视觉质量下降。这极大地阻碍了光场成像技术在多个领域的应用效果。本发明提出的方法可以通过失真光场图像和参考光场图像进行图像质量预测,获取更精准的光场图像质量预测分数,可进一步促进光场成像技术在其他领域的应用。
1.一种基于透镜图的光场图像全参考质量评价方法,其特征在于,包括以下步骤:
2.根据权利要求1所述的基于透镜图的光场图像全参考质量评价方法,其特征在于,获取失真光场子孔径图像、失真光场极平面图像、参考光场子孔径图像和参考光场极平面图像的y通道信息的过程包括:
3.根据权利要求2所述的基于透镜图的光场图像全参考质量评价方法,其特征在于,
4.根据权利要求3所述的基于透镜图的光场图像全参考质量评价方法,其特征在于,将所述失真光场子孔径图像和所述参考光场子孔径图像的y通道信息输入子孔径特征提取网络进行特征提取得到子孔径图像特征;
5.根据权利要求4所述的基于透镜图的光场图像全参考质量评价方法,其特征在于,所述子孔径图像特征包括失真光场子孔径图像特征信息和参考光场子孔径图像特征信息;
6.根据权利要求3所述的基于透镜图的光场图像全参考质量评价方法,其特征在于,将所述失真光场极平面图像和所述参考光场极平面图像的y通道信息输入极平面图像特征提取网络进行特征提取得到极平面图像特征;
7.根据权利要求6所述的基于透镜图的光场图像全参考质量评价方法,其特征在于,所述极平面图像特征包括:失真光场水平极平面图像特征信息、参考光场水平极平面图像特征信息、失真光场垂直极平面图像特征信息和参考光场垂直极平面图像特征信息;
8.根据权利要求1所述的基于透镜图的光场图像全参考质量评价方法,其特征在于,将所述子孔径图像特征和所述极平面图像特征进行特征信息合并送入图像质量分数预测模块,获得最终的图像质量预测分数;
