本申请属于编解码,具体涉及一种图像处理方法、装置及设备。
背景技术:
1、在机器视觉任务应用中,为了避免直接传输数据量极大视频或图像,一般会对视频或图像进行压缩。而传统图像压缩标准是面向广泛的图像视频压缩任务设计的,图像或视频在空间和时间上具有较高的相关性,但是图像或视频的特征图并没有此特征,直接使用传统的图像压缩方法处理图像特征图对编码效率和重建特征图的质量都无法保证。
技术实现思路
1、本申请实施例提供一种图像处理方法、装置及设备,能够解决现有技术中使用传统的图像压缩方法处理图像特征图对编码效率和重建特征图的质量都无法保证的问题。
2、第一方面,提供了一种图像处理方法,包括:
3、获取目标对象的第一待处理图像,所述第一待处理图像包括所述目标对象的第一图像的第一特征图或者包括所述目标对象的第一视频中的第一子视频;
4、基于第一压缩网络对所述第一待处理图像进行处理,获取重建后的第二特征图或第二子视频;
5、其中,所述第二特征图为所述第一图像的特征图,且所述重建后的第二特征图的图像特征与所述第一特征图的图像特征不同;
6、所述重建后的第二子视频的图像与所述第一子视频的图像不同。
7、第二方面,提供了一种图像处理装置,包括:
8、第一获取模块,用于获取目标对象的第一待处理图像,所述第一待处理图像包括所述目标对象的第一图像的第一特征图或者包括所述目标对象的第一视频中的第一子视频;
9、第二获取模块,用于基于第一压缩网络对所述第一待处理图像进行处理,获取重建后的第二特征图或第二子视频;
10、其中,所述第二特征图为所述第一图像的特征图,且所述重建后的第二特征图的图像特征与所述第一特征图的图像特征不同;
11、所述第二子视频为所述第一视频中的部分视频,且所述重建后的第二子视频的图像与所述第一子视频的图像不同。
12、第三方面,提供了一种图像处理装置,该装置包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。
13、第四方面,提供了一种图像处理装置,包括处理器及通信接口,其中,所述处理器用于获取目标对象的第一待处理图像,所述第一待处理图像包括所述目标对象的第一图像的第一特征图或者包括所述目标对象的第一视频中的第一子视频;
14、基于第一压缩网络对所述第一待处理图像进行处理,获取重建后的第二特征图或第二子视频;
15、其中,所述第二特征图为所述第一图像的特征图,且所述重建后的第二特征图的图像特征与所述第一特征图的图像特征不同;
16、所述重建后的第二子视频的图像与所述第一子视频的图像不同。
17、第五方面,提供了一种可读存储介质,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。
18、第六方面,提供了一种芯片,所述芯片包括处理器和通信接口,所述通信接口和所述处理器耦合,所述处理器用于运行程序或指令,实现如第一方面所述的方法。
19、第七方面,提供了一种计算机程序/程序产品,所述计算机程序/程序产品被存储在存储介质中,所述计算机程序/程序产品被至少一个处理器执行以实现如第一方面所述的方法的步骤。
20、在本申请实施例中,获取目标对象的第一待处理对象,所述第一待处理图像包括所述目标对象的第一图像的第一特征图或者包括所述目标对象的第一视频中的第一子视频;基于第一压缩网络对所述第一待处理图像进行处理,获取重建后的第二特征图或第二子视频;第二特征图为第一图像的特征图,且重建后的第二特征图的图像特征与第一特征图的图像特征不同;重建后的第二子视频的图像与所述第一子视频的图像不同。通过上述第一压缩网络能够获取目标对象重建后的第二特征图或第二子视频,从而无需再对第二特征图或第二子视频进行编码传输,提高了编码效率,且基于压缩网络来获取重建后的第二特征图或第二子视频能够有效保证图像质量。
1.一种图像处理方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,获取目标对象的第一图像的第一特征图,包括:
3.根据权利要求1所述的方法,其特征在于,所述第一压缩网络包括第一压缩编码网络、第一处理单元和第一压缩解码网络;
4.根据权利要求1所述的方法,其特征在于,所述第一压缩网络是通过速率损失函数和失真损失函数训练得到的。
5.根据权利要求1所述的方法,其特征在于,还包括:
6.根据权利要求5所述的方法,其特征在于,所述目标处理包括采样处理和恢复残差处理,所述采样处理包括上采样处理或下采样处理。
7.根据权利要求1所述的方法,其特征在于,基于第一压缩网络对所述第一待处理图像进行处理,获取重建后的第二特征图或第二子视频,包括:
8.根据权利要求1所述的方法,其特征在于,还包括:
9.根据权利要求8所述的方法,其特征在于,基于第二压缩网络对所述目标对象的第二待处理图像进行处理,得到重建后的第三特征图或第三子视频,包括:
10.根据权利要求8所述的方法,其特征在于,所述第二压缩网络包括第二压缩编码网络、第二处理单元和第二压缩解码网络;
11.根据权利要求8所述的方法,其特征在于,所述第二压缩网络是通过速率损失函数和失真损失函数训练得到的。
12.根据权利要求1所述的方法,其特征在于,所述第一视频为所述目标对象的多视角视频,或者,所述第一视频为所述目标对象的可伸缩视频。
13.根据权利要求1所述的方法,其特征在于,所述图像特征包括分辨率和特征数量中的至少一项。
14.一种图像处理装置,其特征在于,包括:
15.根据权利要求14所述的装置,其特征在于,所述第一获取模块包括:
16.根据权利要求14所述的装置,其特征在于,所述第一压缩网络包括第一压缩编码网络、第一处理单元和第一压缩解码网络;
17.根据权利要求14所述的装置,其特征在于,所述第一压缩网络是通过速率损失函数和失真损失函数训练得到的。
18.根据权利要求14所述的装置,其特征在于,还包括:
19.根据权利要求18所述的装置,其特征在于,所述目标处理包括采样处理和恢复残差处理,所述采样处理包括上采样处理或下采样处理。
20.根据权利要求14所述的装置,其特征在于,还包括:
21.根据权利要求20所述的装置,其特征在于,所述第二压缩网络包括第二压缩编码网络、第二处理单元和第二压缩解码网络;
22.根据权利要求20所述的装置,其特征在于,所述第二压缩网络是通过速率损失函数和失真损失函数训练得到的。
23.根据权利要求14所述的装置,其特征在于,所述第一视频为所述目标对象的多视角视频,或者,所述第一视频为所述目标对象的可伸缩视频。
24.根据权利要求14所述的装置,其特征在于,所述图像特征包括分辨率和特征数量中的至少一项。
25.一种图像处理设备,其特征在于,包括处理器和存储器,所述存储器存储可在所述处理器上运行的程序或指令,所述程序或指令被所述处理器执行时实现如权利要求1至11任一项所述的图像处理方法的步骤。
26.一种可读存储介质,其特征在于,所述可读存储介质上存储程序或指令,所述程序或指令被处理器执行时实现如权利要求1至11任一项所述的图像处理方法的步骤。