本技术涉及视频编码,特别是涉及一种视频编码方法及系统。
背景技术:
1、视频编码是将视频信号压缩为数字数据的过程,以实现视频的存储、传输和处理。在视频编码的过程中,通常需要将同一视频不同分辨率下的数据编码为更为紧凑的码流,从而减小数据传输及存储的代价。现有的不同分辨率的视频编码方案通常是基于层的可伸缩视频编码方案,在基于层的编码方案中,码流会被定义为基本层以及多个增强层。其中,基本层用于提供基本的全局视频信息,而增强层则用于提供额外的编码信息来提供更高的视频质量。在将视频数据压缩为码流的编码方案中,视频数据的可伸缩性主要体现在时域、质量、空域三个维度。其中,空域的可伸缩性在于能够在不同的分辨率级别下将视频数据编码为相应的码流数据。
2、在目前的基于空域的视频编码方案中,通常都基于传统的视频编码标准来完成视频编码。视频编码标准是一组规范和算法,用于将视频信号进行数字压缩和编码,以便在存储和传输时占用更少的带宽和存储空间,同时保持较高的视频质量。现有基于空域的视频编码方案中通常基于h.264/avc、h.265/hevc等传统视频编码标准来进行视频编码,虽然此方式具有较好的交互兼容性,但传统的视频编码标准在处理多种分辨率以及高帧率的复杂场景时需要保证较高的比特率,因而其无法在低带宽的环境满足高质量高分辨率的处理需求,对视频数据的编码性能较低。
3、因此,如何解决现有技术中视频数据编码性能较低的问题,成为本领域技术人员急需解决的技术问题。
技术实现思路
1、基于上述问题,为了解决现有技术中视频数据编码性能较低的问题,本技术提供了一种视频编码方法及系统。
2、本技术实施例公开了如下技术方案:
3、第一方面,本技术公开了一种基于学习的空域可伸缩视频编码方法,应用于预设神经网络中,所述方法包括:
4、获取目标编码视频帧;所述目标编码视频帧中包括基本层视频编码帧和增强层视频编码帧;所述基本层视频编码帧的编码分辨率小于所述增强层视频编码帧的编码分辨率;所述基本层视频编码帧与所述增强层视频编码帧处于同一时域;
5、对所述基本层视频帧进行基本层信息获取,得到第一层间信息;所述第一层间信息的编码分辨率与所述增强层码视频编码帧的编码分辨率相同;所述第一层间信息包括:空域特征、预测运动信息以及层先验信息;
6、获取上一帧重建视频帧;
7、根据所述上一帧重建视频帧以及所述第一层间信息,对所述目标编码视频帧进行编码,得到第一码流。
8、可选的,所述根据所述上一帧重建视频帧以及所述第一层间信息,对所述目标编码视频帧进行编码,得到第一码流,具体包括:
9、根据所述目标编码视频帧、所述上一帧重建视频帧以及所述预测运动信息进行编解码重建,得到重建后的高分辨率运动信息;
10、基于所述重建后的高分辨率运动信息、所述空域特征以及所述上一帧重建视频帧中的时域特征进行上下文挖掘,生成多尺度混合上下文;
11、通过所述多尺度混合上下文、所述目标编码视频帧以及所述层先验信息对所述目标编码视频帧进行编码,得到第一码流。
12、可选的,所述根据所述目标编码视频帧、所述上一帧重建视频帧以及所述预测运动信息进行编解码重建,得到重建后的高分辨率运动信息,具体包括:
13、将所述目标编码视频帧和所述所述上一帧重建视频帧输入至预设光流网络中,得到高分辨率运动信息;所述高分辨运动信息的编码分辨率与所述增强层码视频编码帧的编码分辨率相同;
14、根据所述预测运动信息和所述高分辨率运动信息进行编码,得到所述高分辨率运动信息的码流;
15、基于所述预测运动信息对所述高分辨率运动信息的码流进行解码重建,得到所述重建后的高分辨率运动信息。
16、可选的,所述基于所述重建后的高分辨率运动信息、所述空域特征以及所述上一帧重建视频帧中的时域特征进行上下文挖掘,生成多尺度混合上下文,具体包括:
17、基于所述空域特征以及所述上一帧重建视频帧中的时域特征,确定多尺度空域特征以及多尺度时域特征;
18、对所述重建后的高分辨率运动信息进行下采样,得到多尺度运动信息;
19、基于所述多尺度运动信息对所述多尺度时域特征进行运动补偿,得到对齐后的多尺度时域特征;
20、根据所述多尺度空域特征与所述对齐后的多尺度时域特征,生成所述多尺度混合上下文。
21、可选的,所述通过所述多尺度混合上下文、所述目标编码视频帧以及所述层先验信息对所述目标编码视频帧进行编码,得到第一码流,具体包括:
22、根据所述层先验信息和预设层间先验熵模型,确定所述第一码流的概率分布参数;
23、基于所述第一码流的概率分布参数对所述目标编码视频帧进行编码,得到所述第一码流。
24、可选的,所述对所述基本层视频帧进行基本层信息获取,得到第一层间信息,具体包括:
25、对所述基本层视频编码帧进行编解码重建,得到第二层间信息;所述第二层间信息的编码分辨率低于所述增强层视频编码帧的编码分辨率;
26、对所述第二层间信息进行域变换处理,得到经过变换处理后的第二层间信息;
27、根据所述增强层视频编码帧的编码分辨率,对所述经过变换处理后的第二层间信息进行上采样,得到所述第一层间信息。
28、可选的,所述根据所述预测运动信息和所述高分辨率运动信息进行编码,得到所述高分辨率运动信息的码流,具体包括:
29、基于所述预测运动信息和预设运动熵模型,确定所述高分辨率运动信息的码流的概率分布参数;
30、根据所述高分辨率运动信息的码流的概率分布参数,确定所述高分辨率运动信息的码流。
31、可选的,所述根据所述空域特征与所述对齐后的多尺度时域特征,生成所述多尺度混合上下文,具体包括:
32、构建所述对齐后的多尺度时域特征和所述空域特征之间的特征权重图;
33、基于所述特征权重图,将所述对齐后的多尺度时域特征和所述空域特征进行特征融合,得到多尺度混合特征;
34、根据所述多尺度混合特征,生成所述多尺度混合上下文。
35、第二方面,本技术公开了一种基于学习的空域可伸缩视频编码系统,应用于预设神经网络中,所述系统包括:
36、第一获取模块,用于获取目标编码视频帧;所述目标编码视频帧中包括基本层视频编码帧和增强层视频编码帧;所述基本层视频编码帧的编码分辨率小于所述增强层视频编码帧的编码分辨率;所述基本层视频编码帧与所述增强层视频编码帧处于同一时域;
37、层间信息获取模块,用于对所述基本层视频帧进行基本层信息获取,得到第一层间信息;所述第一层间信息的编码分辨率与所述增强层码视频编码帧的编码分辨率相同;所述第一层间信息包括:空域特征、预测运动信息以及层先验信息;
38、第二获取模块,用于获取上一帧重建视频帧;
39、编码模块,用于根据所述上一帧重建视频帧以及所述第一层间信息,对所述目标编码视频帧进行编码,得到第一码流
40、可选的,所述编码模块,具体用于:
41、根据所述目标编码视频帧、所述上一帧重建视频帧以及所述预测运动信息进行编解码重建,得到重建后的高分辨率运动信息;
42、基于所述重建后的高分辨率运动信息、所述空域特征以及所述上一帧重建视频帧中的时域特征进行上下文挖掘,生成多尺度混合上下文;
43、通过所述多尺度混合上下文、所述目标编码视频帧以及所述层先验信息对所述目标编码视频帧进行编码,得到第一码流。
44、相较于现有技术,本技术具有以下有益效果:本技术提供了一种基于学习的空域可伸缩视频编码方法及系统。首先会获取目标编码视频帧;所述目标编码视频帧中包括基本层视频编码帧和增强层视频编码帧;所述基本层视频编码帧的编码分辨率小于所述增强层视频编码帧的编码分辨率;所述基本层视频编码帧与所述增强层视频编码帧处于同一时域;对所述基本层视频帧进行基本层信息获取,得到第一层间信息;所述第一层间信息的编码分辨率与所述增强层码视频编码帧的编码分辨率相同;所述第一层间信息包括:空域特征、预测运动信息以及层先验信息;获取上一帧重建视频帧;根据所述上一帧重建视频帧以及所述第一层间信息,对所述目标编码视频帧进行编码,得到第一码流。在上述方法中,会对目标编码视频帧中分辨率较低的基本层视频编码帧进行基本层信息获取以得到第一层间信息。第一层间信息内包括有与增强层的编码分辨率相同的空域特征、预测运动信息以及层先验信息。最后基于目标待编码帧以及上一帧重建视频帧进行编码,即可完成对视频帧的编码,得到第一码流。其中,由于第一层间信息的编码分辨率与增强层码流的分辨率相同,因而增强层中高分辨率视频帧的编码可以结合基本层视频编码帧中的第一层间信息来进行编码,从而提升视频帧编码的性能,同时视频帧的编码还会进一步结合上一帧视频帧中重建视频帧来进行编码,从而通过帧间信息以及层间信息的混合使用来进行视频帧的编码,视频编码性能得到了极大提高。
1.一种基于学习的空域可伸缩视频编码方法,其特征在于,应用于预设神经网络中,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述上一帧重建视频帧以及所述第一层间信息,对所述目标编码视频帧进行编码,得到第一码流,具体包括:
3.根据权利要求2所述的方法,其特征在于,所述根据所述目标编码视频帧、所述上一帧重建视频帧以及所述预测运动信息进行编解码重建,得到重建后的高分辨率运动信息,具体包括:
4.根据权利要求2所述的方法,其特征在于,所述基于所述重建后的高分辨率运动信息、所述空域特征以及所述上一帧重建视频帧中的时域特征进行上下文挖掘,生成多尺度混合上下文,具体包括:
5.根据权利要求2所述的方法,其特征在于,所述通过所述多尺度混合上下文、所述目标编码视频帧以及所述层先验信息对所述目标编码视频帧进行编码,得到第一码流,具体包括:
6.根据权利要求1所述的方法,其特征在于,所述对所述基本层视频帧进行基本层信息获取,得到第一层间信息,具体包括:
7.根据权利要求3所述的方法,其特征在于,所述根据所述预测运动信息和所述高分辨率运动信息进行编码,得到所述高分辨率运动信息的码流,具体包括:
8.根据权利要求4所述的方法,其特征在于,所述根据所述空域特征与所述对齐后的多尺度时域特征,生成所述多尺度混合上下文,具体包括:
9.一种基于学习的空域可伸缩视频编码系统,其特征在于,应用于预设神经网络中,所述系统包括:
10.根据权利要求9所述的系统,其特征在于,所述编码模块,具体用于:
