背景技术:
1、本公开涉及用于视频编码的流式传输扩展的系统和方法。更具体地,可与无损视频压缩格式一起使用以流式传输大量图像数据的流式传输扩展。
2、本部分旨在向读者介绍可能与本公开的各个方面相关的本领域的各个方面,本公开的各个方面在下文中描述和/或受权利要求保护。该讨论被认为有助于为读者提供背景信息以便于更好地理解本公开的各个方面。相应地,应当理解,应就此而论阅读这些陈述,而不是作为对现有技术的认可。
3、许多电子设备(诸如蜂窝设备、电视、手持设备和笔记本计算机)通常在电子显示器上流式传输和显示图像和视频。为此,许多电子设备包括图像编码和解码电路以处理在视频流式传输操作期间由设备接收的压缩视频数据。随着图像和视频的分辨率和动态范围日益增加,发送到电子设备的压缩视频数据的大小也有所增加。根据可用设备带宽,电子设备可能能够在特定时间流式传输对应于特定分辨率的视频数据。视频流根据电子设备能力的交替可能导致降低的图像质量和设备的视频流式传输中的延迟。
技术实现思路
1、下面阐述本文所公开的某些实施方案的概要。应当理解,呈现这些方面是为了向读者提供这些特定实施方案的简明概要,并且这些方面并非旨在限制本公开的范围。
2、有损视频压缩标准(例如,prores)可用于通过使用视频数据的量化并且引入畸变来保留系统内的大量图像数据。在有损视频压缩中,尽管所恢复的数据可能在感知上是无损的,但是就所恢复的位而言,它决非精确的或无损的。也可针对流式传输大量视频数据实现有损视频压缩标准。然而,一些设备可能不具有传输视频流式传输所必需的大量视频数据的带宽。网络上的流式传输应用程序可具有对应于接收设备的分辨率的多种位速率配置(例如,对于低分辨率每秒1兆位,对于高分辨率每秒4-5兆位,对于更高分辨率每秒10兆位)。根据接收设备具有的可用带宽,接收器设备可能需要修改发送到设备的视频数据。视频数据可在各自对应于不同分辨率(例如,低分辨率=每秒30帧(fps)的标准清晰度,高分辨率=以30fps渐进地显示像素的高清晰度1920×1080,更高解析度=以50fps渐进地显示像素的超高清晰度3840×2160,表示经hevc编码的位流的位速率及aomedia视频1(av1),通用视频译码(vvc)标准以hevc的位速率的70%为目标)的多个流中发送,并且接收器设备可基于可接受的设备带宽来选择流。这可能在视频处理中引入延迟,因为接收器可能需要基于可用带宽来同步到不同流,并且可能需要根据即时设备带宽从一个流切换到另一个流。
3、因此,本文的实施方案提供各种系统和方法以减少视频流式传输中的延迟和低效率。为此,本文所公开的实施方案包括将视频数据划分成对应于图像切片的一个或多个层。经划分的视频数据可在单个视频数据流中发送到接收设备。发送设备可确定接收设备的带宽,并且可根据接收设备的可用带宽从单个流丢弃层。这使得接收设备能够接收单个数据流,并且对单个流的每个层中的系数进行编码。接收设备可包括复用器,该复用器可接收所有经编码层,并且随后可将经编码层发送到解复用器,该解复用器可将这些层组合到位流中以进行解码。接收设备的解码器随后可以对位流进行解码。该方法使得能够实时控制发送到接收设备的视频数据,并且通过在单个流内发送分层数据来减少延迟。
4、另外,视频编码器可在编码期间针对图像切片的每个分区利用多个计数器用于标头、亮度和色度分量。可将由视频编码器接收的y'cbcr图像数据的切片划分成多个层。视频编码器可首先在不进行划分的情况下对切片进行编码,并且随后可在编码每个分区时利用该多个计数器。计数器可能能够跟踪用于切片内的每个层的标头、亮度和色度位。计数器可以开始于游程(例如,零元素)并且结束于层内的最后非零元素。经编码层可随后在层被发送到内核以进行解码之前被组装到单个切片中。可基于所有层标头来构造标头,并且可针对每个分量针对所有层级联扫描系数。
1.一种电子设备,包括:
2.根据权利要求1所述的电子设备,其中所述位流语法包括可变长度亮度位大小和色度位大小。
3.根据权利要求1所述的电子设备,其中所述层包括在所述层内编码的扫描离散余弦变换(dct)系数。
4.根据权利要求3所述的电子设备,其中所述扫描dct系数包括单独的dc量化和ac量化。
5.根据权利要求1所述的电子设备,其中所述视频编码器硬件被配置为按竖直切片次序对包括所述位流语法的一个或多个切片进行编码。
6.根据权利要求1所述的电子设备,其中所述图像数据流包括被分割成多个水平条带的一个或多个图像帧。
7.根据权利要求6所述的电子设备,其中所述一个或多个图像帧中的图像帧内的最后水平条带包括可变高度。
8.根据权利要求6所述的电子设备,其中所述视频编码器硬件被配置为响应于确定所述多个水平条带中的水平条带的宏块宽度低于阈值而将一个或多个宏块添加到所述多个水平条带中的所述水平条带的右边缘。
9.一种电子设备,包括:
10.根据权利要求9所述的电子设备,其中所述一个或多个水平条带包括对应于所述图像帧的水平大小和竖直大小的一个或多个图块,所述水平大小和所述竖直大小是十六个像素的倍数。
11.根据权利要求10所述的电子设备,其中所述一个或多个图块中的每个图块包括经编码的切片,所述经编码的切片包括所述切片内的经编码的层。
12.根据权利要求11所述的电子设备,其中所述视频编码器电路被配置为向所述图像切片的末端添加零位以对所述图像切片进行字节对准。
13.根据权利要求9所述的电子设备,其中所述图像切片内的多个亮度和色度数据是在五到十六位的范围内的可变长度字段。
14.一种有形非暂态机器可读介质,所述有形非暂态机器可读介质包括指令,所述指令在由图像处理电路执行时使得所述图像处理电路执行操作,所述操作包括:
15.根据权利要求14所述的有形非暂态机器可读介质,其中所述多个层包括分布在所述层内的扫描离散余弦变换(dct)系数。
16.根据权利要求15所述的有形非暂态机器可读介质,其中所述扫描dct系数包括单独的dc量化和ac量化。
17.根据权利要求15所述的有形非暂态机器可读介质,其中一个或多个dct系数包括所述一个或多个层中的基本层。
18.根据权利要求14所述的有形非暂态机器可读介质,其中所述操作包括基于对应于所述图像数据的所述位流语法的图块标头语法来确定用于进行编码的一个或多个量化矩阵。
19.根据权利要求14所述的有形非暂态机器可读介质,其中所述操作包括基于对应于所述图像数据的所述位流语法的层id语法来标识所述多个层的层次序。
20.根据权利要求14所述的有形非暂态机器可读介质,其中所述位流语法包括可变长度亮度位大小和色度位大小。
21.一种系统,包括:
22.根据权利要求21所述的系统,其中用于利用所述位流语法的所述装置包括用于重新配置视频编码器电路的装置。
23.根据权利要求22所述的系统,包括:
24.根据权利要求23所述的系统,包括:
25.根据权利要求21所述的系统,其中所述一个或多个层包括分布在所述层内的扫描离散余弦变换(dct)系数。