本发明涉及帧内预测技术领域，尤其涉及一种面向聚焦式全光视频序列的帧内预测方法及存储介质。
背景技术：
手持式光场相机最近在商业上得到广泛的应用。不同于传统的相机，全光相机不仅可以记录随时间变化的空间光线强度，还可以记录光传播方向，更有利于单幅图像的深度估计、重聚焦和3d重建。在现有的全光相机配置中，聚焦式全光相机由于在获得的光场空间分辨率和角度分辨率上有更好的平衡，空间分辨率更高，更有利于显微、工业检测和3d重建，因此相对于传统全光相机具有更广泛的应用。然而迥异的成像原理造成了成像像素强度分布的不同，和复杂的宏像素结构，进而导致巨大的传输和压缩数据量，给聚焦式全光相机进一步的应用带来了挑战。
现有的全光视频编码方法大多是针对传统全光相机,分为帧内预测和帧间预测。帧内预测主要是探寻空间相关性，减少空间冗余，例如将所匹配的几个参考块直接加权预测当前块，或者在同一帧内应用运动补偿和块匹配技术，用搜寻的一个最佳匹配块预测当前块。帧间预测则是探寻时域相关性，应用运动估计和运动补偿在参考帧中寻找匹配块，减少时域冗余，也可再对匹配块进行单应性变换、取平均值等其他处理，来进一步提高效率。
但是目前的方法主要存在两个问题。首先，现有帧内预测和帧间预测方法大部分都是针对传统全光相机拍摄的视频，并没有考虑传统的和聚焦式全光相机成像原理差异导致的视频像素强度分布差异和宏像素结构的不同。针对同一拍摄场景，传统全光相机获取的宏像素只提供了角度信息，相比之下，聚焦式全光相机中每个宏像素都显示成像目标的微图像。第二点，虽然可以从这两种图像中提取子孔径图像，但是对于传统的全光视频，该渲染过程是可逆的。而对于聚焦式全光视频，由于不是一个像素对一个视图的一一对应关系，渲染过程不可逆，因此多视角视频编码(multiviewvideocoding，mvc)方法会失去原始视频真正的像素值，同时该不可逆过程阻碍的聚焦式全光相机的进一步应用。此外现有的针对聚焦式全光视频的压缩方法没考虑多聚焦情况，针对的仅仅是单聚焦视频序列，不能充分利用聚焦式全光相机拍摄视频的相关性，从而降低了编码效率，影响了全光视频的进一步推广。
以上背景技术内容的公开仅用于辅助理解本发明的构思及技术方案，其并不必然属于本专利申请的现有技术，在没有明确的证据表明上述内容在本专利申请的申请日已经公开的情况下，上述背景技术不应当用于评价本申请的新颖性和创造性。
技术实现要素：
本发明为了解决现有的问题，提供一种面向聚焦式全光视频序列的帧内预测方法及存储介质。
为了解决上述问题，本发明采用的技术方案如下所述：
一种面向聚焦式全光视频序列的帧内预测方法，包括如下步骤：s1：获取全光视频序列的光学参数；s2：根据光学成像原则和所述光学参数以及所述全光视频序列自带的参数，计算所述全光视频序列的参考块大小缩放系数，以及不同焦距的微透镜下对应参考块之间的距离参数；s3：根据所述距离参数找到匹配参考块的位置，再根据所述缩放系数获取缩放后的参考块；s4：在保持内容不变的情况下整形所述缩放后的参考块，使其与所述全光视频序列的原始缩放前参考块大小相等，再加权预测待预测的当前块，进而完成所述全光视频序列当前帧内所有块的帧内预测。
优选地，获取所述全光视频序列的光学参数包括：宏像素直径、微透镜焦距、主透镜像面到微透镜距离、微透镜到其所成像的距离；所述自带参数是宏像素直径、微透镜类型。
优选地，所述宏像素直径对同一种相机具有一致性；所述微透镜焦距包含所有种类的微透镜焦距，所述主透镜像面到微透镜距离和所述微透镜到其所成像的距离通过光学参数标定计算获得。
优选地，多聚焦式全光相机的所述全光视频序列的参考块大小缩放系数大于1或小于1；不同微透镜下对应参考块之间的距离参数由参考块对应微透镜的焦距和微透镜到微透镜所成像的距离决定。
优选地，对于开普勒成像模型，光学成像后图像的大小为：
其中，b是微透镜阵列和传感器之间的距离，a是主透镜的像到微透镜的距离，bi是微透镜i到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；sa主透镜所成像的大小；
所述缩放系数为：
优选地，对于伽利略成像模型，光学成像后图像的大小为：
其中，b是微透镜阵列和传感器之间的距离，a是主透镜的像到微透镜的距离，bi是微透镜i到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；sa主透镜所成像的大小；
所述缩放系数为：
优选地，对于开普勒成像模型，所述不同微透镜下对应参考块之间的距离参数通过如下计算得到：
其中，sij是微透镜类型i和j下参考块之间的距离，a是主透镜的像到微透镜的距离，bi是微透镜i到其所成像的距离。
优选地，对于伽利略模型，所述不同微透镜下对应参考块之间的距离参数通过如下计算得到：
其中，sij是微透镜类型i和j下参考块之间的距离，a是主透镜的像到微透镜的距离，bi是微透镜i到其所成像的距离。
优选地，用所述参考块边界像素加权预测所述当前块的边界像素，获取加权系数，用所述加权系数加权匹配所述参考块的所有像素，来预测所述当前块的像素值；具体通过如下公式：
其中，xˊi是第i个参考块的左边列和上方行的边界像素；y’当前块的左边列和上方行的边界像素。
本发明还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如上任一所述方法的步骤。
本发明的有益效果为：提供一种面向聚焦式全光视频序列的帧内预测方法及存储介质，通过分析聚焦式全光图像的光学成像原理和宏像素结构特点，推导出参考块距离缩放和大小缩放的关系式，然后基于该原理对找到的不同聚焦状态的参考块实施缩放操作，并基于此设计面向聚焦式全光视频序列的帧内预测模型，高效地实现利用已编码的图像对未编码的全光图像的准确预测。
在进一步方案中，将设计的面向聚焦式全光视频序列的帧内预测模型嵌入到hm编码平台原有的帧内预测模式汇总，最终实现聚焦式全光图像编码效率的提升，对全光图像压缩编码的研究有重大意义。
附图说明
图1是本发明实施例中一种面向聚焦式全光视频序列的帧内预测方法的示意图。
图2是本发明实施例中单个微透镜下开普勒成像模型的参考块大小缩放示意图。
图3是本发明实施例中单个微透镜下伽利略成像模型的参考块大小缩放示意图。
图4是本发明实施例中开普勒成像模型下距离缩放示意图。
图5是本发明实施例中伽利略成像模型下距离缩放示意图。
具体实施方式
为了使本发明实施例所要解决的技术问题、技术方案及有益效果更加清楚明白，以下结合附图及实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
需要说明的是，当元件被称为“固定于”或“设置于”另一个元件，它可以直接在另一个元件上或者间接在该另一个元件上。当一个元件被称为是“连接于”另一个元件，它可以是直接连接到另一个元件或间接连接至该另一个元件上。另外，连接既可以是用于固定作用也可以是用于电路连通作用。
需要理解的是，术语“长度”、“宽度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明实施例和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多该特征。在本发明实施例的描述中，“多个”的含义是两个或两个以上，除非另有明确具体的限定。
如图1所述，一种面向聚焦式全光视频序列的帧内预测方法，包括如下步骤：
s1：获取全光视频序列的光学参数；
s2：根据光学成像原则和所述光学参数以及所述全光视频序列自带的参数，计算所述全光视频序列的参考块大小缩放系数，以及不同焦距的微透镜下对应参考块之间的距离参数；
s3：根据所述距离参数找到匹配参考块的位置，再根据所述缩放系数获取缩放后的参考块；
s4：在保持内容不变的情况下整形所述缩放后的参考块，使其与所述全光视频序列的原始缩放前参考块大小相等，再加权预测待预测的当前块，进而完成所述全光视频序列当前帧内所有块的帧内预测。
本发明通过分析聚焦式全光图像的光学成像原理和宏像素结构特点，推导出参考块距离缩放和大小缩放的关系式，然后基于该原理对找到的不同聚焦状态的参考块实施缩放操作，并基于此设计面向聚焦式全光视频序列的帧内预测模型，高效地实现利用已编码的图像对未编码的全光图像的准确预测。
在进一步方案中，将设计的面向聚焦式全光视频序列的帧内预测模型嵌入到hm编码平台原有的帧内预测模式汇总，最终实现聚焦式全光图像编码效率的提升，对全光图像压缩编码的研究有重大意义。
在本发明的一种实施例中，获取所述全光视频序列的光学参数包括：宏像素直径、微透镜焦距、主透镜像面到微透镜距离、微透镜到其所成像的距离；所述自带参数是宏像素直径、微透镜类型。
在一种具体的实施例中，采用由raytrix相机拍摄的序列chesspieces-movingcamera，空间分辨率是3840×2160，角度分辨率是5×5的全光视频序列，图像是由三种不同微透镜类型所生成，处于不同的聚焦和散焦状态。
步骤s1中获取的视频序列宏像素直径对同一种相机具有一致性。微透镜焦距包含所有种类的微透镜焦距，主透镜像面到微透镜距离和微透镜到其所成像的距离可以通过光学参数标定计算获得。
步骤s2中，多聚焦式全光相机的所述全光视频序列的参考块大小缩放系数大于1或小于1；即不为1，有放大和缩小两种情况。不同微透镜下对应参考块之间的距离参数由参考块对应微透镜的焦距和微透镜到微透镜所成像的距离决定。
根据图2到图5的光学成像原则和获得的s1中光学参数以及全关视频序列拍摄时导出的xml文件参数，计算该种序列的参考块大小缩放系数，以及不同微透镜下对应参考块之间的距离：
(1)如图2和图3所示，计算全光视频序列的参考块大小缩放系数。其中以图2的开普勒成像模型为具体例子行推导，该模型下物体经过主透镜所成的像是实像sa，再经过微透镜成像到传感器平面。
如图2所示，由于微透镜2在透镜边界处孔径小，光通量小，很少通过透镜边界成像y0和y1，因此y0和y1在图2中传感器1上的水平投影可以分别近似认为是m0和m1的中心，误差可以忽略不计。因此，这两个中心像素分别近似为y0和y1的水平投影。进而，图像大小为:
其中，y0y1是图像端点y0和y1之间的距离，m0、m1和y0y1由相似三角形计算所得：
其中，b是微透镜2和传感器1之间的距离，a是主透镜7的像sa到微透镜2的距离，bi是微透镜i到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；sa主透镜所成像的大小。结合两个公式可以得到：
对于另外一种图3所示的伽利略模型，该模型和图2所示开普勒模型区别在于伽利略模型里物体经过主透镜8所成的像sa是虚像，形成在传感器3后面；而图2中开普勒模型形成在传感器前面的实像。因此，同理可得图像大小为：
因此大小缩放系数为：
如果所有的微透镜阵列5的微透镜2的类型是相同的并且物距相同，则缩放系数λ为1。
(2)参考块之间距离计算如图4和图5，其中以图4的开普勒模型为例进行具体介绍。假设至少一个微透镜是聚焦的，则根据几何光学微透镜类型i和j下对应于同一个物点的匹配像素之间的距离可计算为：
sij＝s-kj,i,j＝1,2,3,(6)
其中，s是两个微透镜主光束之间的距离；kj是微透镜类型j生成的图像主光束到上界之间的距离。这两个变量可以计算为：
其中，bi/bj是微透镜类型i/j与其焦平面之间的距离。
结合两个公式可以计算最终距离为：
对于图5的伽利略模型，同理距离计算为：
当微透镜类型一样时，既单聚焦全光相机拍摄的序列，距离为相同值。
本实例经过计算，全关视频序列的宏像素直径是23.2023个像素单位，大小缩放系数为：微透镜类型1/微透镜类型0＝0.8200；微透镜类型2/微透镜类型0＝0.9800；微透镜类型1/微透镜类型2＝0.8367。距离参数为：微透镜类型0和微透镜类型1距离：13个像素距离；微透镜类型0和微透镜类型2距离：13.0240个像素距离；微透镜类型1和微透镜类型2距离：13.2675个像素距离；
s3：根据计算出来的距离参数找到匹配参考块的位置，例如找到当前块对应的正左、左上、正上方参考块位置，再根据计算出来大小缩放系数乘当前块大小，获取缩放后对应大小的参考块。
步骤s3是根据步骤s2计算的距离，获取匹配参考块位置，再根据大小缩放系数提取缩放后的参考块像素。
步骤s4在保持纹理信息不变的情况下整形缩放后的参考块，使其大小与原始缩放前参考块大小相等。在用参考块边界像素加权预测当前块边界像素，获取加权系数，进而用此系数加权所匹配参考块的所有像素，来预测待预测的当前块，最终实现当前帧内所有块的帧内预测。
s4：在保持内容不变的情况下整形参考块，与与所述全光视频序列的原始缩放前参考块大小相等，再进行加权预测当前块。因为当前块的内部像素内容未知，可以读取左侧列和上侧行的边界像素，所以加权系数由参考块的边界像素逼近当前块边界像素所求得，进而加权参考块像素值来预测当前像素值：
其中，xˊi是第i个参考块的左边列和上方行的边界像素；y’当前块的左边列和上方行的边界像素。
进一步地，将该面向聚焦式全光视频序列的帧内预测方法作为一种模式嵌入到hm编码平台，使其成为一种与hm编码其他的三十五种并行的一种帧内预测模式，完成模型嵌入工作之后，完成算法测试及性能分析。使得全光图像的压缩编码的效率进一步得到提高。
本发明优选实施例针对由微透镜图像构成的原始全光图像，将全光图像的结构和压缩工具hm编码平台结合起来，提出了面向全光图像的一种面向聚焦式全光视频序列编码方法。通过分析聚焦式全光图像的光学成像原理和宏像素结构特点，推导出参考块距离缩放和大小缩放的关系式，然后基于该原理对找到的不同聚焦状态的参考块实施缩放操作，并基于此设计面向聚焦式全光视频序列的帧内预测模型，然后，将该模型作为一种帧内预测模式，嵌入到hm原有的帧内预测模式中，从而实现全光图像高效的压缩编码，对全光图像压缩的研究具有重大意义。经过实验，采用ratrix的数据chesspieces-movingcamera，在50帧的帧内预测配置下，本发明提出来的算法相对原本hm平台算法可节省23.99％的码率，说明了本发明所提方法的优良性能。
本申请实施例还提供一种存储介质，用于存储计算机程序，该计算机程序被执行时至少执行如上所述的方法。
本申请实施例还提供一种处理器，所述处理器执行计算机程序，至少执行如上所述的方法。
所述存储介质可以由任何类型的易失性或非易失性存储设备、或者它们的组合来实现。其中，非易失性存储器可以是只读存储器(rom，readonlymemory)、可编程只读存储器(prom，programmableread-onlymemory)、可擦除可编程只读存储器(eprom，erasableprogrammableread-onlymemory)、电可擦除可编程只读存储器(eeprom，electricallyerasableprogrammableread-onlymemory)、磁性随机存取存储器(fram，ferromagneticrandomaccessmemory)、快闪存储器(flashmemory)、磁表面存储器、光盘、或只读光盘(cd-rom，compactdiscread-onlymemory)；磁表面存储器可以是磁盘存储器或磁带存储器。易失性存储器可以是随机存取存储器(ram，randomaccessmemory)，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(sram，staticrandomaccessmemory)、同步静态随机存取存储器(ssram，synchronousstaticrandomaccessmemory)、动态随机存取存储器(dram，dynamicrandomaccessmemory)、同步动态随机存取存储器(sdram，synchronousdynamicrandomaccessmemory)、双倍数据速率同步动态随机存取存储器(ddrsdram，doubledataratesynchronousdynamicrandomaccessmemory)、增强型同步动态随机存取存储器(esdramenhancedsynchronousdynamicrandomaccessmemory)、同步连接动态随机存取存储器(sldram，synclinkdynamicrandomaccessmemory)、直接内存总线随机存取存储器(drram，directrambusrandomaccessmemory)。本发明实施例描述的存储介质旨在包括但不限于这些和任意其它适合类型的存储器。
在本申请所提供的几个实施例中，应该理解到，所揭露的系统和方法，可以通过其它的方式实现。以上所描述的设备实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，如：多个单元或组件可以结合，或可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的各组成部分相互之间的耦合、或直接耦合、或通信连接可以是通过一些接口，设备或单元的间接耦合或通信连接，可以是电性的、机械的或其它形式的。
上述作为分离部件说明的单元可以是、或也可以不是物理上分开的，作为单元显示的部件可以是、或也可以不是物理单元，即可以位于一个地方，也可以分布到多个网络单元上；可以根据实际的需要选择其中的部分或全部单元来实现本实施例方案的目的。
另外，在本发明各实施例中的各功能单元可以全部集成在一个处理单元中，也可以是各单元分别单独作为一个单元，也可以两个或两个以上单元集成在一个单元中；上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
本领域普通技术人员可以理解：实现上述方法实施例的全部或部分步骤可以通过程序指令相关的硬件来完成，前述的程序可以存储于一计算机可读取存储介质中，该程序在执行时，执行包括上述方法实施例的步骤；而前述的存储介质包括：移动存储设备、只读存储器(rom，read-onlymemory)、随机存取存储器(ram，randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。
或者，本发明上述集成的单元如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分。而前述的存储介质包括：移动存储设备、rom、ram、磁碟或者光盘等各种可以存储程序代码的介质。
本申请所提供的几个方法实施例中所揭露的方法，在不冲突的情况下可以任意组合，得到新的方法实施例。
本申请所提供的几个产品实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的产品实施例。
本申请所提供的几个方法或设备实施例中所揭露的特征，在不冲突的情况下可以任意组合，得到新的方法实施例或设备实施例。
以上内容是结合具体的优选实施方式对本发明所做的进一步详细说明，不能认定本发明的具体实施只局限于这些说明。对于本发明所属技术领域的技术人员来说，在不脱离本发明构思的前提下，还可以做出若干等同替代或明显变型，而且性能或用途相同，都应当视为属于本发明的保护范围。
1.一种面向聚焦式全光视频序列的帧内预测方法，其特征在于，包括如下步骤：
s1：获取全光视频序列的光学参数；
s2：根据光学成像原则和所述光学参数以及所述全光视频序列自带的参数，计算所述全光视频序列的参考块大小缩放系数，以及不同焦距的微透镜下对应参考块之间的距离参数；
s3：根据所述距离参数找到匹配参考块的位置，再根据所述缩放系数获取缩放后的参考块；
s4：在保持内容不变的情况下整形所述缩放后的参考块，使其与所述全光视频序列的原始缩放前参考块大小相等，再加权预测待预测的当前块，进而完成所述全光视频序列当前帧内所有块的帧内预测。
2.如权利要求1所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，获取所述全光视频序列的光学参数包括：宏像素直径、微透镜焦距、主透镜像面到微透镜距离、微透镜到其所成像的距离；所述自带参数是宏像素直径、微透镜类型。
3.如权利要求2所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，所述宏像素直径对同一种相机具有一致性；所述微透镜焦距包含所有种类的微透镜焦距，所述主透镜像面到微透镜距离和所述微透镜到其所成像的距离通过光学参数标定计算获得。
4.如权利要求3所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，多聚焦式全光相机的所述全光视频序列的参考块大小缩放系数大于1或小于1；
不同微透镜下对应参考块之间的距离参数由参考块对应微透镜的焦距和微透镜到微透镜所成像的距离决定。
5.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，对于开普勒成像模型，光学成像后图像的大小为：
其中，b是微透镜阵列和传感器之间的距离，a是主透镜的像到微透镜的距离，bi是微透镜i到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；sa主透镜所成像的大小；
所述缩放系数为：
6.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，对于伽利略成像模型，光学成像后图像的大小为：
其中，b是微透镜阵列和传感器之间的距离，a是主透镜的像到微透镜的距离，bi是微透镜i到其所成像的距离；fi是微透镜类型为i时的焦距；d是微透镜的直径；sa主透镜所成像的大小；
所述缩放系数为：
7.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，对于开普勒成像模型，所述不同微透镜下对应参考块之间的距离参数通过如下计算得到：
其中，sij是微透镜类型i和j下参考块之间的距离，a是主透镜的像到微透镜的距离，bi是微透镜i到其所成像的距离。
8.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，对于伽利略模型，所述不同微透镜下对应参考块之间的距离参数通过如下计算得到：
其中，sij是微透镜类型i和j下参考块之间的距离，a是主透镜的像到微透镜的距离，bi是微透镜i到其所成像的距离。
9.如权利要求4所述的面向聚焦式全光视频序列的帧内预测方法，其特征在于，用所述参考块边界像素加权预测所述当前块的边界像素，获取加权系数，用所述加权系数加权匹配所述参考块的所有像素，来预测所述当前块的像素值；具体通过如下公式：
其中，xˊi是第i个参考块的左边列和上方行的边界像素；y’当前块的左边列和上方行的边界像素。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1-9任一所述方法的步骤。
技术总结