本公开涉及图像处理技术领域，尤其涉及一种基于超像素关系分析的深度重建方法和装置。
背景技术：
基于单目相机的深度重建方法一直是重要且极具挑战性的一项研究内容，其在很多领域具有重要的应用，如自动驾驶，物体识别，动作识别等。但是，针对实际应用中许多复杂的运动场景，例如，刚性移动的交通工具，变形移动的行人等，传统的运动结构恢复(structurefrommotion，sfm)方法在进行动态场景深度求解时，无法直接确定每个单元结构件的相对尺度，导致传统的sfm方法无法对复杂的运动场景进行深度重建。
技术实现要素：
有鉴于此，本公开提出了一种基于超像素关系分析的深度重建方法和装置，有效实现对复杂运动场景的深度重建。
根据本公开的第一方面，提供了一种基于超像素关系分析的深度重建方法，包括：确定图像帧集合中相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s，其中，所述图像帧集合中包括至少两个图像帧，所述目标图像帧为所述图像帧集合中的一帧，所述超像素分割结果s中包括多个超像素；根据所述特征点匹配结果m和所述超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re；根据所述相邻超像素之间的运动关系re，确定所述相邻超像素之间的空间关系rs；根据所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ；根据所述每个超像素对应的单应矩阵h和所述每个超像素的平面参数θ，对所述图像帧集合对应的动态场景进行深度重建。
在一种可能的实现方式中，所述根据所述特征点匹配结果m和所述超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re，包括：针对任一超像素i，通过对第一能量函数e(h，re)进行优化，得到所述超像素i对应的单应矩阵hi和所述超像素i与相邻超像素j之间的运动关系re(i，j)；其中，所述第一能量函数e(h，re)中包括：与所述超像素对应的单应矩阵hi相关的第一优化项edata(hi)，与所述超像素对应的单应矩阵hi、所述超像素i与相邻超像素之间的运动关系re(i，j)、所述相邻像素j对应的单应矩阵hj相关的第二优化项epair(hi，hj，re(i，j))，以及与所述超像素i与相邻超像素之间的运动关系re(i，j)相关的常数项eo(re(i，j))。
在一种可能的实现方式中，所述相邻像素j对应的单应矩阵hj为优化后的单应矩阵。
在一种可能的实现方式中，所述根据所述相邻超像素之间的运动关系re，确定所述相邻超像素之间的空间关系rs，包括：将所述相邻超像素之间的运动关系re的关系类型确定为所述相邻超像素之间的空间关系rs的关系类型，所述关系类型包括：coplanar、hinge和crack。
在一种可能的实现方式中，所述根据所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ，包括：基于预设算法，在所述多个超像素中确定基准超像素集合st，其中，所述基准超像素集合st对应所述目标图像帧中的背景部分；将所述基准超像素集合st中每个基准超像素的尺度因子s确定为1；根据所述基准超像素集合st以及所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ。
在一种可能的实现方式中，所述根据所述基准超像素集合st以及所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ，包括：针对任一超像素i，通过对第二能量函数e(θ，s)进行优化，得到所述超像素i的平面参数θi和尺度因子si；其中，所述第二能量函数e(θ，s)中包括：与所述超像素i的平面参数θi和尺度因子si相关的第三优化项efit(θi，si)，与所述超像素i的平面参数θi、所述超像素i对应的相邻超像素j的平面参数θj相关的第四优化项erel(θi，θj)，以及与所述超像素i的尺度因子si相关的常数项eocc(si)。
在一种可能的实现方式中，当所述超像素i与所有相邻超像素j之间的运动关系rs(i，j)的关系类型均为crack时，所述第二能量函数e(θ，s)中还包括：与所述超像素i的平面参数θi、超像素k的平面参数θk相关的第五优化项epair(θi，θk)，其中，所述超像素k为超像素集合sr以外的超像素，所述超像素集合sr中的任一超像素均能够基于目标路径到达基准超像素集合st，且目标路径上的超像素关系的关系类型为coplanar或hinge。
在一种可能的实现方式中，所述相邻超像素j的平面参数θj和所述超像素k的平面参数θk为优化后的平面参数。
在一种可能的实现方式中，所述根据所述每个超像素对应的单应矩阵h和所述每个超像素的平面参数θ，对所述图像帧集合对应的动态场景进行深度重建，包括：对所述每个超像素对应的单应矩阵h进行分解，得到每个超像素对应的相机旋转参数r0和相机平移参数t0；根据所述每个超像素对应的相机旋转参数r0和相机平移参数t0，以及所述每个超像素的平面参数θ，构建所述图像帧集合对应的动态场景的稠密深度图。
根据本公开的第二方面，提供了一种基于超像素关系分析的深度重建装置，包括：第一确定模块，用于确定图像帧集合中相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s，其中，所述图像帧集合中包括至少两个图像帧，所述目标图像帧为所述图像帧集合中的一帧，所述超像素分割结果s中包括多个超像素；第二确定模块，用于根据所述特征点匹配结果m和所述超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re；第三确定模块，用于根据所述相邻超像素之间的运动关系re，确定所述相邻超像素之间的空间关系rs；第四确定模块，用于根据所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ；重建模块，用于根据所述每个超像素对应的单应矩阵h和所述每个超像素的平面参数θ，对所述图像帧集合对应的动态场景进行深度重建。
通过确定包括至少两个图像帧的图像帧集合中相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s，其中，目标图像帧为图像帧集合中的一帧，超像素分割结果s中包括多个超像素，根据特征点匹配结果m和超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re，根据相邻超像素之间的运动关系re，确定相邻超像素之间的空间关系rs，根据相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ，根据每个超像素对应的单应矩阵h和每个超像素的平面参数θ，对图像帧集合对应的动态场景进行深度重建。这样，通过超像素之间的运动关系来确定其空间关系，使得可以确定每个超像素的平面参数，从而有效实现对复杂运动场景的深度重建。
根据下面参考附图对示例性实施例的详细说明，本公开的其它特征及方面将变得清楚。
附图说明
包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本公开的示例性实施例、特征和方面，并且用于解释本公开的原理。
图1示出本公开一实施例的基于超像素关系分析的深度重建方法的流程示意图；
图2示出本公开一实施例的基于超像素关系分析的深度重建系统的示意图；
图3示出本公开一实施例的使用连续两个图像帧进行深度重建的结果示意图；
图4示出本公开一实施例的基于超像素关系分析的深度重建装置的结构示意图。
具体实施方式
以下将参考附图详细说明本公开的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。
在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。
另外，为了更好的说明本公开，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本公开同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本公开的主旨。
图1示出本公开一实施例的基于超像素关系分析的深度重建方法的流程示意图。如图1所示，该方法可以包括：
步骤s11，确定图像帧集合中相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s，其中，图像帧集合中包括至少两个图像帧，目标图像帧为图像帧集合中的一帧，超像素分割结果s中包括多个超像素。
步骤s12，根据特征点匹配结果m和超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re。
步骤s13，根据相邻超像素之间的运动关系re，确定相邻超像素之间的空间关系rs。
步骤s14，根据相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ。
步骤s15，根据每个超像素对应的单应矩阵h和每个超像素的平面参数θ，对图像帧集合对应的动态场景进行深度重建。
通过超像素之间的运动关系来确定其空间关系，使得可以确定每个超像素的平面参数，从而有效实现对复杂运动场景的深度重建。
图2示出本公开一实施例的基于超像素关系分析的深度重建系统的示意图。如图2所示，深度重建系统中包括五个模块：预处理模块、关系分析模块、运动选择模块、重建模块和优化模块。
将图像帧集合中包括的至少两个图像帧输入预处理模块，预处理模块对该至少两个图像帧进行预处理，输出相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s。
在一示例中，通过cpm算法确定相邻图像帧之间的特征点匹配结果。
需要注意的是，确定相邻图像帧之间的特征点匹配结果m的方法除了可以采用上述cpm算法，也可以采用其它算法，本公开对此不做具体限定。
在一示例中，通过slic算法确定目标图像帧的超像素分割结果s。
需要注意的是，确定目标图像帧的超像素分割结果s的方法除了可以采用上述slic算法，也可以采用其它算法，本公开对此不做具体限定。
针对相邻超像素之间的关系，定义了两种关系：运动关系和空间关系。运动关系与单应矩阵h相关，可以由点匹配得到，空间关系则由平面参数θ决定。对于运动关系和空间关系，各有3个关系类型，分别定义为：coplanar、hinge和crack。表1示出了运动关系的具体定义。表2示出了空间关系的具体定义。
表1
表2
其中，hi是超像素si对应的单应矩阵，θi是超像素si的平面参数，p是像素点p的规范形式，bi,j是相邻超像素si和sj共有边界上的像素集合。
仍以上述图2为例，预处理模块输出的相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s输入关系分析模块，关系分析模块根据预处理模块确定的相邻图像帧之间的特征点匹配结果m和以及目标图像帧的超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re。
在一种可能的实现方式中，根据特征点匹配结果m和超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re，包括：针对任一超像素i，通过对第一能量函数e(h，re)进行优化，得到超像素i对应的单应矩阵hi和超像素i与相邻超像素j之间的运动关系re(i，j)；其中，第一能量函数e(h，re)中包括：与超像素对应的单应矩阵hi相关的第一优化项edata(hi)，与超像素对应的单应矩阵hi、超像素i与相邻超像素之间的运动关系re(i，j)、相邻像素j对应的单应矩阵hj相关的第二优化项epair(hi，hj，re(i，j))，以及与超像素i与相邻超像素之间的运动关系re(i，j)相关的常数项eo(re(i，j))。
在一种可能的实现方式中，相邻像素j对应的单应矩阵hj为优化后的单应矩阵。
例如，第一能量函数e(h，re)的表示形式如下：
其中，通过优化上述第一能量函数确定超像素i对应的单应矩阵hi和超像素i与相邻超像素j之间的运动关系re(i，j)时，e是超像素i对应的相邻超像素对构成的集合，λs1和λs2是权重系数。
在第一能量函数e(h，re)中，与超像素对应的单应矩阵hi相关的第一优化项edata(hi)用来匹配特征点匹配结果m，具体表示形式如下：
其中，|zi|是归一化参数，su(si)是超像素i的支撑匹配，τg是阈值参数，ωc的具体表示形式如下：
ωc(si,pl)＝exp(-ωs(si,sj)/γ),pl∈sj。
其中，ωs为超像素i与超像素j中心的geodesic距离，γ是常值参数。
在第一能量函数e(h，re)中，与超像素对应的单应矩阵hi、超像素i与相邻超像素之间的运动关系re(i，j)、相邻像素j对应的单应矩阵hj相关的第二优化项epair(hi，hj，re(i，j))的具体表示形式如下：
在第一能量函数e(h，re)中，与超像素i与相邻超像素之间的运动关系re(i，j)相关的常数项eo(re(i，j))的具体表示形式为：
当图像帧集合中包括多个图像帧时，上述第一能量函数e(h，re)还包括：与超像素i与相邻超像素之间的运动关系re(i，j)相关的先验项emul(re(i，j))，此时，第一能量函数e(h，re)的具体表示形式如下：
其中，先验项emul(re(i，j))为根据追踪超像素关系加入的，其具体表现形式如下：
其中，rp(i,j)是追踪得到的运动关系的先验，
通过优化上述第一能量函数e(h，re)确定超像素i对应的单应矩阵hi和超像素i与相邻超像素j之间的运动关系re(i，j)时包括：
首先，随机初始化单应矩阵hi。其中，可以通过特征点匹配结果m初始化单应矩阵hi，也可以通过其它方法初始化单应矩阵hi，本公开对此不做具体限定。
其次，根据相邻像素对应的优化后的单应矩阵hj，确定第二优化项epair(hi，hj，re(i，j))，即将涉及到的所有点匹配看成是本地的支撑向量再进行优化。
最后，使用新的支撑向量集，依照fastpropagation方法，采用随机生成模型参数的方法来对单应矩阵hi进行优化。
其中，可以通过设置优化次数来结束优化过程，也可以在单应矩阵hi达到收敛时结束优化过程，还可以通过其它方式结束优化过程，本公开对此不做具体限定。
通过上述优化第一能量函数e(h，re)，可以得到每个超像素对应的单应矩阵h和相邻超像素间的运动关系re。
在一种可能的实现方式中，根据相邻超像素之间的运动关系re，确定相邻超像素之间的空间关系rs，包括：将相邻超像素之间的运动关系re的关系类型确定为相邻超像素之间的空间关系rs的关系类型，关系类型包括：coplanar、hinge和crack。
实际应用中，相邻超像素之间的运动关系和控件关系是一一对应的，因此，在得到相邻超像素间的运动关系re之后，将相邻超像素之间的运动关系re的关系类型确定为相邻超像素之间的空间关系rs的关系类型。即，当相邻超像素间的运动关系re的关系类型为coplanar时，其空间关系rs的关系类型也为coplanar；当相邻超像素间的运动关系re的关系类型为hinge时，其空间关系rs的关系类型也为hinge；当相邻超像素间的运动关系re的关系类型为crack时，其空间关系rs的关系类型也为crack。
仍以上述图2为例，关系分析模块输出每个超像素对应的单应矩阵h和相邻超像素之间的空间关系rs到运动选择模块。
在一种可能的实现方式中，根据相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ，包括：基于预设算法，在多个超像素中确定基准超像素集合st，其中，基准超像素集合st对应目标图像帧中的背景部分；将基准超像素集合st中每个基准超像素的尺度因子s确定为1；根据基准超像素集合st以及相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ。
仍以上述图2为例，运动选择模块基于预设算法，在多个超像素中确定基准超像素集合st，且对每个超像素对应的单应矩阵hi进行分解，得到每个超像素对应的逆深度di和平面法向量ni，进而输出基准超像素集合st、相邻超像素之间的空间关系rs，以及每个超像素对应的逆深度di和平面法向量ni到重建模块，使得重建模块确定每个超像素的平面参数θ。
在一种可能的实现方式中，根据基准超像素集合st以及相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ，包括：针对任一超像素i，通过对第二能量函数e(θ，s)进行优化，得到超像素i的平面参数θi和尺度因子si；其中，第二能量函数e(θ，s)中包括：与超像素i的平面参数θi和尺度因子si相关的第三优化项efit(θi，si)，与超像素i的平面参数θi、超像素i对应的相邻超像素j的平面参数θj相关的第四优化项erel(θi，θj)，以及与超像素i的尺度因子si相关的常数项eocc(si)。
在一种可能的实现方式中，当超像素i与所有相邻超像素j之间的运动关系rs(i，j)的关系类型均为crack时，第二能量函数e(θ，s)中还包括：与超像素i的平面参数θi、超像素k的平面参数θk相关的第五优化项epari(θi，θk)，其中，超像素k为超像素集合sr以外的超像素，超像素集合sr中的任一超像素均能够基于目标路径到达基准超像素集合st，且目标路径上的超像素关系的关系类型为coplanar或hinge。
在一种可能的实现方式中，相邻超像素j的平面参数θj和超像素k的平面参数θk为优化后的平面参数。
例如，第二能量函数e(θ，s)的表示形式如下：
其中，λr1、λr2和λr3是权重系数。
在第二能量函数e(θ，s)中，与超像素i的平面参数θi、超像素i对应的相邻超像素j的平面参数θj相关的第四优化项erel(θi，θj)的具体表示形式如下：
在第二能量函数e(θ，s)中，与超像素i的尺度因子si相关的常数项eocc(si)的具体表示形式如下：
eocc(si)＝δ(si≠1)。
其中，
在第二能量函数e(θ，s)中，与超像素i的平面参数θi和尺度因子si相关的第三优化项efit(θi，si)主要用于保持局部特性，其具体表示形式如下：
其中，τr是阈值参数。
定义sr表示所有基础超像素集合st能够达到的超像素集合。对于一个不在st中的超像素，我们定义其能够到达st，当且仅当我们能从该超像素找到一条目标路径到达st，且目标路径上面的超像素关系的关系类型是coplanar或者hinge，此时，定义：
ec＝{(i,k)|(i,k)∈e,si∈sr,sk∈s\sr}。
在第二能量函数e(θ，s)中，与超像素i的平面参数θi、超像素k的平面参数θk相关的第五优化项epair(θi，θk)的具体表现形式如下：
根据上述第五优化项epair(θi，θk)，可以确保所有超像素的平面参数均适用上述第二能量函数e(θ，s)。
通过优化上述第二能量函数e(θ，s)确定超像素i的平面参数θi和尺度因子si时包括：
首先，随机初始化平面参数θi。
其次，根据相邻像素对应的优化后的单应矩阵θj和θk，确定第四优化项erel(θi，θj)和第五优化项epari(θi，θk)。
最后，依照fastpropagation方法，采用随机生成模型参数的方法来对平面参数θi进行优化。
其中，可以通过设置优化次数来结束优化过程，也可以在平面参数θi达到收敛时结束优化过程，还可以通过其它方式结束优化过程，本公开对此不做具体限定。
在一种可能的实现方式中，根据每个超像素对应的单应矩阵h和每个超像素的平面参数θ，对图像帧集合对应的动态场景进行深度重建，包括：对每个超像素对应的单应矩阵h进行分解，得到每个超像素对应的相机旋转参数r0和相机平移参数t0；根据每个超像素对应的相机旋转参数r0和相机平移参数t0，以及每个超像素的平面参数θ，构建图像帧集合对应的动态场景的稠密深度图。
仍以上述图2为例，运动选择模块对每个超像素对应的单应矩阵hi进行分解，还会得到每个超像素对应的相机旋转参数r0和相机平移参数t0，并将其输出到重建模块，最终，重建模块基于根据每个超像素对应的相机旋转参数r0和相机平移参数t0，以及每个超像素的平面参数θ，构建图像帧集合对应的动态场景的稠密深度图d，并经过优化模块进一步优化得到优化后的稠密深度图dr。图3示出本公开一实施例的使用连续两个图像帧进行深度重建的结果示意图。
通过确定包括至少两个图像帧的图像帧集合中相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s，其中，目标图像帧为图像帧集合中的一帧，超像素分割结果s中包括多个超像素，根据特征点匹配结果m和超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re，根据相邻超像素之间的运动关系re，确定相邻超像素之间的空间关系rs，根据相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ，根据每个超像素对应的单应矩阵h和每个超像素的平面参数θ，对图像帧集合对应的动态场景进行深度重建。这样，通过超像素之间的运动关系来确定其空间关系，使得可以确定每个超像素的平面参数，从而有效实现对复杂运动场景的深度重建。
图4示出本公开一实施例的基于超像素关系分析的深度重建装置的结构示意图。如图4所示，装置40包括：
第一确定模块41，用于确定图像帧集合中相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s，其中，图像帧集合中包括至少两个图像帧，目标图像帧为图像帧集合中的一帧，超像素分割结果s中包括多个超像素；
第二确定模块42，用于根据特征点匹配结果m和超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re；
第三确定模块43，用于根据相邻超像素之间的运动关系re，确定相邻超像素之间的空间关系rs；
第四确定模块44，用于根据相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ；
重建模块45，用于根据每个超像素对应的单应矩阵h和每个超像素的平面参数θ，对图像帧集合对应的动态场景进行深度重建。
在一种可能的实现方式中，第二确定模块42具体用于：
针对任一超像素i，通过对第一能量函数e(h，re)进行优化，得到超像素i对应的单应矩阵hi和超像素i与相邻超像素j之间的运动关系re(i，j)；
其中，第一能量函数e(h，re)中包括：与超像素i对应的单应矩阵hi相关的第一优化项edata(hi)，与超像素i对应的单应矩阵hi、超像素i与相邻超像素j之间的运动关系re(i，j)、相邻像素j对应的单应矩阵hj相关的第二优化项epair(hi，hj，re(i，j))，以及与超像素i与相邻超像素j之间的运动关系re(i，j)相关的常数项eo(re(i，j))。
在一种可能的实现方式中，相邻像素j对应的单应矩阵hj为优化后的单应矩阵。
在一种可能的实现方式中，第三确定模块43具体用于：
将相邻超像素之间的运动关系re的关系类型确定为相邻超像素之间的空间关系rs的关系类型，关系类型包括：coplanar、hinge和crack。
在一种可能的实现方式中，第四确定模块44包括：
第一确定子模块，用于基于预设算法，在多个超像素中确定基准超像素集合st，其中，基准超像素集合st对应目标图像帧中的背景部分；
第二确定子模块，用于将基准超像素集合st中每个基准超像素的尺度因子s确定为1；
第三确定子模块，用于根据基准超像素集合st以及相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ。
在一种可能的实现方式中，第三确定子模块具体用于：
针对任一超像素i，通过对第二能量函数e(θ，s)进行优化，得到超像素i的平面参数θi和尺度因子si；
其中，第二能量函数e(θ，s)中包括：与超像素i的平面参数θi和尺度因子si相关的第三优化项efit(θi，si)，与超像素i的平面参数θi、超像素i对应的相邻超像素j的平面参数θj相关的第四优化项erel(θi，θj)，以及与超像素i的尺度因子si相关的常数项eocc(si)。
在一种可能的实现方式中，当超像素i与所有相邻超像素j之间的运动关系rs(i，j)的关系类型均为crack时，第二能量函数e(θ，s)中还包括：与超像素i的平面参数θi、超像素k的平面参数θk相关的第五优化项epair(θi，θk)，其中，超像素k为超像素集合sr以外的超像素，超像素集合sr中的任一超像素均能够基于目标路径到达基准超像素集合st，且目标路径上的超像素关系的关系类型为coplanar或hinge。
在一种可能的实现方式中，相邻超像素j的平面参数θj和超像素k的平面参数θk为优化后的平面参数。
在一种可能的实现方式中，重建模块45具体用于：
对每个超像素对应的单应矩阵h进行分解，得到每个超像素对应的相机旋转参数r0和相机平移参数t0；
根据每个超像素对应的相机旋转参数r0和相机平移参数t0，以及每个超像素的平面参数θ，构建图像帧集合对应的动态场景的稠密深度图。
本公开提供的装置40能够实现图1和/或图2所示方法实施例中的各个步骤，并实现相同的技术效果，为避免重复，这里不再赘述。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。
1.一种基于超像素关系分析的深度重建方法，其特征在于，包括：
确定图像帧集合中相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s，其中，所述图像帧集合中包括至少两个图像帧，所述目标图像帧为所述图像帧集合中的一帧，所述超像素分割结果s中包括多个超像素；
根据所述特征点匹配结果m和所述超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re；
根据所述相邻超像素之间的运动关系re，确定所述相邻超像素之间的空间关系rs；
根据所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ；
根据所述每个超像素对应的单应矩阵h和所述每个超像素的平面参数θ，对所述图像帧集合对应的动态场景进行深度重建。
2.根据权利要求1所述的方法，其特征在于，所述根据所述特征点匹配结果m和所述超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re，包括：
针对任一超像素i，通过对第一能量函数e(h，re)进行优化，得到所述超像素i对应的单应矩阵hi和所述超像素i与相邻超像素j之间的运动关系re(i，j)；
其中，所述第一能量函数e(h，re)中包括：与所述超像素i对应的单应矩阵hi相关的第一优化项edata(hi)，与所述超像素i对应的单应矩阵hi、所述超像素i与相邻超像素j之间的运动关系re(i，j)、所述相邻像素j对应的单应矩阵hj相关的第二优化项epair(hi，hj，re(i，j))，以及与所述超像素i与相邻超像素j之间的运动关系re(i，j)相关的常数项eo(re(i，j))。
3.根据权利要求2所述的方法，其特征在于，所述相邻像素j对应的单应矩阵hj为优化后的单应矩阵。
4.根据权利要求1所述的方法，其特征在于，所述根据所述相邻超像素之间的运动关系re，确定所述相邻超像素之间的空间关系rs，包括：
将所述相邻超像素之间的运动关系re的关系类型确定为所述相邻超像素之间的空间关系rs的关系类型，所述关系类型包括：coplanar、hinge和crack。
5.根据权利要求4所述的方法，其特征在于，所述根据所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ，包括：
基于预设算法，在所述多个超像素中确定基准超像素集合st，其中，所述基准超像素集合st对应所述目标图像帧中的背景部分；
将所述基准超像素集合st中每个基准超像素的尺度因子s确定为1；
根据所述基准超像素集合st以及所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ。
6.根据权利要求5所述的方法，其特征在于，所述根据所述基准超像素集合st以及所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ，包括：
针对任一超像素i，通过对第二能量函数e(θ，s)进行优化，得到所述超像素i的平面参数θi和尺度因子si；
其中，所述第二能量函数e(θ，s)中包括：与所述超像素i的平面参数θi和尺度因子si相关的第三优化项efit(θi，si)，与所述超像素i的平面参数θi、所述超像素i对应的相邻超像素j的平面参数θj相关的第四优化项erel(θi，θj)，以及与所述超像素i的尺度因子si相关的常数项eocc(si)。
7.根据权利要求6所述的方法，其特征在于，当所述超像素i与所有相邻超像素j之间的运动关系rs(i，j)的关系类型均为crack时，所述第二能量函数e(θ，s)中还包括：与所述超像素i的平面参数θi、超像素k的平面参数θk相关的第五优化项epair(θi，θk)，其中，所述超像素k为超像素集合sr以外的超像素，所述超像素集合sr中的任一超像素均能够基于目标路径到达基准超像素集合st，且目标路径上的超像素关系的关系类型为coplanar或hinge。
8.根据权利要求7所述的方法，其特征在于，所述相邻超像素j的平面参数θj和所述超像素k的平面参数θk为优化后的平面参数。
9.根据权利要求1所述的方法，其特征在于，所述根据所述每个超像素对应的单应矩阵h和所述每个超像素的平面参数θ，对所述图像帧集合对应的动态场景进行深度重建，包括：
对所述每个超像素对应的单应矩阵h进行分解，得到每个超像素对应的相机旋转参数r0和相机平移参数t0；
根据所述每个超像素对应的相机旋转参数r0和相机平移参数t0，以及所述每个超像素的平面参数θ，构建所述图像帧集合对应的动态场景的稠密深度图。
10.一种基于超像素关系分析的深度重建装置，其特征在于，包括：
第一确定模块，用于确定图像帧集合中相邻图像帧之间的特征点匹配结果m，以及目标图像帧的超像素分割结果s，其中，所述图像帧集合中包括至少两个图像帧，所述目标图像帧为所述图像帧集合中的一帧，所述超像素分割结果s中包括多个超像素；
第二确定模块，用于根据所述特征点匹配结果m和所述超像素分割结果s，确定每个超像素对应的单应矩阵h和相邻超像素之间的运动关系re；
第三确定模块，用于根据所述相邻超像素之间的运动关系re，确定所述相邻超像素之间的空间关系rs；
第四确定模块，用于根据所述相邻超像素之间的空间关系rs，确定每个超像素的平面参数θ；
重建模块，用于根据所述每个超像素对应的单应矩阵h和所述每个超像素的平面参数θ，对所述图像帧集合对应的动态场景进行深度重建。
技术总结