本申请涉及计算机视觉,尤其涉及一种光流估计方法、装置、设备以及存储介质。
背景技术:
1、光流是空间运动物体在观察成像平面上的像素运动的瞬时速度,利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来找到上一帧跟当前帧之间存在的对应关系,从而计算出相邻帧之间物体的运动信息。目前,光流在计算机视觉领域中有广泛的应用,如多帧降噪、视频插帧、高动态范围图像(high dynamic range imaging,hdr)等。
2、在相关技术中,对于存在复杂运动的图像来说,传统光流估计算法的光流估计误差较大。虽然可以利用人工智能(artificial intelligence,ai)网络来减小图像的光流估计误差,但是ai光流的计算量较大,功耗过高。
技术实现思路
1、本申请提出一种光流估计方法、装置、设备以及存储介质,既能够降低光流估计的计算量,又能够提高光流估计的准确性。
2、为达到上述目的,本申请的技术方案是这样实现的:
3、第一方面,本申请实施例提供了一种光流估计方法,所述方法包括:
4、获取待估计光流的目标图像对;
5、对目标图像对进行下采样,确定采样图像对;
6、通过预设网络对采样图像对进行光流估计,得到第一光流图像,并根据采样图像对和第一光流图像,确定第一光流图像的重影区域;
7、利用密集逆向搜索算法对目标图像对、第一光流图像和重影区域进行光流计算,确定目标光流图像。
8、第二方面,本申请实施例提供了一种光流估计装置,光流装置包括获取单元、确定单元和估计单元,其中:
9、获取单元,配置为获取待估计光流的目标图像对;
10、确定单元,配置为对目标图像对进行下采样,确定采样图像对;
11、估计单元,配置为通过预设网络对采样图像对进行光流估计,得到第一光流图像,并根据采样图像对和第一光流图像,确定第一光流图像的重影区域;以及利用密集逆向搜索算法对目标图像对、第一光流图像和重影区域进行光流计算,确定目标光流图像。
12、第三方面,本申请实施例提供了一种电子设备,电子设备包括存储器和处理器,其中:
13、存储器,用于存储能够在处理器上运行的计算机程序;
14、处理器,用于在运行计算机程序时,执行如第一方面所述的方法。
15、第四方面,本申请实施例提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机程序,计算机程序被至少一个处理器执行时实现如第一方面所述的方法。
16、本申请实施例提出的一种光流估计方法、装置、设备以及存储介质,获取待估计光流的目标图像对;对目标图像对进行下采样,确定采样图像对;通过预设网络对采样图像对进行光流估计,得到第一光流图像,并根据采样图像对和第一光流图像,确定第一光流图像的重影区域;利用密集逆向搜索算法对目标图像对、第一光流图像和重影区域进行光流计算,确定目标光流图像。如此,通过预设网络对下采样后的采样图像对进行光流估计,能够在计算上节省了大量的资源和时间,进而提高光流估计的处理速度;而且利用密集逆向搜索算法对目标图像对、第一光流图像和重影区域进行迭代计算,还可以进一步降低光流估计的计算量,获得高精度的目标光流图像,进而提高光流估计的准确性。
1.一种光流估计方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述获取待估计光流的目标图像对,包括:
3.根据权利要求1所述的方法,其特征在于,所述根据所述采样图像对和所述第一光流图像,确定所述第一光流图像的重影区域,包括:
4.根据权利要求1所述的方法,其特征在于,所述利用密集逆向搜索算法对所述目标图像对、所述第一光流图像和所述重影区域进行光流估计,确定目标光流图像,包括:
5.根据权利要求4所述的方法,其特征在于,所述预设顺序为:所述图像金字塔中的图像尺度由大到小的顺序。
6.根据权利要求4所述的方法,其特征在于,所述方法还包括:
7.根据权利要求4所述的方法,其特征在于,所述根据所述采样后重影区域的灰度值、所述初始化光流图像和所述采样后光流图像,确定所述当前层图像对应的第二光流图像,包括:
8.根据权利要求7所述的方法,其特征在于,在所述重影区域的灰度值为第二值时,所述根据所述初始化光流图像和所述采样后光流图像,确定所述当前层图像对应的第二光流图像,包括:
9.根据权利要求8所述的方法,其特征在于,所述方法还包括:
10.根据权利要求1至9中任一项所述的方法,其特征在于,所述预设网络至少包括下述其中一项:raft网络、gmflow网络、flow网络和pwc-net网络。
11.一种光流估计装置,其特征在于,所述光流估计装置包括获取单元、确定单元和估计单元,其中:
12.一种电子设备,其特征在于,所述电子设备包括存储器和处理器,其中:
13.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,所述计算机程序被至少一个处理器执行时实现如权利要求1至10中任一项所述的方法。