本申请涉及相机标定技术,尤其涉及一种双目相机标定方法、装置、设备及存储介质。
背景技术:
1、随着手机行业与自动驾驶行业的兴起,双目视觉相关算法得到人们更多的关注。其中,双目深度估计算法具备多类应用场景,以华为、小米、oppo等为代表的手机厂商均会在人像摄影的应用场景下搭载双目深度估计算法模型,便于在拍摄照片时准确识别对焦平面、模拟出单反大光圈定焦镜头的虚化效果。而以理想、蔚来、特斯拉等为代表的新能源汽车厂商则会在自动驾驶系统中应用该类技术,便于实时感知障碍物以及周边环境。此外,在无人机、机器人、航天、安防监控等领域,双目深度估计算法也是不可缺少的一环。
2、双目深度估计算法要求输入的两个相机成像平面完全平行且行对齐,因此双目相机标定方法的优劣决定了双目深度估计算法输出深度图的精度。在手机相机的人像模式下,用户在拍摄过程中轻微的抖动都有可能改变双目相机的相对空间位置关系,从而影响双目深度估计算法深度图的精度。
技术实现思路
1、本申请提供一种双目相机标定方法、装置、设备及存储介质。
2、本申请的技术方案是这样实现的:
3、第一方面,提供了一种双目相机的标定方法,所述方法包括:
4、基于获取的与主相机连接的光学防抖模块的光学防抖信息,对获取的所述主相机的初始内外参数进行补偿,得到补偿后的内外参数;
5、对所述主相机采集的第一图像和副相机采集的第二图像进行预处理,得到第一预处理图像和第二预处理图像;
6、基于所述主相机的补偿后的内外参数和获取的所述副相机的初始内外参数,对所述第一预处理图像和所述第二预处理图像进行特征匹配,得到第一特征点对集合;
7、基于所述第一特征点对集合和分段代价函数,对所述主相机的补偿后的内外参数和所述副相机的初始内外参数进行优化,并基于得到的所述主相机的第一优化内外参数确定对应的仿射变换矩阵,以及基于得到的所述副相机的第二优化内外参数确定对应的第一仿射变换矩。
8、第二方面,提供了一种双目相机的标定装置,所述装置包括:
9、补偿单元,用于基于获取的与主相机连接的光学防抖模块的光学防抖信息,对获取的所述主相机的初始内外参数进行补偿,得到补偿后的内外参数;
10、第一处理单元,用于对所述主相机采集的第一图像和副相机采集的第二图像进行预处理,得到第一预处理图像和第二预处理图像;
11、匹配单元,用于基于所述主相机的补偿后的内外参数和所述副相机的初始内外参数,对所述第一预处理图像和所述第二预处理图像进行特征匹配,得到第一特征点对集合;
12、第二处理单元,用于基于所述第一特征点对集合和分段代价函数,对所述主相机的补偿后的内外参数和所述副相机的初始内外参数进行优化,并基于得到的所述主相机的第一优化内外参数确定对应的仿射变换矩阵,以及基于得到的所述副相机的第二优化内外参数确定对应的第一仿射变换矩。
13、第三方面,提供了一种电子设备,包括:处理器和配置为存储能够在处理器上运行的计算机程序的存储器,其中,所述处理器配置为运行所述计算机程序时,执行第一方面的方法的步骤。
14、第四方面,提供了一种计算机可读存储介质,其上存储有计算机程序,其中,该计算机程序被处理器执行时实现第一方面的方法的步骤。
15、本申请公开一种双目相机标定方法、装置、设备及存储介质,通过主相机对应的光学防抖信息补偿主相机的初始内外参数,可以减少对主、副相机的相对空间位置关系的影响,进一步地,基于主相机的补偿后的内外参数和副相机的初始内外参数,对第一预处理图像和第二预处理图像进行特征匹配,提高了特征点对的匹配精度,从而进一步增强双目深度估计算法生成深度图的准确性。
1.一种双目相机的标定方法,其特征在于,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述基于所述主相机的补偿后的内外参数和获取的所述副相机的初始内外参数,对所述第一预处理图像和所述第二预处理图像进行特征匹配,得到第一特征点对集合,包括:
3.根据权利要求2所述的方法,其特征在于,所述基于所述主相机的补偿后的内外参数和所述副相机的初始内外参数,对所述第一角点集合和所述第二角点集合进行特征匹配,得到所述第一特征点对集合,包括:
4.根据权利要求3所述的方法,其特征在于,所述将所述第一角点序列中每个第一角点与对应的第一搜索范围内的多个第二角点进行特征匹配,得到所述第一特征点对集合,包括:
5.根据权利要求4所述的方法,其特征在于,所述第一预设条件包括:所述最小欧式距离小于第三阈值,且所述次要欧式距离大于预设倍数的所述最小欧式距离。
6.根据权利要求4所述的方法,其特征在于,所述将与所述第一角点序列相关联的第二特征点对集合中垂直坐标的差值大于第二阈值的第二特征点对过滤,得到所述第一特征点对集合,包括:
7.根据权利要求6所述的方法,其特征在于,所述将所述第二角点序列中每个第二角点与对应的第二搜索范围内的多个第一角点进行特征匹配,得到第四特征点对集合,包括:
8.根据权利要求1-7任一项所述的方法,其特征在于,所述基于获取的与主相机连接的光学防抖模块的光学防抖信息,对获取的所述主相机的初始内外参数进行补偿,得到补偿后的内外参数,包括:
9.根据权利要求1-7任一项所述的方法,其特征在于,所述对所述主相机采集的第一图像和副相机采集的第二图像进行预处理,得到第一预处理图像和第二预处理图像,包括:
10.根据权利要求9所述的方法,其特征在于,所述基于所述补偿后的内外参数,对所述第一图像进行去畸变处理,得到第一去畸变图像,包括:
11.根据权利要求1-7任一项所述的方法,其特征在于,所述基于所述第一特征点对集合和分段代价函数,对所述主相机的补偿后的内外参数和所述副相机的初始内外参数进行优化,并基于得到的所述主相机的第一优化内外参数确定对应的仿射变换矩阵,以及基于得到的所述副相机的第二优化内外参数确定对应的第一仿射变换矩,包括:
12.根据权利要求11所述的方法,其特征在于,所述将所述第一特征点对集合中的异常特征点对过滤,得到第五特征点对集合,包括:
13.根据权利要求12所述的方法,其特征在于,所述对所述第一特征点对集合进行视差分布筛选,得到第六特征点对集合,包括:
14.根据权利要求13所述的方法,其特征在于,所述将所述第一特征点对序列根据每个第一特征点对间的视差,等比划分为n组特征点对子序列,包括:
15.根据权利要求12所述的方法,其特征在于,所述对所述第七特征点对集合进行空间分布筛选,得到所述第五特征点对集合,包括:
16.根据权利要求15所述的方法,其特征在于,所述方法还包括:
17.根据权利要求11所述的方法,其特征在于,所述基于得到的所述副相机的第二优化内外参数确定对应的第一仿射变换矩,包括:
18.根据权利要求17所述的方法,其特征在于,所述基于所述第五特征点对集合,以及获取的对焦框信息和对焦距离信息,对所述第二仿射变换矩阵进行补偿,得到所述第一仿射变换矩阵,包括:
19.根据权利要求11所述的方法,其特征在于,所述基于得到的所述副相机的第二优化内外参数确定对应的第一仿射变换矩,包括:
20.根据权利要求19所述的方法,其特征在于,所述基于所述第五特征点对集合和每个第五特征点对包括的第二角点的深度信息,对所述第二仿射变换矩阵进行补偿,得到所述第一仿射变换矩阵,包括:
21.一种双目相机的标定装置,其特征在于,所述装置包括:
22.一种电子设备,其特征在于,所述电子设备包括:处理器和配置为存储能够在处理器上运行的计算机程序的存储器,
23.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至20任一项所述的方法的步骤。