本发明涉及相机技术领域，更具体地说，涉及一种rgbd相机标定方法及系统。
背景技术：
相机标定是视觉测量、三维重建等机器视觉应用的基础环节，标定结果的准确性和精度直接决定了视觉系统能否正常工作。相机标定是指用相机系统拍摄标定板的图像，利用标定板中已知特征点的三维坐标及图像上对应的图像坐标，解算相机参数的过程。
现有的相机标定方法包括以下三种，一是现有的相机标定方法需要采集不同角度、不同位置的多张平面阵列图像来进行相机标定，从而造成操作繁琐耗时，且效率低。二是由于传统的双目立体相机标定方法要求相机输出的左右图像分辨率一致，而rgbd相机输出的rgb图像和红外图像的分辨率不一致，因此传统的双目立体相机标定方法不能应用于左右图像分辨率不一致的rgbd相机的标定。三是由于传统的单目或双目相机标定方法不使用深度图信息，从而无法直接获得场景的尺度信息，而是需要从特征匹配点对恢复出场景的尺度、深度等信息，从而造成标定误差大，且效率低。
因此，现有的相机标定方法误差大且效率低。
技术实现要素：
有鉴于此，本发明公开了一种rgbd相机标定方法及系统，实现降低相机标定的误差，提高相机标定的效率的目的。
为了实现上述目的，其公开的技术方案如下：
本发明第一方面公开了一种rgbd相机标定方法，所述方法包括：
获取平面阵列组合图像，所述平面阵列组合图像包括深度图像、第一图像和第二图像，所述第一图像和所述第二图像由rgbd相机的不同摄像头拍摄，所述深度图像与所述第一图像来自同一摄像头；
对所述第一图像和所述深度图像进行第一内参处理，得到第一相机内参和第一变换参数，所述第一相机内参包括第一畸变参数和第一内部矩阵参数；
对所述第二图像进行第二内参处理，得到第二相机内参和第二变换参数，所述第二相机内参包括第二畸变参数和第二内部矩阵参数；
基于所述第一变换参数和所述第二变换参数进行外参处理，得到相机外参，所述相机外参包括外参的旋转矩阵和外参的平移向量；
对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数；
基于所述相机标定参数对所述rgbd相机进行标定。
优选的，所述对所述第一图像和所述深度图像进行第一内参处理，得到第一相机内参和第一变换参数，包括：
对所述第一图像进行特征点检测，得到第一特征点的像素坐标，第一特征点为平面阵列图案组合的各个阵列单元特征点在所述第一图像中的成像点；
根据所述第一特征点的像素坐标，从所述深度图像的相应像素坐标位置获取对应的第一特征点的深度值；
根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定所述第一特征点在世界坐标系下的坐标，得到第一特征点的世界坐标，所述世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
根据所述第一特征点的像素坐标、所述第一特征点的深度值和所述第一特征点的世界坐标建立第一线性方程组并求解，得到第一成像变换矩阵；
根据最小二乘算法由所述第一成像变换矩阵计算得到第一内部矩阵参数；
将所述第一成像变换矩阵进行矩阵分解，得到第一变换参数；
对所述第一内部矩阵参数、所述第一变换参数和预设的第一畸变参数进行非线性优化，得到优化后的第一内部矩阵参数、第一变换参数和第一畸变参数并输出。
优选的，所述对所述第二图像进行第二内参处理，得到第二相机内参和第二变换参数，包括：
对所述第二图像进行特征点检测，得到第二特征点的像素坐标，第二特征点为平面阵列图案组合的各个阵列单元特征点在所述第二图像中的成像点；
根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定所述第二特征点在世界坐标系下的坐标，得到第二特征点的世界坐标，所述世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
基于所述第二特征点的像素坐标和所述第二特征点的世界坐标建立第二线性方程组并求解，得到所述各个平面阵列图案与所述第二图像之间的单应矩阵；
基于所述各个平面阵列图案与所述第二图像之间的单应矩阵建立系数矩阵，并对所述系数矩阵进行svd分解，得到所述系数矩阵的最小的奇异值对应的右奇异向量；
基于所述右奇异向量，确定第二内部矩阵参数；
将所述单应矩阵进行矩阵分解，得到第二变换参数；
对所述第二内部矩阵参数、所述第二变换参数和预设的第二畸变参数进行非线性优化，得到优化后的第二内部矩阵参数、第二变换参数和第二畸变参数并输出。
优选的，所述基于所述第一变换参数和所述第二变换参数进行外参处理，得到相机外参，包括：
根据所述第一变换参数和所述第二变换参数建立第三线性方程组并求解，得到外参的旋转矩阵；
基于所述外参的旋转矩阵、所述第一变换参数的平移向量和所述第二变换参数的平移向量得到外参的平移向量；
基于所述外参的旋转矩阵和所述外参的平移向量，得到相机外参。
优选的，所述对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数，包括：
基于最小化重投影误差原则，对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数。
本发明第二方面公开了一种rgbd相机标定系统，所述系统包括：
第一获取单元，用于获取平面阵列组合图像，所述平面阵列组合图像包括深度图像、第一图像和第二图像，所述第一图像和所述第二图像由rgbd相机的不同摄像头拍摄，所述深度图像与所述第一图像来自同一摄像头；
第二获取单元，用于对所述第一图像和所述深度图像进行第一内参处理，得到第一相机内参和第一变换参数，所述第一相机内参包括第一畸变参数和第一内部矩阵参数；
第三获取单元，用于对所述第二图像进行第二内参处理，得到第二相机内参和第二变换参数，所述第二相机内参包括第二畸变参数和第二内部矩阵参数；
第四获取单元，用于基于所述第一变换参数和所述第二变换参数进行外参处理，得到相机外参，所述相机外参包括外参的旋转矩阵和外参的平移向量；
优化单元，用于对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数；
标定单元，用于基于所述相机标定参数对所述rgbd相机进行标定。
优选的，所述第二获取单元，包括：
第一检测模块，用于对所述第一图像进行特征点检测，得到第一特征点的像素坐标，第一特征点为平面阵列图案组合的各个阵列单元特征点在所述第一图像中的成像点；
第一获取模块，用于根据所述第一特征点的像素坐标，从所述深度图像的相应像素坐标位置获取对应的第一特征点的深度值；
第二获取模块，用于根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定所述第一特征点在世界坐标系下的坐标，得到第一特征点的世界坐标，所述世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
第三获取模块，用于根据所述第一特征点的像素坐标、所述第一特征点的深度值和所述第一特征点的世界坐标建立第一线性方程组并求解，得到第一成像变换矩阵；
第一计算模块，用于根据最小二乘算法由所述第一成像变换矩阵计算得到第一内部矩阵参数；
第一分解模块，用于将所述第一成像变换矩阵进行矩阵分解，得到第一变换参数；
第一优化模块，用于对所述第一内部矩阵参数、所述第一变换参数和预设的第一畸变参数进行非线性优化，得到优化后的第一内部矩阵参数、第一变换参数和第一畸变参数并输出。
优选的，所述第三获取单元，包括：
第二检测模块，用于对所述第二图像进行特征点检测，得到第二特征点的像素坐标，第二特征点为平面阵列图案组合的各个阵列单元特征点在所述第二图像中的成像点；
第四获取模块，用于根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定所述第二特征点在世界坐标系下的坐标，得到第二特征点的世界坐标，所述世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
第五获取模块，用于基于所述第二特征点的像素坐标和所述第二特征点的世界坐标建立第二线性方程组并求解，得到所述各个平面阵列图案与所述第二图像之间的单应矩阵；
第二分解模块，用于基于所述各个平面阵列图案与所述第二图像之间的单应矩阵建立系数矩阵，并对所述系数矩阵进行svd分解，得到所述系数矩阵的最小的奇异值对应的右奇异向量；
确定模块，用于基于所述右奇异向量，确定第二内部矩阵参数；
第三分解模块，用于将所述单应矩阵进行矩阵分解，得到第二变换参数；
第二优化模块，用于对所述第二内部矩阵参数、所述第二变换参数和预设的第二畸变参数进行非线性优化，得到优化后的第二内部矩阵参数、第二变换参数和第二畸变参数并输出。
优选的，所述第四获取单元，包括：
第六获取模块，用于根据所述第一变换参数和所述第二变换参数建立第三线性方程组并求解，得到外参的旋转矩阵；
第七获取模块，用于基于所述外参的旋转矩阵、所述第一变换参数的平移向量和所述第二变换参数的平移向量得到外参的平移向量；
第八获取模块，用于基于所述外参的旋转矩阵和所述外参的平移向量，得到相机外参。
优选的，所述标定单元，具体用于：
基于最小化重投影误差原则，对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数。
经由上述技术方案可知，获取平面阵列组合图像中的深度图像、第一图像和第二图像，对第一图像和深度图像进行第一内参处理，得到第一相机内参和第一变换参数，对第二图像进行第二内参处理，得到第二相机内参和第二变换参数，基于第一变换参数和第二变换参数，得到相机外参，对第一内参、第二内参和相机外参进行非线性优化，得到相机标定参数，基于相机标定参数对rgbd相机进行标定。通过上述方案，在相机标定的过程中采用了深度图像，且对获取到的第一内参、第二内参和相机外参进行非线性优化得到相机标定参数，降低相机标定的误差，此外，无需对第一内参、第二内参和相机外参以外的其他参数进行优化，从而提高相机标定的效率。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。
图1为本发明实施例公开的rgbd相机标定的系统架构图；
图2为本发明实施例公开的一种rgbd相机标定方法的流程示意图；
图3为本发明实施例公开的第一图像的示意图；
图4为发发明实施例公开的对第一图像和深度图像进行第一内参处理，得到第一相机内参和第一变换参数的流程示意图；
图5为本发明实施例公开的阵列单元特征点的世界坐标的示意图；
图6为本发明实施例公开的对第二图像进行第二内参处理，得到第二相机内参和第二变换参数的流程示意图；
图7为本发明实施例公开的基于第一变换参数和第二变换参数进行外参处理，得到相机外参的流程示意图；
图8为本发明实施例公开的一种rgbd相机标定系统的结构示意图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
在本申请中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
由背景技术可知，现有的相机标定方法误差大且效率低。
为了解决该问题，本发明实施例公开了一种rgbd相机标定方法及系统，在相机标定的过程中采用了深度图像，且对获取到的第一内参、第二内参和相机外参进行非线性优化得到相机标定参数，降低相机标定的误差，此外，无需对第一内参、第二内参和相机外参以外的其他参数进行优化，从而提高相机标定的效率。具体实现方式通过下述实施例具体进行说明。
如图1，示出了rgbd相机标定的系统架构图，该rgbd相机标定系统包括rgbd相机11和计算设备12，计算设备12中设置相机标定模块13。
rgbd相机标定的过程如下：
通过rgbd相机11拍摄平面阵列图像组合得到平面阵列组合图像，并将平面阵列组合图像发送至计算设备12。
计算设备12接收平面阵列组合图像，并将平面阵列组合图像发送至相机标定模块13。
相机标定模块13对平面阵列组合图像中的第一图像和深度图像进行第一内参处理，得到第一相机内参和第一变换参数。
相机标定模块13对平面阵列组合图像中的第二图像进行第二处理，得到第二相机内参和第二变换参数。
相机标定模块13对第一变换参数和第二变换参数进行外参处理，得到相机外参。
相机标定模块13对第一相机内参、第二相机内参和相机外参进行非线性优化，得到相机标定参数并输出。
本发明实施例中，在相机标定的过程中采用了深度图像，且对获取到的第一内参、第二内参和相机外参进行非线性优化得到相机标定参数，降低相机标定的误差，此外，无需对第一内参、第二内参和相机外参以外的其他参数进行优化，从而提高相机标定的效率。
如图2所示，为本发明实施例公开的一种rgbd相机标定方法的流程示意图，该rgbd相机标定方法应用于图1公开的rgbd相机标定系统，该rgbd相机标定方法主要包括如下步骤：
步骤s201：获取平面阵列组合图像，平面阵列组合图像包括深度图像、第一图像和第二图像。
在步骤s201中，通过rgbd相机拍摄平面阵列图案组合得到平面阵列组合图像。
rgbd相机是指带彩色摄像头的深度相机，包括结构光深度相机、双目结构光深度相机、飞行时间技术(timeoffight，tof)深度相机等。
rgbd相机至少包含两个或两个以上摄像头。当rgbd相机包含两个摄像头时，第一摄像头是红外摄像头，第二摄像头为彩色摄像头。
平面阵列图案组合是指两个或两个以上平面阵列图案的组合。
平面阵列组合图像是指含有阵列式排布的重复特征单元的平面图案，典型的平面阵列组合图像有正方形阵列、圆形阵列、黑白棋盘格等。
第一图像和第二图像由rgbd相机的不同摄像头拍摄，深度图像与第一图像来自同一摄像头。
第一图像是第一摄像头拍摄输出的图像，例如对于结构光深度相机或tof深度相机来说，第一图像是红外图像，对于双目结构光深度相机来说，第一图像是指左红外图像。
深度图像是第一摄像头按照特定规律拍摄的红外图像，并经过负责运算得到的图像，深度图像与第一图像两者像素具有一一对应关系。
第二图像是第二摄像头拍摄出的图像，通常是rgb图像或者yuv图像。
为了方便理解第一图像的结构，如图3所示，示出了第一图像的示意图。
图3中，假设平面阵列图案组合包含n个平面阵列图案，每个平面阵列图案包含的阵列单元特征点个数为mj，j＝1，2，...n，设
平面阵列图案组合包含的平面阵列图案个数n＝3，阵列单元特征点定义为格子的十字交叉点。平面阵列图案1包含5×4的十字交叉点阵列，平面阵列图案2也包含5×4的十字交叉点阵列，平面阵列图案3包含4×4的十字交叉点阵列。因此m1＝20，m2＝20，m3＝16，并且阵列单元特征点总个数m＝m1 m2 m3＝56。
步骤s202：对第一图像和深度图像进行第一内参处理，得到第一相机内参和第一变换参数，第一相机内参包括第一畸变参数和第一内部矩阵参数。
在步骤s202中，第一相机内参是指由畸变、焦距、主点等与第一摄像头成像有关的几何参数，其中主点是指相机光轴在图像中的成像位置。
其中，第一变换参数为各个平面阵列组合图案的世界坐标系到第一摄像头的相机坐标系的变换参数。相机坐标系为针孔模型相机中，聚焦中心为原点，以光轴为z轴，x轴与相机图像x方向平行而建立的三维直角坐标系。
第一畸变参数用于表征从第一摄像头的成像图像中的畸变。
第一内部矩阵参数第一内部矩阵参数为第一摄像头的内部矩阵参数。第一内部矩阵参数包括第一图像x方向尺度因子fx，第一图像y方向尺度因子fy，以及第一主点坐标(cx，cy)。其中，fx是透镜焦距f与第一图像传感器水平方向像元间距dx的比值，fx＝f/dx，fy是透镜焦距f与第一图像传感器垂直方向像元间距dy的比值，fy＝f/dy。
步骤s203：对第二图像进行第二内参处理，得到第二相机内参和第二变换参数，第二相机内参包括第二畸变参数和第二内部矩阵参数。
在步骤s203中，第二相机内参是指由畸变、焦距、主点等与第二摄像头成像有关的几何参数，其中主点是指相机光轴在图像中的成像位置。
第二变换参数为各个平面阵列组合图案的世界坐标系到第二摄像头的相机坐标系的变换参数。
第二畸变参数用于表征从第二摄像头的成像图像中的畸变。
第二内部矩阵参数第二内部矩阵参数为第二摄像头的内部矩阵参数。第二内部矩阵参数包括第二图像x方向尺度因子
步骤s204：基于第一变换参数和第二变换参数进行外参处理，得到相机外参，相机外参包括外参的旋转矩阵和外参的平移向量。
在步骤s204中，相机外参用于描述第一摄像头和第二摄像头之间的位置与姿态转换关系。
步骤s205：对第一畸变参数、第一内部矩阵参数、第二畸变参数、第二内部矩阵参数、外参的旋转矩阵和外参的平移向量进行非线性优化，得到相机标定参数。
在具体实现步骤s205的过程中，以最小化各个阵列单元特征点重投影误差为准则，对第一畸变参数、第一内部矩阵参数、第二畸变参数、第二内部矩阵参数、外参的旋转矩阵和外参的平移向量进行非线性优化，得到相机标定参数。
步骤s206：基于相机标定参数对rgbd相机进行标定。
在步骤s206中，相机标定是指在图像测量过程以及机器视觉应用中，为确定空间物体表面某点的三维几何位置与其在图像中对应点之间的相互关系，建立相机成像的几何模型，这些几何模型参数就是相机参数。在大多数条件下这些参数通过实验与计算才能得到，这个求解参数的过程就称之为相机标定。
本发明实施例公开的一种rgbd相机标定方法中，在相机标定的过程中采用了深度图像，且对获取到的第一内参、第二内参和相机外参进行非线性优化得到相机标定参数，降低相机标定的误差，此外，只需要采集单张平面阵列图案组合图像，且无需对第一内参、第二内参和相机外参以外的其他参数进行优化，从而提高相机标定的效率。
在上述步骤s202中涉及到对第一图像和深度图像进行第一内参处理，得到第一相机内参和第一变换参数的过程，如图4所示，具体包括如下步骤：
步骤s401：对第一图像进行特征点检测，得到第一特征点的像素坐标。
在步骤s401中，第一特征点为平面阵列图案组合的各个阵列单元特征点在第一图像中的成像点。
第一特征点的像素坐标为pji＝(uji，vji)。
其中，j＝1，2，...n，i＝1，2，...mj，n为大于或等于2的整数，mj为大于或等于3的整数。
第一特征点检测方法根据阵列单元形式适当选定，当阵列单元为黑白棋盘格阵列时，第一特征点检测采用棋盘格角点检测方法；当阵列单元为圆形阵列时，第一特征点检测用圆检测方法并进一步求取圆心位置作为特征点的成像点位置。阵列单元形式及其对应的第一特征点检测方法根据实际情况进行选取，本发明不做具体限定。
优选的，对第一特征点像素坐标做亚像素插值处理，从而提升第一特征点像素坐标的精度。
步骤s402：根据第一特征点的像素坐标，从深度图像的相应像素坐标位置获取对应的第一特征点的深度值。
在步骤s402中，第一特征点在深度图像中对应的深度值成为第一特征点的深度值，即，根据第一特征点的像素坐标pji，从深度图像对应位置获取第一特征点的深度值，第一特征点的深度值表示为zji。
其中，j＝1，2，...n，i＝1，2，...mj，n为大于或等于2的整数，mj为大于或等于3的整数。
当第一特征点像素坐标(uji，vji)为非整数时，可以采用最邻近插值、双线性插值、样条插值等插值方法从深度图像中获取深度值，具体插值方法的确定根据实际情况进行设置，本发明不做具体限定。
步骤s403：根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定第一特征点在世界坐标系下的坐标，得到第一特征点的世界坐标。
其中，世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建。
第一特征点的世界坐标表示为pji＝(xji,yji,0)。
其中，j＝1,2,...n，i＝1,2,...mj，n为大于或等于2的整数，mj为大于或等于3的整数。
为了方便理解阵列单元特征点的世界坐标，结合图5示出的阵列单元特征点的世界坐标的示意图，进行举例说明：
如图5所示，在平面阵列图案组合内的某个平面阵列图案为3×4圆形阵列，阵元间距为30毫米，阵列单元特征点为各圆的圆心，以平面阵列图案所在平面为xoy平面，x轴和y轴分别平行于阵列单元的两个阵元重复方向维度，选定位于图像左上角的阵列单元特征点为原点，以此建立三维直角坐标系，以该三维直角坐标系作为世界坐标系，根据阵元间距和阵元特征点的相对位置关系可得到平面阵列图案中各个阵列单元特征点的世界坐标。
各阵列单元特征点的世界坐标值见图5中圆形阵列单元旁的标注，单位为毫米。
步骤s404：根据第一特征点的像素坐标、第一特征点的深度值和第一特征点的世界坐标建立第一线性方程组并求解，得到第一成像变换矩阵。
在步骤s404中，第一成像变换矩阵为各个平面阵列图案的世界坐标系列到第一摄像头像素坐标系的成像变换矩阵，第一成像变换矩阵表示为hj。
其中，j＝1,2,...,n，n为大于或等于2的整数。
第一成像变换矩阵hj定义为3×3矩阵，分别记其第1，2，3列为hj1，hj2，hj3，则可建立第一线性方程组：
上述方程组中，i为3×3单位矩阵，qji＝[uji,vji,1]t为第一特征点的齐次像素坐标，j＝1,2,...n,i＝1,2,...mj。
求取上述第一线性方程组中hj的三个列向量hj1，hj2，hj3的最小二乘解，从而得到hj。
步骤s405：根据最小二乘算法由第一成像变换矩阵计算得到第一内部矩阵参数。
在步骤s405中，根据第一成像变换矩阵建立矩阵线性方程组，如公式(2)所示。
其中，c＝[1,1,0]t为常向量，aj,j＝1,2,...n按照公式(3)进行计算。
其中，hjkn表示取hj的第k行n列元素。
求取上述矩阵线性方程组的最小二乘解得到5×1维列向量b，设b＝[b1,b2,b3,b4,b5]t，则可按公式(4)得到第一内部矩阵参数。
根据第一内部矩阵参数，进一步构建第一内部矩阵k，如公式(5)所示。
步骤s406：将第一成像变换矩阵进行矩阵分解，得到第一变换参数。
在步骤s406中，第一变换参数表示为tj＝[rj,tj]。
其中，j＝1,2,...,n，tj为3×4矩阵，rj为3×3单位矩阵，rj称为第一变换参数的旋转矩阵；tj为第一变换参数的3×1列向量，tj称为第一变换参数的平移向量。
计算tj的过程如下：
首先，计算
然后，计算
最后，将
步骤s407：对第一内部矩阵参数、第一变换参数和预设的第一畸变参数进行非线性优化，得到优化后的第一内部矩阵参数、第一变换参数和第一畸变参数并输出。
在步骤s407中，通过最小化第一特征点重投影误差为准则，对第一内部矩阵参数、第一变换参数和预设的第一畸变参数进行非线性优化，得到优化后的第一内部矩阵参数、第一变换参数和第一畸变参数并输出。
第一畸变参数d＝[d1,d2,d3,d4,d5]t。
其中，d＝[d1,d2,d3,d4,d5]t为5×1列向量，d1，d2和d5为径向畸变参数，d3和d4为切向畸变参数。
优选的，5个畸变参数的初始值均设为0。
对第一内部矩阵参数、第一变换参数和预设的第一畸变参数进行非线性优化，如公式(6)所示。
公式(6)中，
在本发明的一个实施例中，σ被设置为单位矩阵。
在本发明的一个优选的实施例中，σ按公式(7)进行设置。
其中μ是大于0的常系数，建议取值为1，η是大于0且小于1的常系数，建议取值为0.05。
γd(·)为畸变模型函数，如公式(8)所示。
其中，ρ(·)为鲁棒核函数，ρ(·)可以是huber损失函数、turkey损失函数、l2范数损失函数等其它类型的损失函数，ρ(·)损失函数的类型本发明不做具体限定。
上述非线性优化可以采用guass-newton、levenberg-marquardt、dogleg等方法求解，非线性优化的方法本发明不做具体限定。
本发明实施例中，在第一内参的计算过程中采用了深度图像，且对第一内参进行非线性优化，从而提高了获取第一内参的准确性。
在上述步骤s203中涉及到对第二图像进行第二内参处理，得到第二相机内参和第二变换参数的过程，如图6所示，主要包括如下步骤：
步骤s601：对第二图像进行特征点检测，得到第二特征点的像素坐标。
在步骤s601中，第二特征点为平面阵列图案组合的各个阵列单元特征点在第二图像中的成像点。
第二特征点的像素坐标表示为
其中，j＝1，2，...n，i＝1，2，...mj，n为大于或等于2的整数，mj为大于或等于4的整数。
第二特征点检测方法根据阵列单元形式适当选定，当阵列单元为黑白棋盘格阵列时，第二特征点检测采用棋盘格角点检测方法；当阵列单元为圆形阵列时，第二特征点检测用圆检测方法并进一步求取圆心位置作为特征点的成像点位置。阵列单元形式及其对应的第二特征点检测方法根据实际情况进行选取，本发明不做具体限定。
优选的，对第二特征点像素坐标做亚像素插值处理，从而提升第二特征点像素坐标的精度。
步骤s602：根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定第二特征点在世界坐标系下的坐标，得到第二特征点的世界坐标。
其中，世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建。
第二特征点的世界坐标表示为
其中，j＝1,2,...n，i＝1,2,...mj，为大于或等于2的整数，mj为大于或等于4的整数。
步骤s603：基于第二特征点的像素坐标和第二特征点的世界坐标建立第二线性方程组并求解，得到各个平面阵列图案与第二图像之间的单应矩阵。
在步骤s603中，各个平面阵列图案与第二图像之间的单应矩阵为各个平面阵列图案的世界坐标系到第一摄像头像素坐标系的变换矩阵。
各个平面阵列图案与第二图像之间的单应矩阵表示为
单应矩阵定义为3×3矩阵，设
构建第二线性方程组，如公式(10)所示。
其中，
求解上述第二线性方程组未知量
步骤s604：基于各个平面阵列图案与第二图像之间的单应矩阵建立系数矩阵，并对系数矩阵进行svd分解，得到系数矩阵的最小的奇异值对应的右奇异向量。
在步骤s604中，根据单应矩阵各个平面阵列图案的单应矩阵
基于公式(11)得到公式(12)。
其中，
将
步骤s605：基于右奇异向量，确定第二内部矩阵参数。
根据公式(13)计算得到第二内部矩阵参数。
基于公式(13)得到公式(14)。
其中，
步骤s606：将单应矩阵进行矩阵分解，得到第二变换参数。
在步骤s606中，第二变换参数表示为
其中，j＝1,2,...,n，
步骤s607：对第二内部矩阵参数、第二变换参数和预设的第二畸变参数进行非线性优化，得到优化后的第二内部矩阵参数、第二变换参数和第二畸变参数并输出。
在步骤s607中，以最小化各个阵列单元特征点重投影误差为准则，对第二内部矩阵参数、第二变换参数和预设的第二畸变参数进行非线性优化，得到优化后的第二内部矩阵参数、第二变换参数和第二畸变参数并输出。
对第二内部矩阵参数、第二变换参数和预设的第二畸变参数进行非线性优化，如公式(15)所示。
其中，
本发明实施例中，通过对第二内参进行非线性优化，从而提高了获取第二内参的准确性。
在上述步骤s204中涉及到基于第一变换参数和第二变换参数进行外参处理，得到相机外参的过程，如图7所示，主要包括如下步骤：
步骤s701：根据第一变换参数和第二变换参数建立第三线性方程组并求解，得到外参的旋转矩阵。
在步骤s701中，通过求取第三线性方程组的最小二乘解得到外参的旋转矩阵。
第一摄像头与第二摄像头之间的外参用t表示。
其中，t＝[r,t]为外参的3×4矩阵，r为外参的3×3单位矩阵，称为外参的旋转矩阵；t为外参的3×1列向量，称为外参的平移向量。
设
在公式(18)中，wj如公式(19)所示，vj如公式(20)所示。
求取第三线性方程组的最小二乘解得到9×1列向量e，设e＝[e1,e2,...,e9]t，则得到r，如公式(21)所示。
步骤s702：基于外参的旋转矩阵、第一变换参数的平移向量和第二变换参数的平移向量得到外参的平移向量。
在步骤s702中，外参的平移向量的求解如公式(22)所示。
步骤s703：基于外参的旋转矩阵和外参的平移向量，得到相机外参。
本发明实施例中，基于外参的旋转矩阵、第一变换参数的平移向量和第二变换参数的平移向量得到外参的平移向量，基于外参的旋转矩阵和外参的平移向量实现得到相相机外参的目的。
在上述步骤s205中的对第一畸变参数、第一内部矩阵参数、第二畸变参数、第二内部矩阵参数、外参的旋转矩阵和外参的平移向量进行非线性优化，得到相机标定参数的过程，如下所示：
基于最小化重投影误差原则，对第一畸变参数、第一内部矩阵参数、第二畸变参数、第二内部矩阵参数、外参的旋转矩阵和外参的平移向量进行非线性优化，得到相机标定参数。
对第一畸变参数、第一内部矩阵参数、第二畸变参数、第二内部矩阵参数、外参的旋转矩阵和外参的平移向量进行非线性优化如公式(23)所示。
其中，
本发明实施例中，通过基于最小化重投影误差原则，对第一畸变参数、第一内部矩阵参数、第二畸变参数、第二内部矩阵参数、外参的旋转矩阵和所参平移向量进行非线性优化，从而提高获得相机标定参数的准确性。
基于上述实施例图2公开的一种rgbd相机标定方法，本发明实施例还对应公开了一种rgbd相机标定系统的结构示意图，如图8所示，该rgbd相机标定系统主要包括：
第一获取单元801、第二获取单元802、第三获取单元803、第四获取单元804、优化单元805和标定单元806。
第一获取单元801，用于获取平面阵列组合图像，平面阵列组合图像包括深度图像、第一图像和第二图像，第一图像和第二图像由rgbd相机的不同摄像头拍摄，深度图像与所述第一图像来自同一摄像头。
第二获取单元802，用于对第一图像和深度图像进行第一内参处理，得到第一相机内参和第一变换参数，第一相机内参包括第一畸变参数和第一内部矩阵参数。
第三获取单元803，用于对第二图像进行第二内参处理，得到第二相机内参和第二变换参数，第二相机内参包括第二畸变参数和第二内部矩阵参数。
第四获取单元804，用于基于第一变换参数和第二变换参数进行外参处理，得到相机外参，相机外参包括外参的旋转矩阵和外参的平移向量。
优化单元805，用于对第一畸变参数、第一内部矩阵参数、第二畸变参数、第二内部矩阵参数、外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数。
标定单元806，用于基于相机标定参数对rgbd相机进行标定。
进一步的，第二获取单元802包括第一检测模块、第一获取模块、第二获取模块、第三获取模块、第一计算模块、第一分解模块和第一优化模块。
第一检测模块，用于对第一图像进行特征点检测，得到第一特征点的像素坐标。
其中，第一特征点为平面阵列图案组合的各个阵列单元特征点在第一图像中的成像点。
第一获取模块，用于根据第一特征点的像素坐标，从深度图像的相应像素坐标位置获取对应的第一特征点的深度值。
第二获取模块，用于根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定第一特征点在世界坐标系下的坐标，得到第一特征点的世界坐标。
其中，世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建。
第三获取模块，用于根据第一特征点的像素坐标、第一特征点的深度值和所述第一特征点的世界坐标建立第一线性方程组并求解，得到第一成像变换矩阵。
第一计算模块，用于根据最小二乘算法由第一成像变换矩阵计算得到第一初始内部矩阵参数。
第一分解模块，用于将第一成像变换矩阵进行矩阵分解，得到第一初始变换参数。
第一优化模块，用于对第一内部矩阵参数、第一变换参数和预设的第一畸变参数进行非线性优化，得到优化后的第一内部矩阵参数、第一变换参数和第一畸变参数并输出。
进一步的，第三获取单元803包括第二检测模块、第四获取模块、第五获取模块、第二分解模块、确定模块、第三分解模块和第二优化模块。
第二检测模块，用于对第二图像进行特征点检测，得到第二特征点的像素坐标。
其中，第二特征点为平面阵列图案组合的各个阵列单元特征点在第二图像中的成像点。
第四获取模块，用于根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定第二特征点在世界坐标系下的坐标，得到第二特征点的世界坐标。
其中，世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
第五获取模块，用于基于第二特征点的像素坐标和第二特征点的世界坐标建立第二线性方程组并求解，得到各个平面阵列图案与第二图像之间的单应矩阵。
第二分解模块，用于基于各个平面阵列图案与第二图像之间的单应矩阵建立系数矩阵，并对系数矩阵进行svd分解，得到系数矩阵的最小的奇异值对应的右奇异向量。
确定模块，用于基于右奇异向量，确定第二内部矩阵参数。
第三分解模块，用于将单应矩阵进行矩阵分解，得到第二变换参数。
第二优化模块，用于对第二初始内部矩阵参数、第二初始变换参数和预设的第二畸变参数进行非线性优化，得到优化后的第二内部矩阵参数、第二变换参数和第二畸变参数并输出。
进一步的，第四获取单元804包括第六获取模块、第七获取模块和第八获取模块。
第六获取模块，用于根据第一变换参数和第二变换参数建立线性方程组并求解，得到外参的旋转矩阵。
第七获取模块，用于基于外参的旋转矩阵、第一变换参数的平移向量和第二变换参数的平移向量得到外参的平移向量。
第八获取模块，用于基于外参的旋转矩阵和外参的平移向量，得到相机外参。
进一步的，标定单元806，具体用于基于最小化重投影误差原则，对第一畸变参数、第一内部矩阵参数、第二畸变参数、第二内部矩阵参数、外参的旋转矩阵和外参的平移向量进行非线性优化，得到相机标定参数。
本发明实施例公开了一种rgbd相机标定系统，在相机标定的过程中采用了深度图像，且对获取到的第一内参、第二内参和相机外参进行非线性优化得到相机标定参数，降低相机标定的误差，此外，无需对第一内参、第二内参和相机外参以外的其他参数进行优化，从而提高相机标定的效率。
对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本发明所必须的。
需要说明的是，本说明书中的各个实施例均采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似的部分互相参见即可。对于系统类实施例而言，由于其与方法实施例基本相似，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
本发明各实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
最后，还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。
对所公开的实施例的上述说明，使本领域技术人员能够实现或使用本发明。对这些实施例的多种修改对本领域技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本发明的精神或范围的情况下，在其它实施例中实现。因此，本发明将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。
以上所述仅是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本发明的保护范围。
1.一种rgbd相机标定方法，其特征在于，所述方法包括：
获取平面阵列组合图像，所述平面阵列组合图像包括深度图像、第一图像和第二图像，所述第一图像和所述第二图像由rgbd相机的不同摄像头拍摄，所述深度图像与所述第一图像来自同一摄像头；
对所述第一图像和所述深度图像进行第一内参处理，得到第一相机内参和第一变换参数，所述第一相机内参包括第一畸变参数和第一内部矩阵参数；
对所述第二图像进行第二内参处理，得到第二相机内参和第二变换参数，所述第二相机内参包括第二畸变参数和第二内部矩阵参数；
基于所述第一变换参数和所述第二变换参数进行外参处理，得到相机外参，所述相机外参包括外参的旋转矩阵和外参的平移向量；
对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数；
基于所述相机标定参数对所述rgbd相机进行标定。
2.根据权利要求1所述的方法，其特征在于，所述对所述第一图像和所述深度图像进行第一内参处理，得到第一相机内参和第一变换参数，包括：
对所述第一图像进行特征点检测，得到第一特征点的像素坐标，第一特征点为平面阵列图案组合的各个阵列单元特征点在所述第一图像中的成像点；
根据所述第一特征点的像素坐标，从所述深度图像的相应像素坐标位置获取对应的第一特征点的深度值；
根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定所述第一特征点在世界坐标系下的坐标，得到第一特征点的世界坐标，所述世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
根据所述第一特征点的像素坐标、所述第一特征点的深度值和所述第一特征点的世界坐标建立第一线性方程组并求解，得到第一成像变换矩阵；
根据最小二乘算法由所述第一成像变换矩阵计算得到第一内部矩阵参数；
将所述第一成像变换矩阵进行矩阵分解，得到第一变换参数；
对所述第一内部矩阵参数、所述第一变换参数和预设的第一畸变参数进行非线性优化，得到优化后的第一内部矩阵参数、第一变换参数和第一畸变参数并输出。
3.根据权利要求1所述的方法，其特征在于，所述对所述第二图像进行第二内参处理，得到第二相机内参和第二变换参数，包括：
对所述第二图像进行特征点检测，得到第二特征点的像素坐标，第二特征点为平面阵列图案组合的各个阵列单元特征点在所述第二图像中的成像点；
根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定所述第二特征点在世界坐标系下的坐标，得到第二特征点的世界坐标，所述世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
基于所述第二特征点的像素坐标和所述第二特征点的世界坐标建立第二线性方程组并求解，得到所述各个平面阵列图案与所述第二图像之间的单应矩阵；
基于所述各个平面阵列图案与所述第二图像之间的单应矩阵建立系数矩阵，并对所述系数矩阵进行svd分解，得到所述系数矩阵的最小的奇异值对应的右奇异向量；
基于所述右奇异向量，确定第二内部矩阵参数；
将所述单应矩阵进行矩阵分解，得到第二变换参数；
对所述第二内部矩阵参数、所述第二变换参数和预设的第二畸变参数进行非线性优化，得到优化后的第二内部矩阵参数、第二变换参数和第二畸变参数并输出。
4.根据权利要求1所述的方法，其特征在于，所述基于所述第一变换参数和所述第二变换参数进行外参处理，得到相机外参，包括：
根据所述第一变换参数和所述第二变换参数建立第三线性方程组并求解，得到外参的旋转矩阵；
基于所述外参的旋转矩阵、所述第一变换参数的平移向量和所述第二变换参数的平移向量得到外参的平移向量；
基于所述外参的旋转矩阵和所述外参的平移向量，得到相机外参。
5.根据权利要求1所述的方法，其特征在于，所述对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数，包括：
基于最小化重投影误差原则，对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数。
6.一种rgbd相机标定系统，其特征在于，所述系统包括：
第一获取单元，用于获取平面阵列组合图像，所述平面阵列组合图像包括深度图像、第一图像和第二图像，所述第一图像和所述第二图像由rgbd相机的不同摄像头拍摄，所述深度图像与所述第一图像来自同一摄像头；
第二获取单元，用于对所述第一图像和所述深度图像进行第一内参处理，得到第一相机内参和第一变换参数，所述第一相机内参包括第一畸变参数和第一内部矩阵参数；
第三获取单元，用于对所述第二图像进行第二内参处理，得到第二相机内参和第二变换参数，所述第二相机内参包括第二畸变参数和第二内部矩阵参数；
第四获取单元，用于基于所述第一变换参数和所述第二变换参数进行外参处理，得到相机外参，所述相机外参包括外参的旋转矩阵和外参的平移向量；
优化单元，用于对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数；
标定单元，用于基于所述相机标定参数对所述rgbd相机进行标定。
7.根据权利要求6所述的系统，其特征在于，所述第二获取单元，包括：
第一检测模块，用于对所述第一图像进行特征点检测，得到第一特征点的像素坐标，第一特征点为平面阵列图案组合的各个阵列单元特征点在所述第一图像中的成像点；
第一获取模块，用于根据所述第一特征点的像素坐标，从所述深度图像的相应像素坐标位置获取对应的第一特征点的深度值；
第二获取模块，用于根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定所述第一特征点在世界坐标系下的坐标，得到第一特征点的世界坐标，所述世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
第三获取模块，用于根据所述第一特征点的像素坐标、所述第一特征点的深度值和所述第一特征点的世界坐标建立第一线性方程组并求解，得到第一成像变换矩阵；
第一计算模块，用于根据最小二乘算法由所述第一成像变换矩阵计算得到第一内部矩阵参数；
第一分解模块，用于将所述第一成像变换矩阵进行矩阵分解，得到第一变换参数；
第一优化模块，用于对所述第一内部矩阵参数、所述第一变换参数和预设的第一畸变参数进行非线性优化，得到优化后的第一内部矩阵参数、第一变换参数和第一畸变参数并输出。
8.根据权利要求6所述的系统，其特征在于，所述第三获取单元，包括：
第二检测模块，用于对所述第二图像进行特征点检测，得到第二特征点的像素坐标，第二特征点为平面阵列图案组合的各个阵列单元特征点在所述第二图像中的成像点；
第四获取模块，用于根据平面阵列图案组合内的各个平面阵列图案的实际阵元间隔，确定所述第二特征点在世界坐标系下的坐标，得到第二特征点的世界坐标，所述世界坐标系以平面阵列图案组合内的各个平面阵列图案所在平面为xoy平面建立的三维直角坐标系构建；
第五获取模块，用于基于所述第二特征点的像素坐标和所述第二特征点的世界坐标建立第二线性方程组并求解，得到所述各个平面阵列图案与所述第二图像之间的单应矩阵；
第二分解模块，用于基于所述各个平面阵列图案与所述第二图像之间的单应矩阵建立系数矩阵，并对所述系数矩阵进行svd分解，得到所述系数矩阵的最小的奇异值对应的右奇异向量；
确定模块，用于基于所述右奇异向量，确定第二内部矩阵参数；
第三分解模块，用于将所述单应矩阵进行矩阵分解，得到第二变换参数；
第二优化模块，用于对所述第二内部矩阵参数、所述第二变换参数和预设的第二畸变参数进行非线性优化，得到优化后的第二内部矩阵参数、第二变换参数和第二畸变参数并输出。
9.根据权利要求6所述的系统，其特征在于，所述第四获取单元，包括：
第六获取模块，用于根据所述第一变换参数和所述第二变换参数建立第三线性方程组并求解，得到外参的旋转矩阵；
第七获取模块，用于基于所述外参的旋转矩阵、所述第一变换参数的平移向量和所述第二变换参数的平移向量得到外参的平移向量；
第八获取模块，用于基于所述外参的旋转矩阵和所述外参的平移向量，得到相机外参。
10.根据权利要求6所述的系统，其特征在于，所述标定单元，具体用于：
基于最小化重投影误差原则，对所述第一畸变参数、所述第一内部矩阵参数、所述第二畸变参数、所述第二内部矩阵参数、所述外参的旋转矩阵和所述外参的平移向量进行非线性优化，得到相机标定参数。
技术总结