本发明属于深度相机外参标定的，具体涉及一种多深度相机动态外参标定方法及其装置。
背景技术：
：：1、在三维重建和动作捕捉
技术领域：
：，rgb-d相机起着重要的作用。rgb-d相机不仅捕捉常规的rgb（红绿蓝）图像，还能同时获取深度（d）信息，这使得它们在捕捉丰富的场景信息方面特别有效。2、在动作捕捉和三维重建的应用场景中，传统的rgb相机由于缺乏深度信息，无法有效地捕捉场景的三维结构。rgb-d相机通过提供深度信息，使得在同一时刻由多个相机捕捉的数据可以用于计算相机间的外参，进而实现每一帧点云的实时拼接，这对于精确的三维重建和动作捕捉至关重要。3、然而，现阶段的rgb-d相机还不成熟，由于成本和技术限制，rgb-d相机的视场角太小，对动态目标做捕捉的时候容易丢失视野；在动作捕捉等场景中，目标对象（如人体）容易移出相机的视野，导致信息丢失或追踪中断；现有的云台系统虽可用于相机定向控制，如摄影师用的云台稳定系统，但是rgb-d相机的动态跟踪，尤其是多rgb-d相机的联合动态跟踪，并未将云台系统与深度相机的紧密集成进行优化，且多云台对应多深度相机的联合外参标定后的联合数据处理更是一片空白，导致在动态场景下的应用受限。4、在现有发明专利cn202111007629中，提到了云台坐标系和相机坐标系在实际中并不完全重合，相机的光心也难以确定，甚至在现实生活中完全无法测量光心，且云台旋转的两轴无法完全正交，所以如果纯用云台返回的刻度值来实现外参标定，误差会很大，同时，为了克服这个问题，在该发明专利中也提出了一种方法，即根据云台返回的俯仰轴和偏航轴得到的数据求出外参，作为预测数据，结合两台rgb相机同时控制点p，从图像坐标变换到相机坐标，变换得到的外参矩阵，作为观测数据，然后建立起观测方程，最后使用卡尔曼滤波的方法得到一个比观测数据和预测数据更优的最优解。5、但是，这种方法需要两台rgb相机始终能同时看见重合点p，另外，该方案没有用于深度信息，导致精度会相对较低。技术实现思路1、本发明的目的在于克服现有技术中的不足，提供一种多深度相机动态外参标定方法及其装置，能够提供更广泛的视野且同时具备更高效的动态场景范围追踪能力。2、本发明提供了如下的技术方案：3、第一方面，提供了一种多深度相机动态外参标定方法，包括：4、获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿；5、获取多个深度相机在运动过程中每一帧的rgb图、深度图和imu数据；6、对每一个深度相机的每一帧rgb图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；7、利用每一个深度相机的imu数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；8、将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；9、根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定。10、优选地，所述对每一个深度相机的每一帧rgb图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息包括：11、获取两帧rgb图的fast特征点，以及生成对应fast特征点的brief描述子；12、通过对brief描述子采用特征匹配的方式，确定两帧rgb图的匹配特征点对；13、获取两帧深度图中匹配特征点对分别对应的深度信息；14、根据两帧深度图中匹配特征点对分别对应的深度信息，利用epnp算法确定深度相机在每一帧的第一位姿信息。15、优选地，所述获取两帧rgb图的fast特征点，以及生成对应fast特征点的brief描述子包括：16、将两帧rgb图像分别转化为灰度图像；17、利用fast算法分别确定两帧灰度图像的特征点，并确定特征点的方向信息；18、基于特征点的方向信息，利用orb算法生成每个特征点的brief描述子；19、所述确定特征点的方向信息包括：20、在灰度图像的局部区域中，定义一个以特征点为几何中心的图像块；21、以像素点的灰度值为权重，确定图像块的质心；22、连接图像块的特征点和质心，形成方向向量，并确定方向向量相对水平方向的夹角，特征点的方向向量和方向向量相对水平方向的夹角为特征点的方向信息；23、所述图像块的质心为：24、25、所述方向向量相对水平方向的夹角为：26、27、其中，为图像块领域中所有的像素点的灰度值累积之和，为在y方向上的灰度值累积之和，为在x方向上的灰度值累积之和。28、优选地，所述根据两帧深度图中匹配特征点对分别对应的深度信息，利用epnp算法确定深度相机在每一帧的第一位姿信息中，29、深度相机第一位姿信息的旋转矩阵为：30、31、其中，为第一矩阵经过svd分解后的第一列正交矩阵，为第一矩阵经过svd分解后的第二列正交矩阵；32、深度相机第一位姿信息的平移矩阵为：33、34、其中，为世界坐标系下所有参考点的重心坐标，为图像坐标系下所有参考点的重心坐标；35、所述第一矩阵h为：36、37、其中，为世界坐标系所有参考点去重心后的矩阵，为b的转置矩阵，b为图像坐标系下中所有参考点去重心后的矩阵；38、所述世界坐标系所有参考点去重心后的矩阵为：39、<mstyledisplaystyle="true"mathcolor="#000000"><mi>a</mi><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><msubsup><mi>p</mi><mn>1</mn><msup><mi>w</mi><mi>t</mi></msup></msubsup><mi>−</mi><msubsup><mi>p</mi><mn>0</mn><msup><mi>w</mi><mi>t</mi></msup></msubsup></mtd></mtr><mtr><mtd><mi>...</mi></mtd></mtr><mtr><mtd><msubsup><mi>p</mi><mi>n</mi><msup><mi>w</mi><mi>t</mi></msup></msubsup><mi>−</mi><msubsup><mi>p</mi><mn>0</mn><msup><mi>w</mi><mi>t</mi></msup></msubsup></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>40、其中，为的转置矩阵，为世界坐标系第n个参考点的坐标；为的转置矩阵，为世界坐标系第1个参考点的坐标，为的转置矩阵；41、所述图像坐标系下中所有参考点去重心后的矩阵b为：42、<mstyledisplaystyle="true"mathcolor="#000000"><mi>b</mi><mi>=</mi><mrow><mo>[</mo><mtable><mtr><mtd><msubsup><mi>p</mi><mn>1</mn><msup><mi>c</mi><mi>t</mi></msup></msubsup><mi>−</mi><msubsup><mi>p</mi><mn>0</mn><msup><mi>c</mi><mi>t</mi></msup></msubsup></mtd></mtr><mtr><mtd><mi>...</mi></mtd></mtr><mtr><mtd><msubsup><mi>p</mi><mi>n</mi><msup><mi>c</mi><mi>t</mi></msup></msubsup><mi>−</mi><msubsup><mi>p</mi><mn>0</mn><msup><mi>c</mi><mi>t</mi></msup></msubsup></mtd></mtr></mtable><mo>]</mo></mrow></mstyle>43、其中，为 的转置矩阵，为图像坐标系下第1个参考点的坐标，为的转置矩阵，为图像坐标系下第n个参考点的坐标，为的转置矩阵；44、世界坐标系下所有参考点的重心坐标为：45、46、其中，n为参考点的总个数，为世界坐标系第i个参考点的坐标;47、图像坐标系下所有参考点的重心坐标为：48、49、其中，为图像坐标系下第i个参考点的坐标;50、世界坐标系第i个参考点的坐标为：51、52、其中，为齐次重心坐标，为世界坐标系下第j个控制点的坐标；53、54、其中，为图像坐标系下第j个控制点的坐标；55、世界坐标系下第j个控制点的坐标和图像坐标系下第j个控制点的坐标通过特征点的深度信息和特征点的图像坐标计算获得。56、优选地，所述利用每一个深度相机的imu数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息中：57、获取在两帧rgb图像对应时间段内深度相机的imu数据；58、根据深度相机的imu数据，利用imu预积分测量模型确定深度相机的第二位姿信息；59、所述深度相机的imu数据包括深度相机的角速度和加速度；60、所述根据深度相机的imu数据，利用imu预积分测量模型确定深度相机的第二位姿信息中：61、深度相机第二位姿信息包括旋转的预积分测量数值、位置增量的预积分测量数值和速度增量的预积分测量数值；62、所述旋转的预积分测量数值为：63、64、其中，为imu坐标下第i帧深度相机旋转矩阵的转置矩阵，为imu坐标下第j帧深度相机的旋转矩阵，为旋转测量噪声；65、所述位置增量的预积分测量数值为：66、67、其中，为imu坐标下第i帧深度相机的位置，为imu坐标下第j帧深度相机的位置，为imu坐标下第i帧深度相机的速度，为第j帧与第i帧所对应的时间的差值，为重力加速度，为位置测量噪声；68、所述速度增量的预积分测量数值为：69、70、其中，为imu坐标下第j帧深度相机的速度，为速度测量噪声。71、优选地，imu坐标下时刻深度相机的旋转矩阵，imu坐标下时刻深度相机的速度以及imu坐标下时刻深度相机的位置为：72、73、其中，为imu坐标下t时刻深度相机的旋转矩阵，为t时刻测量的含噪声角速度，为 t时刻测量的含噪声加速度，为t时刻角速度测量误差，为t时刻加速度测量误差，为t时刻角速度测量仪的测量噪声，为t时刻加速度测量仪的测量噪声，为时刻与t时刻的时间间隔，为imu坐标下t时刻深度相机的速度，为imu坐标下t时刻深度相机的位置；时刻为任一帧图像所对应的时刻。74、优选地，所述将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿中，将第一位姿信息作为观测结果，将第二位姿信息作为预测结果，使用扩展卡尔曼方法进行融合，并将融合后的位姿作为深度相机在该帧的最优位姿。75、优选地，所述获取多个深度相机在静止状态下的初始外参包括：76、获取在静止状态下连续时间段内多个深度相机的rgb数据和深度数据；77、根据深度相机的rgb数据，将多个深度相机的像素坐标转换为相机坐标；78、逐帧对多个深度相机中两两相机进行icp配准；79、将多个深度相机的配准结果进行融合，获取每一个深度相机在静止状态下的初始外参。80、第二方面，提供了一种多深度相机动态外参标定装置，包括：81、第一获取模块，用于获取多个深度相机在静止状态下的初始外参，所述初始外参用于反映静止状态下深度相机在世界坐标下的位姿；82、第二获取模块，用于获取多个深度相机在运动过程中每一帧的rgb图、深度图和imu数据；83、第一位姿确定模块，用于对每一个深度相机的每一帧rgb图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；84、第二位姿确定模块，用于利用每一个深度相机的imu数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；85、位姿融合模块，用于将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；86、标定模块，用于根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现多个深度相机之间的动态外参标定。87、优选地，所述第二位姿确定模块包括：88、imu数据获取单元，用于获取在两帧rgb图像对应时间段内深度相机的imu数据；89、imu预积分单元，用于根据深度相机的imu数据，利用imu预积分测量模型确定深度相机的第二位姿信息；90、imu数据获取单元包括陀螺仪和加速度计；所述陀螺仪和加速度计均安装在深度相机上，所述深度相机一一对应的安装在云台上；所述陀螺仪用于检测深度相机的角速度，所述加速度计用于检测深度相机的加速度。91、与现有技术相比，本发明的有益效果是：92、充分利用深度相机的rgb信息、深度信息和imu数据，通过外参标定算法精确同步和融合不同深度相机的数据，使其在深度相机运动中，动态的将多相机的数据同步到同一坐标系下，从而实现更广泛的视野和更准确的运动动作捕捉，且可以在室外无限空间下使用，从而不仅解决了单个相机视野受限的问题，也极大地提升了对动态目标的捕捉能力。当前第1页12当前第1页12
技术特征：1.一种多深度相机动态外参标定方法，其特征在于，包括：
2.根据权利要求1所述的多深度相机动态外参标定方法，其特征在于，所述对每一个深度相机的每一帧rgb图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息包括：
3.根据权利要求2所述的多深度相机动态外参标定方法，其特征在于，所述获取两帧rgb图的fast特征点，以及生成对应fast特征点的brief描述子包括：
4.根据权利要求2所述的多深度相机动态外参标定方法，其特征在于，所述根据两帧深度图中匹配特征点对分别对应的深度信息，利用epnp算法确定深度相机在每一帧的第一位姿信息中，
5.根据权利要求1所述的多深度相机动态外参标定方法，其特征在于，所述利用每一个深度相机的imu数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息中：
6.根据权利要求5所述的多深度相机动态外参标定方法，其特征在于，imu坐标下时刻深度相机的旋转矩阵，imu坐标下时刻深度相机的速度以及imu坐标下时刻深度相机的位置为：
7.根据权利要求1所述的多深度相机动态外参标定方法，其特征在于，所述将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿中，将第一位姿信息作为观测结果，将第二位姿信息作为预测结果，使用扩展卡尔曼方法进行融合，并将融合后的位姿作为深度相机在该帧的最优位姿。
8.根据权利要求1所述的多深度相机动态外参标定方法，其特征在于，所述获取多个深度相机在静止状态下的初始外参包括：
9.一种多深度相机动态外参标定装置，其特征在于，包括：
10.根据权利要求9所述的多深度相机动态外参标定装置，其特征在于，所述第二位姿确定模块包括：
技术总结本发明公开了一种多深度相机动态外参标定方法及其装置，属于深度相机外参标定的技术领域，方法包括获取多个深度相机在静止状态下的初始外参；对每一个深度相机的每一帧RGB图和深度图进行处理，确定每一个深度相机在每一帧的第一位姿信息；利用每一个深度相机的IMU数据，确定每一个深度相机在每一帧对应时间下的第二位姿信息；将深度相机的第一位姿信息和第二位姿信息进行融合，确定每一个深度相机在每一帧的最优位姿；根据初始外参和每一深度相机在每一帧的最优位姿，将多个深度相机的视角和位置转换至同一坐标系，实现更广泛的视野和更准确的运动动作捕捉，不仅解决了单个相机视野受限的问题，也极大地提升了对动态目标的捕捉能力。
技术研发人员：梁天一,李昊燃
受保护的技术使用者：江苏开放大学（江苏城市职业学院）
技术研发日：技术公布日：2024/4/29
