本发明属于相机位姿校正，具体涉及一种基于平面单应性矩阵的相机位姿校正方法和系统。
背景技术：
1、相机系统标定在计算机视觉领域属于非常常见的研究方向，如在三维重建、辅助驾驶、目标跟踪定位等任务中都有广泛应用。相机标定，即确定相机系统的内部参数(如焦距、畸变参数)和外部参数(即旋转和平移)，是相机系统进行可靠高效工作不可或缺的重要步骤。然而，对于一个多相机系统，如含有多个相机的监控系统，其外部参数标定是一项非常耗时且需要大量人力的任务。
2、在某些固定应用场景中，相机标定需要相关工程人员在两两相机间移动标定板，甚至要求在共同可视范围内布置大量标定物，这种工作方式不仅繁琐，而且需要大量重复性的劳动。对于已标定的相机系统，一旦某个相机的位置或朝向发生了轻微变化，外参标定工作便需要重新进行，这种重复性的工作不仅效率低下，而且容易导致误差和不确定性。若不考虑重新标定，传统双目视觉可以通过图像特征点匹配估计出旋转矩阵，但这种方法只考虑了相机的旋转运动，而没有考虑平移运动。若另考虑估计平移运动，可对本质矩阵进行分解，则会存在多个歧义解，且缺失真实尺度。在实际应用中，相机的运动往往不仅包括旋转，还包括平移。
3、公开号为cn115311359a的中国专利申请公开了一种相机位姿校正方法、装置、电子设备及存储介质，基于相机位姿对重力场方向进行变换投影，得到重力场方向在世界坐标系中的重力场方向向量，根据世界坐标系的竖轴方向与重力场方向向量的差异，对相机位姿进行校正，得到校正相机位姿。但该方法依赖于相机位姿的准确获取，对相机位姿进行校正涉及到向量变换和投影，可能需要消耗大量的计算资源。
4、公开号为cn115861442a的中国专利申请公开了一种相机外参自校准方法和装置，通过姿态传感器和高精定位模块实现相机外参的自校准，解决了相机抖动或移动导致的定位误差增大的问题，其中姿态传感器用于校正相机抖动或移动带来的方位角的变化，高精定位模块用于消除抖动带来的位置偏移误差，利用ba算法优化重投影误差进一步优化相机外参，用于消除姿态传感器误差和高精定位误差，最终实现相机外参的自校准。但该方法需要使用姿态传感器和定位传感器，对外部设备依赖较高，为了保证自动校准的实时性和准确性，可能需要使用高性能的处理器或gpu，这将进一步增加硬件成本。
5、因此，需要一种新型的相机位姿校正方法，能够专门针对有时会发生微细姿态变化的相机系统，省去重复的人工标定工作，快速校正其相机位姿，包括相机旋转和平移。
技术实现思路
1、鉴于上述，本发明的目的是提供一种基于平面单应性矩阵的相机位姿校正方法和系统，利用平面单应性矩阵联立二维坐标点对，构建非线性优化问题求解相机位姿，能自动估计相机的任意微细刚性运动，包括相机的旋转和平移，无需任何标定物或标记物，相较于传统标定方法本发明减少了大量人工、时间和硬件成本，尤其适用于固定场景下对已标定的多相机系统进行相机位姿校正。
2、为实现上述发明目的，本发明提供的技术方案如下：
3、第一方面，本发明实施例提供的一种基于平面单应性矩阵的相机位姿校正方法，包括以下步骤：
4、获取相机发生细微刚性运动前后的两张图像并利用已知的相机内参对两张图像去畸变；
5、对去畸变后的两张图像提取特征点及其二维坐标，并匹配特征点得到初始二维坐标点对集合；
6、使用对极几何约束和平面约束对二维坐标点对进行过滤筛选得到优选二维坐标点对集合；
7、基于优选二维坐标点对集合和平面单应性矩阵，通过构建非线性优化问题求解相机的微细刚性运动；
8、根据求解的相机的微细刚性运动进行相机位姿校正。
9、优选地，所述使用对极几何约束和平面约束对二维坐标点对进行过滤筛选得到优选二维坐标点对集合，包括：
10、使用ransac法估计基础矩阵，通过对极几何约束对初始二维坐标点对集合进行第一次过滤筛选；
11、对第一次过滤筛选后的二维坐标点对集合，进行第二次过滤筛选得到对应在场景中某一平面上的二维坐标点对集合；
12、对第二次筛选后的某一平面上的二维坐标点对集合，使用ransac法估计该平面的单应性矩阵，通过平面约束进行第三次过滤筛选得到优选二维坐标点对集合。
13、优选地，所述使用ransac法估计基础矩阵，通过对极几何约束对初始二维坐标点对集合进行第一次过滤筛选，包括：
14、对于以ransac法估计出的基础矩阵f，若|[ut,1]f[xt,1]t|≤∈f，则二维坐标点对(x,y)属于满足对极几何约束的匹配对，若|[yt,1]f[xt,1]t|>∈f，则二维坐标点对(x,y)被视为异常匹配对，将异常匹配对从初始二维坐标点对集合中移除，其中，为相机发生细微运动前的原图像中的像素坐标，为相机发生细微运动后的目标图像中的像素坐标，为全体实数集合，t为转置，∈f为过滤阈值。
15、优选地，所述对第一次过滤筛选后的二维坐标点对集合，进行第二次过滤筛选得到对应在场景中某一平面上的二维坐标点对集合，包括：
16、已知某一平面相对于相机坐标系的平面方程，使用平面区域检测算法或人工标记出原图像中的平面区域，判断像素点对应的二维坐标点对是否位于该平面区域内，将不在平面区域内的像素点对应的二维坐标点对从初始二维坐标点对集合中移除。
17、优选地，所述对第二次筛选后的某一平面上的二维坐标点对集合，使用ransac法估计该平面的单应性矩阵，通过平面约束进行第三次过滤筛选得到优选二维坐标点对集合，包括：
18、对于以ransac法估计出的单应性矩阵h，若则二维坐标点对(x,y)属于满足平面约束的匹配对；若则二维坐标点对(x,y)被视为异常匹配对，将异常匹配对从初始二维坐标点对集合中移除，其中，为相机发生细微运动前的原图像中的像素坐标，为相机发生细微运动后的目标图像中的像素坐标，为全体实数集合，t为转置，为x的齐次坐标，h1、h2、h3分别为单应性矩阵h中的行，∈h为过滤阈值。
19、优选地，所述基于优选二维坐标点对集合和平面单应性矩阵，通过构建非线性优化问题求解相机的微细刚性运动，包括：
20、基于优选二维坐标点对集合其中，为相机发生细微运动前的原图像中的像素坐标，为相机发生细微运动后的目标图像中的像素坐标，为全体实数集合，n为优选二维坐标点对集合中的二维坐标点对总数，i为二维坐标点对的序号，结合平面单应性矩阵构建非线性优化问题，通过最小化重投影误差，求解构成平面单应性矩阵中的刚性运动，即旋转矩阵r和平移矩阵t，公式如下：
21、
22、
23、其中，ρ(·)为鲁棒核函数，为重投影的二维坐标点，so(3)为三维特殊正交群，t为转置，ntx＝a为相机坐标系中的已知平面方程，n为其平面法向量，x为平面上的任一三维点坐标，a为常数，～为成比例，
24、k为相机的内参矩阵，其定义如下：
25、
26、其中，(fx,fy)为相机焦距，(cx,cy)为像主点坐标。
27、优选地，鲁棒核函数ρ(·)具体定义为：
28、
29、其中，z为一维数组，zj为z的第j个元素。
30、优选地，所述根据求解的相机的微细刚性运动进行相机位姿校正，包括：
31、根据非线性优化问题中求得的最优解旋转矩阵r＊和平移矩阵t＊对相机位姿进行校正，发生微细刚性运动后相机的位姿被校正为旋转矩阵r1和平移矩阵t1：
32、r1＝r＊r0
33、t1＝r＊t0+t＊
34、其中，r0为相机位姿校正前的旋转矩阵，t0为相机位姿校正前的平移矩阵。
35、第二方面，为实现上述发明目的，本发明实施例还提供了一种基于平面单应性矩阵的相机位姿校正系统，包括：图像获取及预处理模块、二维特征点提取及匹配模块、二维特征点过滤筛选模块、非线性优化求解模块、相机位姿校正模块；
36、所述图像获取及预处理模块用于获取相机发生细微刚性运动前后的两张图像并利用已知的相机内参对两张图像去畸变；
37、所述二维特征点提取及匹配模块用于对去畸变后的两张图像提取特征点及其二维坐标，并匹配特征点得到初始二维坐标点对集合；
38、所述二维特征点过滤筛选模块用于使用对极几何约束和平面约束对二维坐标点对进行过滤筛选得到优选二维坐标点对集合；
39、所述非线性优化求解模块用于基于优选二维坐标点对集合和平面单应性矩阵，通过构建非线性优化问题求解相机的微细刚性运动；
40、所述相机位姿校正模块用于根据求解的相机的微细刚性运动进行相机位姿校正。
41、第三方面，为实现上述发明目的，本发明实施例还提供了一种基于平面单应性矩阵的相机位姿校正设备，包括存储器和处理器，所述存储器用于存储计算机程序，所述处理器用于当执行所述计算机程序时，实现上述基于平面单应性矩阵的相机位姿校正方法。
42、与现有技术相比，本发明具有的有益效果至少包括：
43、(1)本发明对数据采集没有任何特殊要求，在相机发生微细刚性运动的情况下，只需获取相机的前后两张照片，无需使用任何标定物或标记点，能省去重复的人工标定工作，如挪动标定板，也无需借助外部设备，相较于传统方法本发明减少了大量人工成本、时间成本和硬件成本。
44、(2)本发明提出的二维坐标点对过滤方法，通过对极几何约束和平面约束能有效去除异常匹配对，同时在构造非线性优化问题中使用鲁棒核函数降低异常匹配对对精度的影响，通过二维坐标点对联立平面单应性矩阵构造非线性优化问题，能以几乎忽略不计的时间求解相机的刚性运动，校正效率高。
45、(3)相比于对单应性矩阵进行分解后所产生的两个歧义解，本发明基于特征点匹配的二维坐标点对以及相机坐标系中的已知平面方程作为输入，通过最小化重投影误差能直接得出唯一的最优解，对于任意微细刚性运动下的相机，能同时估计出相机的旋转和平移，提高了估计精度，通过平面方程自带的真实世界的尺度信息从而在平移矩阵中反映真实尺度，实现对相机位姿的快速准确校正。
1.一种基于平面单应性矩阵的相机位姿校正方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于平面单应性矩阵的相机位姿校正方法，其特征在于，所述使用对极几何约束和平面约束对二维坐标点对进行过滤筛选得到优选二维坐标点对集合，包括：
3.根据权利要求2所述的基于平面单应性矩阵的相机位姿校正方法，其特征在于，所述使用ransac法估计基础矩阵，通过对极几何约束对初始二维坐标点对集合进行第一次过滤筛选，包括：
4.根据权利要求2所述的基于平面单应性矩阵的相机位姿校正方法，其特征在于，所述对第一次过滤筛选后的二维坐标点对集合，进行第二次过滤筛选得到对应在场景中某一平面上的二维坐标点对集合，包括：
5.根据权利要求2所述的基于平面单应性矩阵的相机位姿校正方法，其特征在于，所述对第二次筛选后的某一平面上的二维坐标点对集合，使用ransac法估计该平面的单应性矩阵，通过平面约束进行第三次过滤筛选得到优选二维坐标点对集合，包括：
6.根据权利要求1所述的基于平面单应性矩阵的相机位姿校正方法，其特征在于，所述基于优选二维坐标点对集合和平面单应性矩阵，通过构建非线性优化问题求解相机的微细刚性运动，包括：
7.根据权利要求6所述的基于平面单应性矩阵的相机位姿校正方法，其特征在于，鲁棒核函数ρ(·)具体定义为：
8.根据权利要求1所述的基于平面单应性矩阵的相机位姿校正方法，其特征在于，所述根据求解的相机的微细刚性运动进行相机位姿校正，包括：
9.一种基于平面单应性矩阵的相机位姿校正系统，其特征在于，包括：图像获取及预处理模块、二维特征点提取及匹配模块、二维特征点过滤筛选模块、非线性优化求解模块、相机位姿校正模块；
10.一种基于平面单应性矩阵的相机位姿校正设备，包括存储器和处理器，所述存储器用于存储计算机程序，其特征在于，所述处理器用于当执行所述计算机程序时，实现权利要求1-8任一项所述的基于平面单应性矩阵的相机位姿校正方法。
