本发明涉及一种基于双目视觉slam的车辆定位及车辆3d检测方法，属于自动驾驶领域。
背景技术：
在自动驾驶领域中，精确的定位是非常重要的一环。当前主流的车辆的定位方案采用的传感器为激光雷达，定位算法采用激光slam算法，其具有简单，技术较成熟的优点。然而，由于激光雷达传感器固有的缺点，在雨，雪及扬尘等天气下定位效果较差，并且激光雷达传感器往往具有较高的价格，这使得成本大大提高，这给自动驾驶车辆的普及带来了极大的不利。
技术实现要素：
本发明所要解决的技术问题是提供一种基于双目视觉slam的车辆定位及车辆3d检测方法，以解决自动驾驶车辆领域的车辆定位和车辆检测的高成本问题。
本发明为了解决上述技术问题采用以下技术方案：本发明设计了一种基于双目视觉slam的车辆定位及车辆3d检测方法，基于在本体车辆前部指定位置所固定放置的一台双目相机，以及双目相机的图像捕获方向指向车辆行进的前方，实现本体车辆行驶过程中的定位、以及对本体车辆周边各个车辆的3d检测，具体由步骤a1到步骤a3实现对本体车辆周边各个车辆的3d检测，由步骤b来实现对本体车辆行驶过程中的定位；
步骤a1.通过预设的相机标定方法，获取双目相机的内参矩阵、畸变系数、双目基线、以及双目相机的左目到本体车辆车身中心的变换矩阵；
步骤a2.在车辆行驶的过程中，利用双目相机持续获取2d双目图像，将本体车辆周边各个车辆作为检测目标，使用预设的目标检测算法分别针对2d双目图像中的检测目标进行检测,从而获得本体车辆周边各个车辆分别在2d双目图像中的2d检测框；
步骤a3.根据步骤a2中获得的本体车辆周边各个车辆的2d检测框，通过以下步骤a3-1至步骤a3-4，获得本体车辆周边各个车辆的3d检测框；
步骤a3-1.利用预设的特征检测算法分别针对2d双目图像中各个2d检测框中的图像区域进行特征检测，获得各2d双目图像分别所对应的图像特征点，然后进入步骤a3-2；
步骤a3-2.针对步骤a3-1中所获各2d双目图像中的图像特征点，利用预设的特征匹配算法进行特征点匹配，从而得到2d双目图像中能匹配到的成对的匹配图像特征点、以及各匹配图像特征点分别在各2d双目图像中的2d图像坐标；
步骤a3-3.针对每一对匹配图像特征点，根据步骤a1中获取的双目相机的内参矩阵、畸变系数、双目基线以及双目相机的左目到本体车辆车身中心的变换矩阵，并应用预设的测距算法获取每一对匹配图像特征点所对应的空间点相对于本体车辆在世界坐标系下的3d坐标；
步骤a3-4.利用预设的拟合算法对每一对匹配图像特征点所对应的空间点进行拟合，获得本体车辆周边各个车辆的3d检测框；
步骤b.在车辆行驶的过程中，将双目相机持续获取的2d双目图像作为双目视觉slam算法的输入图像，然后利用slam算法完成对本体车辆的定位。
作为本发明的一种优选技术方案，步骤a1中预设的相机标定方法为张正友标定法。
作为本发明的一种优选技术方案，步骤a2中预设的目标检测算法为ssd检测算法。
作为本发明的一种优选技术方案，步骤a3-1中预设的特征检测算法为orb特征检测子检测算法。
作为本发明的一种优选技术方案，步骤a3-2中预设的特征匹配算法为orb特征描述子匹配算法。
作为本发明的一种优选技术方案，步骤a3-3中预设的测距算法为三角化算法。
作为本发明的一种优选技术方案，步骤a3-4中预设的拟合算法为最小外接立方体拟合算法。
作为本发明的一种优选技术方案，步骤b中首先对双目相机获取的图像按照预设的方法进行处理，再用slam算法确定运动轨迹。
作为本发明的一种优选技术方案，预设的方法为去除掉双目相机获取的2d双目图像中的相对于本体车辆的周边运动车辆的图像区域。
与现有的自动驾驶车辆的基于激光雷达传感器的激光slam的技术方案相比，本发明提出的方案硬件要求低，仅需要在车前固定一个双目相机和对应的传感器，大大降低了成本。另外，视觉传感器较激光雷达传感器在相似性匹配方面具有较好的优势，同时还能够完成对道路前方车辆3d检测的功能，智能化程度更完善。
附图说明
图1是本发明一种基于双目视觉slam的车辆定位及车辆3d检测方法的流程示意图。
具体实施方式
下面结合说明书附图对本发明的具体实施方式作进一步详细的说明。
本发明设计了一种基于双目视觉slam的车辆定位及车辆3d检测方法，如图1所示，在本体车辆前部指定位置所固定放置的一台双目相机，以及双目相机的图像捕获方向指向车辆行进的前方，实现本体车辆行驶过程中的定位、以及对本体车辆周边各个车辆的3d检测，具体由步骤a1到步骤a3实现对本体车辆周边各个车辆的3d检测，由步骤b来实现对本体车辆行驶过程中的定位。
步骤a1.通过张正友相机标定方法，获取双目相机的内参矩阵、畸变系数、双目基线、以及双目相机的左目到本体车辆车身中心的变换矩阵；在相机前放置标定板，同时获取双目相机的左右目图像，使用张正友标定法进行标定，得到相机内参，畸变系数，双目基线。然后标定出双目相机的左目到车身中心的变换矩阵，在将双目相机在车前固定好后，这里使用刻度尽分别测量出x,y,z三轴的偏移距离。
步骤a2.在车辆行驶的过程中，利用双目相机持续获取对应于左右目的同一时刻的两幅2d双目图像，将本体车辆周边各个车辆作为检测目标，使用ssd检测算法分别针对2d双目图像中的检测目标进行检测,从而获得本体车辆周边各个车辆分别在2d双目图像中的2d检测框。
步骤a3.根据步骤a2中获得的本体车辆周边各个车辆的2d检测框，通过以下步骤a3-1至步骤a3-4，获得本体车辆周边各个车辆的3d检测框。
步骤a3-1.利用orb特征检测子检测算法分别针对2d双目图像中各个2d检测框中的图像区域进行特征检测，获得各2d双目图像分别所对应的图像特征点，然后进入步骤a3-2。
步骤a3-2.针对步骤a3-1中所获各2d双目图像中的图像特征点，利用orb特征描述子匹配算法进行特征点匹配，从而得到2d双目图像中能匹配到的成对的匹配图像特征点、以及各匹配图像特征点分别在各2d双目图像中的2d图像坐标。
步骤a3-3.针对每一对匹配图像特征点，根据步骤a1中获取的双目相机的内参矩阵、畸变系数、双目基线以及双目相机的左目到本体车辆车身中心的变换矩阵，并应用三角化算法获取每一对匹配图像特征点所对应的空间点相对于本体车辆在世界坐标系下的3d坐标。
步骤a3-4.利用最小外接立方体拟合算法对每一对匹配图像特征点所对应的空间点进行拟合，获得本体车辆周边各个车辆的3d检测框。
步骤b.在车辆行驶的过程中，对于双目相机持续获取的2d双目图像，首先去除掉双目相机获取的2d双目图像中的相对于本体车辆的周边运动车辆的图像区域，这是因为周围运动的车辆不宜用来作为slam算法中的固定的环境特征点，因此需要排除掉，然后再将处理后的图像作为双目视觉slam算法的输入图像，再利用slam算法完成对本体车辆的运动轨迹跟踪定位，具体地，1）车辆行驶过程中双目相机持续获取双目图像；2）去除双目图像中移动的运动车辆3）利用orb特征检测子检测算法对去除掉运动车辆后的图像部分分别提取双目图像的图像特征点；4）利用orb特征描述子匹配算法对左右目图像的图像特征点进行特征匹配，以获得环境的稳定不变的配对关系5）运用三角几何算法算出环境特征点的位置与距离信息；6）重复上述过程，即可算得相机即（本体车辆）相对于周围环境的运动轨迹。
上述技术方案所设计基于双目视觉slam的车辆定位及车辆3d检测方法，硬件要求低，仅需要在车前固定一个双目相机和对应的传感器，大大降低了成本。另外，视觉传感器较激光雷达传感器在相似性匹配方面具有较好的优势，同时还能够完成对道路前方车辆3d检测的功能，智能化程度更完善。
上面结合附图对本发明的实施方式作了详细说明，但是本发明并不限于上述实施方式，在本领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下做出各种变化。
1.基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，基于在本体车辆前部指定位置所固定放置的一台双目相机，以及双目相机的图像捕获方向指向车辆行进的前方，实现本体车辆行驶过程中的定位、以及对本体车辆周边各个车辆的3d检测，具体由步骤a1到步骤a3实现对本体车辆周边各个车辆的3d检测，由步骤b来实现对本体车辆行驶过程中的定位；
步骤a1.通过预设的相机标定方法，获取双目相机的内参矩阵、畸变系数、双目基线、以及双目相机的左目到本体车辆车身中心的变换矩阵；
步骤a2.在车辆行驶的过程中，利用双目相机持续获取2d双目图像，将本体车辆周边各个车辆作为检测目标，使用预设的目标检测算法分别针对2d双目图像中的检测目标进行检测,从而获得本体车辆周边各个车辆分别在2d双目图像中的2d检测框；
步骤a3.根据步骤a2中获得的本体车辆周边各个车辆的2d检测框，通过以下步骤a3-1至步骤a3-4，获得本体车辆周边各个车辆的3d检测框；
步骤a3-1.利用预设的特征检测算法分别针对2d双目图像中各个2d检测框中的图像区域进行特征检测，获得各2d双目图像分别所对应的图像特征点，然后进入步骤a3-2；
步骤a3-2.针对步骤a3-1中所获各2d双目图像中的图像特征点，利用预设的特征匹配算法进行特征点匹配，从而得到2d双目图像中能匹配到的成对的匹配图像特征点、以及各匹配图像特征点分别在各2d双目图像中的2d图像坐标；
步骤a3-3.针对每一对匹配图像特征点，根据步骤a1中获取的双目相机的内参矩阵、畸变系数、双目基线以及双目相机的左目到本体车辆车身中心的变换矩阵，并应用预设的测距算法获取每一对匹配图像特征点所对应的空间点相对于本体车辆在世界坐标系下的3d坐标；
步骤a3-4.利用预设的拟合算法对每一对匹配图像特征点所对应的空间点进行拟合，获得本体车辆周边各个车辆的3d检测框；
步骤b.在车辆行驶的过程中，将双目相机持续获取的2d双目图像作为双目视觉slam算法的输入图像，然后利用slam算法完成对本体车辆的定位。
2.根据权利要求1所述的基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，步骤a1中预设的相机标定方法为张正友标定法。
3.根据权利要求1所述的基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，步骤a2中预设的目标检测算法为ssd检测算法。
4.根据权利要求1所述的基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，步骤a3-1中预设的特征检测算法为orb特征检测子检测算法。
5.根据权利要求1所述的基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，步骤a3-2中预设的特征匹配算法为orb特征描述子匹配算法。
6.根据权利要求1所述的基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，步骤a3-3中预设的测距算法为三角化算法。
7.根据权利要求1所述的基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，步骤a3-4中预设的拟合算法为最小外接立方体拟合算法。
8.根据权利要求1所述的基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，步骤b中首先对双目相机获取的图像按照预设的方法进行处理，再用slam算法确定运动轨迹。
9.根据权利要求8所述的基于双目视觉slam的车辆定位及车辆3d检测方法，其特征在于，预设的方法为去除掉双目相机获取的2d双目图像中的相对于本体车辆的周边运动车辆的图像区域。
技术总结