本发明属于无人驾驶技术中的道路环境感知领域，涉及一种基于空地协同的车辆检测方法。
背景技术：
近年来，人工智能技术被应用于汽车领域中，无人驾驶技术应运而生。智能车环境感知系统作为无人驾驶技术中的重要组成部分，对无人驾驶技术的发展起到至关重要的作用。而由于摄像头的成本相对较低，因此基于图像的目标检测技术在智能车环境感知领域中的应用愈加广泛，并在我国无人驾驶和智能车环境感知领域中取得了举足轻重的地位。
目前，随着小型无人机航拍技术的发展，航拍技术已成为获取图像的重要途径之一。无人机在获取图像时，具有机动灵活、观测范围大、观测死角少、起降方便等特点，因此无人机航拍技术已经成为智能车环境感知领域的重要帮手。无人机视角下的目标检测技术在智能车环境感知系统中主要用于对车载目标检测识别系统进行辅助和补充，解决基于车载目标检测识别系统因前方障碍物遮挡、车辆颠簸所带来的图像出现离群值、仿射变换和非刚性变换的问题。但是，现有的检测识别系统中，无人机和车辆是两套独立的识别系统，不能将采集的地空视角数据融合处理，其协同效果不佳。
技术实现要素：
有鉴于此，本发明的目的在于提供一种基于空地协同的车辆检测方法，主要针对目标车辆被障碍物遮挡和车辆颠簸导致摄像头抖动等情况下的车辆检测问题。可应用于普通道路场景下对目标车辆进行检测，还可应用于智能口岸系统中的无人跨运车行驶场景以及警用监控追踪场景等环境复杂、障碍物较多、干扰较大的场景当中；用于提升智能车目标检测系统的准确率、精度和鲁棒性，及时发现智能车在行驶时的潜在碰撞威胁。
为达到上述目的，本发明提供如下技术方案：
一种基于空地协同的车辆检测方法，具体包括以下步骤：
s1：获取无人机和智能车视角下的车辆检测结果；
s2：构建空地视角下的目标检测点阵；
s3：对空地视角下的目标检测点阵进行配准融合一体化；
s4：利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，获取当前帧的空地目标检测融合结果。
进一步，步骤s1中，获取无人机和智能车视角下的车辆检测结果，具体包括：
s11：采用微光摄像头采集道路车辆图像数据，摄像头采集形式为固定视频采集，并安装在智能车的车前方以及无人机机身正下方，无人机位于智能车正上方；
s12：将空地视角下采集到的图像数据输入至fasterr-cnn网络中，分别获取空地视角下的目标检测矩形框。
进一步，步骤s2中，构建空地视角下的目标检测点阵，具体包括：
s21：根据获取的空地视角下的车辆检测矩形框，计算目标检测矩形框中心点的坐标值，并利用中心点表征和替代矩形检测框；
s22：利用所有目标检测框的中心点，分别构建空地视角下同一帧的目标检测点阵a＝{ai,i＝1,2,…,n}和b＝{bj,j＝1,2,…,m}，其中n和m分别是车载和无人机视角下空地目标检测点阵的目标中心点点数。
进一步，步骤s3中，对空地视角下的目标检测点阵进行配准融合一体化，具体包括：
s31：获取空地视角下同一帧点阵之间的全局结构差异矩阵gab，该矩阵中第i行第j列元素
s32：获取空地视角下同一帧点阵之间的局部结构差异矩阵lab，该矩阵中第i行第j列元素
s33：获取空地视角下同一帧点阵之间，各个检测点所表征的检测目标之间的颜色特征差异矩阵cab，该矩阵中第i行第j列元素
s34：混合颜色特征差异和点阵的全局、局部结构特征差异，获取空地目标之间的混合特征差异，并定义空地视角下目标检测点阵之间的目标点对应关系矩阵为m，构建基于混合特征的成本函数e(m)；随后最小化成本函数的值，求解出空地点阵目标的对应关系矩阵。
s35：构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b)，然后对目标函数进行正交三角分解，获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解，从而求解出目标函数的最小值，进而获取变换融合之后的点阵a；
s36：迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤，直至空地目标检测点阵之间的对应点距离均小于阈值t1；
s37：计算空地目标检测点阵中每一对对应目标点之间的中心点，利用所有中心点和空地目标检测点阵中的无对应关系目标点，构建初步融合点阵c；
s38：分别将点阵a和b配准融合至点阵c中，随后重新计算点阵a、b之间的中心点用以构建新的点阵c，迭代此步骤直至点阵a、b之间的对应点距离均小于阈值t2，最后获取空地目标检测融合点阵c。
更进一步，步骤s34中，构建的基于混合特征的成本函数为：
其中，gaibj α(laibj caibj)表示空地目标之间的混合特征差异，mij是对应关系矩阵中的元素且满足：
更进一步，步骤s35中，构建空地目标检测点阵之间的配准融合一体化目标函数为：
其中，d表示仿射系数矩阵，ω表示非刚性形变系数矩阵，
进一步，步骤s4中，利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，具体包括：
s41：获取前一帧的目标检测融合结果，构建椭圆模型将所有检测目标包含在内，并将椭圆模型投影至目标检测融合点阵中；
s42：获取目标检测融合点阵中未被椭圆模型包含的离群目标点，计算所有离群目标点和椭圆模型的距离，将距离大于阈值t3的离群目标点滤除；
s43：获取最终的空地目标检测融合点阵c，并将目标点恢复为检测矩形框的形式。
本发明的有益效果在于：
1)与基于车载摄像头的目标车辆检测系统相比，本发明利用无人机机载摄像头对智能车平台的目标车辆检测系统进行辅助和补充，不仅拓宽了智能车平台车辆检测系统的检测视野范围，还可以及时检测到被障碍物遮挡的目标车辆，使得智能车在行驶过程中发现更多的潜在碰撞威胁。
2)本发明利用点阵配准和图像决策级融合的思想，首先提取fasterr-cnn网络检测矩形框的中心点构建空地目标检测点阵，然后利用检测目标的颜色特征和点阵的结构特征以及变换融合函数和薄板样条插值函数，将无人机视角下的目标检测点阵同时配准并融合至智能车视角的目标检测点阵中，提升了智能车平台目标车辆检测的范围、准确率和鲁棒性。
本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述，并且在某种程度上，基于对下文的考察研究对本领域技术人员而言将是显而易见的，或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
附图说明
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明作优选的详细描述，其中：
图1为本发明基于空地协同的车辆检测方法的结构图；
图2为本发明涉及的场景示意图；
图3为本发明基于空地协同的车辆检测方法的整体流程图。
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。需要说明的是，以下实施例中所提供的图示仅以示意方式说明本发明的基本构想，在不冲突的情况下，以下实施例及实施例中的特征可以相互组合。
请参阅图1～图3，本实施例选用微光摄像机作为图像数据采集传感器，并在vs2013环境中编写算法以实现本发明设计的基于空地协同的车辆检测方法。空地协同检测的场景示意图如图2所示。
本发明设计的基于空地协同的车辆检测方法，其思路结构如图1所示，具体包括以下步骤：
步骤1：获取无人机和智能车视角下的车辆检测结果，具体过程如下：
步骤1.1：采用机载和车载摄像头获取道路车辆图像数据，摄像头采集形式为固定视频采集，并安装在智能车的车前方和无人机机身正下方，无人机位于智能车正上方3-12米处，摄像头的摄像广角大于110度，分辨率大于640*480，以每秒钟30帧的速率采集道路车辆图像数据。
步骤1.2：将空地视角下采集到的图像数据输入至fasterr-cnn网络中，分别获取空地视角下的目标检测矩形框。
步骤2：构建空地视角下的目标检测点阵，具体过程如下：
步骤2.1：获取空地视角下的车辆检测矩形框，然后计算目标检测矩形框中心点的坐标值，并利用中心点表征和替代矩形检测框；
步骤2.2：利用所有目标检测框的中心点，分别构建空地视角下同一帧的目标检测点阵a＝{ai,i＝1,2,…,n}和b＝{bj,j＝1,2,…,m}，其中n和m分别是空地目标检测点阵的目标中心点点数。
步骤3：对空地视角下的目标检测点阵进行配准融合一体化，具体过程如下：
步骤3.1：获取空地视角下同一帧点阵之间的全局结构差异矩阵gab，该矩阵中第i行第j列元素
步骤3.2：获取空地视角下同一帧点阵之间的局部结构差异矩阵lab，该矩阵中第i行第j列元素
步骤3.3：获取空地视角下同一帧点阵之间，各个检测点所表征的检测目标之间的颜色特征差异矩阵cab，该矩阵中第i行第j列的元素
步骤3.4：首先混合颜色特征差异和点阵的全局、局部结构特征差异，获取空地目标之间的混合特征差异，并定义空地目标检测点阵之间的目标点对应关系矩阵为m，然后构建基于混合特征的成本函数如下公式所示：
其中，
步骤3.5：构建空地目标检测点阵之间的配准融合一体化目标函数如下公式所示：
其中，d表示仿射系数矩阵，ω表示非刚性形变系数矩阵，
步骤3.6：迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤，直至空地目标检测点阵之间的对应点距离均小于阈值t1，该阈值设定为点阵b中最近两点间距离的1/10；
步骤3.7：计算空地目标检测点阵中每一对相对应目标点之间的中心点，利用所有中心点和空地目标检测点阵中的无对应关系目标点，构建初步融合点阵c；
步骤3.8：分别将点阵a和b配准融合至点阵c中，随后重新计算点阵a、b之间的中心点用以构建新的点阵c，迭代此步骤直至点阵a、b之间的对应点距离均小于阈值t2，该阈值取值可依据融合情况自由设置且需满足t2≤t1，最后获取空地目标检测融合点阵c。
步骤4：利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，具体过程如下：
步骤4.1：获取前一帧的目标检测融合结果，构建椭圆模型将所有检测目标包含在内，并将椭圆模型投影至目标检测融合点阵中；
步骤4.2：获取目标检测融合点阵中未被椭圆模型包含的离群目标点，计算离群目标点和椭圆模型的距离，将距离大于阈值t3的目标点滤除，阈值t3设定为椭圆模型短轴长度的1/2；
步骤4.3：获取最终的空地目标检测融合点阵c，并将目标点恢复为检测矩形框的形式，某目标点矩形框的尺寸设定为该目标点在空地视角下检测矩形框的最大一方。
如图3所示，本发明基于空地协同的车辆检测方法的整体流程为：
1)采集空地视角下的图像数据，利用fasterr-cnn网络获取目标车辆的检测矩形框，然后利用所有矩形框的中心点，分别构建空地视角下同一帧的目标检测点阵a和b；
2)获取空地视角下同一帧目标检测点阵之间的全局结构特征差异矩阵gab、局部结构特征差异矩阵lab，和每个目标点所表征的检测目标之间的颜色特征差异矩阵cab；
3)混合颜色特征差异和点阵的全局、局部结构特征差异，建立混合特征差异矩阵，进而构建基于混合特征的成本函数e(m)，随后最小化成本函数的值，求解出空地目标检测点阵之间的目标点对应关系矩阵m；
4)构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b)，然后对目标函数进行正交三角分解，获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解，从而求解出目标函数的最小值，进而获取变换融合之后的点阵a；
5)迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤，直至空地目标检测点阵之间的对应点距离均小于阈值t1；否则返回步骤2)；
6)计算空地目标检测点阵中每一对对应目标点之间的中心点，利用所有中心点和空地目标检测点阵中的无对应关系目标点，构建初步融合点阵c；
7)分别将点阵a和b配准融合至点阵c中，随后重新计算点阵a、b之间的中心点用于构建新的点阵c，迭代此步骤直至点阵a、b之间的对应点距离均小于阈值t2；否则返回步骤6)；
8)获取融合点阵c，并利用前一帧的检测融合结果，滤除目标检测融合点阵c的离群目标点，获取当前帧的目标检测融合结果。
最后说明的是，以上实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中。
1.一种基于空地协同的车辆检测方法，其特征在于，该方法具体包括以下步骤：
s1：获取无人机和智能车视角下的车辆检测结果；
s2：构建空地视角下的目标检测点阵；
s3：对空地视角下的目标检测点阵进行配准融合一体化；
s4：利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，获取当前帧的空地目标检测融合结果。
2.根据权利要求1所述的基于空地协同的车辆检测方法，其特征在于，步骤s1中，获取无人机和智能车视角下的车辆检测结果，具体包括：
s11：采用摄像头采集道路车辆图像数据，摄像头采集形式为固定视频采集，并安装在智能车的车前方以及无人机机身正下方，无人机位于智能车正上方；
s12：将空地视角下采集到的图像数据输入至fasterr-cnn网络中，分别获取空地视角下的目标检测矩形框。
3.根据权利要求2所述的基于空地协同的车辆检测方法，其特征在于，步骤s2中，构建空地视角下的目标检测点阵，具体包括：
s21：根据获取的空地视角下的车辆检测矩形框，计算目标检测矩形框中心点的坐标值，并利用中心点表征和替代矩形检测框；
s22：利用所有目标检测框的中心点，分别构建空地视角下同一帧的目标检测点阵a＝{ai,i＝1,2,…,n}和b＝{bj,j＝1,2,…,m}，其中n和m分别是车载和无人机视角下空地目标检测点阵的目标中心点点数。
4.根据权利要求3所述的基于空地协同的车辆检测方法，其特征在于，步骤s3中，对空地视角下的目标检测点阵进行配准融合一体化，具体包括：
s31：获取空地视角下同一帧点阵之间的全局结构差异矩阵gab，该矩阵中第i行第j列元素gaibj表示ai和bj之间的全局结构差异；
s32：获取空地视角下同一帧点阵之间的局部结构差异矩阵lab，该矩阵中第i行第j列元素laibj表示ai和bj之间的局部结构差异；
s33：获取空地视角下同一帧点阵之间，各个检测点所表征的检测目标之间的颜色特征差异矩阵cab，该矩阵中第i行第j列元素caibj表示检测目标ai和bj之间的颜色特征差异；最后，对颜色特征差异矩阵和全局、局部结构差异矩阵进行归一化处理；
s34：混合颜色特征差异和点阵的全局、局部结构特征差异，获取空地目标之间的混合特征差异，并定义空地视角下目标检测点阵之间的目标点对应关系矩阵为m，构建基于混合特征的成本函数e(m)；随后最小化成本函数的值，求解出空地点阵目标的对应关系矩阵；
s35：构建空地目标检测点阵之间的配准融合一体化目标函数f(a,b)，然后对目标函数进行正交三角分解，获取仿射系数矩阵和非刚性形变系数矩阵的最小二乘解，从而求解出目标函数的最小值，进而获取变换融合之后的点阵a；
s36：迭代求解目标点对应关系以及对点阵a进行变换融合两个步骤，直至空地目标检测点阵之间的对应点距离均小于阈值t1；
s37：计算空地目标检测点阵中每一对对应目标点之间的中心点，利用所有中心点和空地目标检测点阵中的无对应关系目标点，构建初步融合点阵c；
s38：分别将点阵a和b配准融合至点阵c中，随后重新计算点阵a、b之间的中心点用以构建新的点阵c，迭代此步骤直至点阵a、b之间的对应点距离均小于阈值t2，最后获取空地目标检测融合点阵c。
5.根据权利要求4所述的基于空地协同的车辆检测方法，其特征在于，步骤s34中，构建的基于混合特征的成本函数为：
其中，
6.根据权利要求4所述的基于空地协同的车辆检测方法，其特征在于，步骤s35中，构建空地目标检测点阵之间的配准融合一体化目标函数为：
其中，d表示仿射系数矩阵，ω表示非刚性形变系数矩阵，
7.根据权利要求4所述的基于空地协同的车辆检测方法，其特征在于，步骤s4中，利用前一帧空地目标检测融合结果滤除当前帧融合点阵的误检测目标点，具体包括：
s41：获取前一帧的目标检测融合结果，构建椭圆模型将所有检测目标包含在内，并将椭圆模型投影至目标检测融合点阵中；
s42：获取目标检测融合点阵中未被椭圆模型包含的离群目标点，计算所有离群目标点和椭圆模型的距离，将距离大于阈值t3的离群目标点滤除；
s43：获取最终的空地目标检测融合点阵c，并将目标点恢复为检测矩形框的形式。
技术总结