本发明实施例涉及车辆管理技术,尤其涉及一种车辆轨迹跟踪方法、装置、设备及存储介质。
背景技术:
目前,城市道路侧的开放式停车区域主要采取地磁、视频桩、咪表以及人工模式收费。
然而,地磁安装对道路有一定的破坏性,电池的维护也比较麻烦,当车辆长时间停车或者有其他车辆驶过时,可能会存在误触发地磁信号;视频桩对车位的管控能力有限,容易被人为遮挡和损坏,需要投入的数量过多,成本较高;咪表应用较为普遍,但施工难度大,建设大量咪表容易影响城市形象,设备也容易损坏,维护成本较高;人工模式收费的效率最低,人力成本耗费高,且存在人工误操作的情况。上述道路侧收费模式尚需人工干预,未能在实现收缴停车费的同时实现自动计算停车时长、自动提供停车证据,容易产生停车账单争议,同时,停车收费跑冒滴漏现象严重,事后追责逃费车辆取证困难。
技术实现要素:
本发明提供一种车辆轨迹跟踪方法、装置、设备及存储介质,以解决目前停车收费模式中存在成本较高、逃费率高且逃费取证困难的问题。
第一方面,本发明实施例提供了一种车辆轨迹跟踪方法,在道路侧布设有摄像机与毫米波雷达,所述摄像机的监控范围覆盖所述道路侧的部分停车区域,所述毫米波雷达的监控范围覆盖道路侧的全部停车区域,所述方法包括:
当检测到车辆进入道路侧的停车区域时,获取所述摄像机对所述车辆拍摄的多帧图像数据和所述毫米波雷达对所述车辆检测的多帧点云数据;
在多帧所述图像数据中,将所述车辆的颜色直方图融合粒子滤波计算所述车辆在所述停车区域中移动的第一行驶轨迹;
参考所述摄像机与所述毫米波雷达之间的坐标转换关系,基于多帧所述点云数据计算所述车辆在所述停车区域中移动的第二行驶轨迹;
对所述第一行驶轨迹与所述第二行驶轨迹进行拼接,以确定所述车辆在所述停车区域中移动的目标行驶轨迹;
将所述目标行驶轨迹与所述停车区域中泊车位进行比较,以对进入或离开所述泊车位的所述车辆执行与停车相关的业务操作。
第二方面,本发明实施例还提供了一种车辆轨迹跟踪装置,在道路侧布设有摄像机与毫米波雷达,所述摄像机的监控范围覆盖所述道路侧的部分停车区域,所述毫米波雷达的监控范围覆盖道路侧的全部停车区域,所述装置包括:
数据获取模块,用于当检测到车辆进入道路侧的停车区域时,获取所述摄像机对所述车辆拍摄的多帧图像数据和所述毫米波雷达对所述车辆检测的多帧点云数据;
第一行驶轨迹计算模块,用于在多帧所述图像数据中,将所述车辆的颜色直方图融合粒子滤波计算所述车辆在所述停车区域中移动的第一行驶轨迹;
第二行驶轨迹计算模块,用于参考所述摄像机与所述毫米波雷达之间的坐标转换关系,基于多帧所述点云数据计算所述车辆在所述停车区域中移动的第二行驶轨迹;
目标行驶轨迹确定模块,用于对所述第一行驶轨迹与所述第二行驶轨迹进行拼接,以确定所述车辆在所述停车区域中移动的目标行驶轨迹;
业务执行模块,用于将所述目标行驶轨迹与所述停车区域中泊车位进行比较,以对进入或离开所述泊车位的所述车辆执行与停车相关的业务操作。
第三方面,本发明实施例还提供了一种计算机设备,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如第一方面所述的车辆轨迹跟踪方法。
第四方面,本发明实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如第一方面所述的车辆轨迹跟踪方法。
本发明通过当检测到车辆进入道路侧的停车区域时,获取摄像机对车辆拍摄的多帧图像数据和毫米波雷达对车辆检测的多帧点云数据;在多帧图像数据中,将车辆的颜色直方图融合粒子滤波计算车辆在停车区域中移动的第一行驶轨迹;参考摄像机与毫米波雷达之间的坐标转换关系,基于多帧点云数据计算车辆在停车区域中移动的第二行驶轨迹;对第一行驶轨迹与第二行驶轨迹进行拼接,以确定车辆在停车区域中移动的目标行驶轨迹;将目标行驶轨迹与停车区域中泊车位进行比较,以对进入或离开泊车位的车辆执行与停车相关的业务操作,将毫米波雷达与摄像机两者结合,摄像机可以为毫米波雷达标记车辆提供参考,使得毫米波雷达可以追踪车辆,毫米波雷达可以弥补摄像机拍照范围小、距离受限的短板,两者能够取长补短,消除视频桩管控能力有限、容易被遮挡的问题,无需投入过多的监控设备,节省成本,再者,毫米波雷达与摄像机的精度都是比较高的,两者各自解算得到的行驶轨迹的差异较小,基于第一行驶轨迹与第二行驶轨迹进行拼接得到目标行驶轨迹,使得融合的轨迹更为精准,可以满足追踪车辆的精度要求,同时,拼接得到的目标行驶轨迹为车辆从进入停车区域到离开停车区域整个范围中的全部行驶轨迹,基于该目标行驶轨迹可以在实现车辆收缴停车费的同时对车辆实现自动计算停车时长、自动提供停车证据,避免停车账单争议,降低停车收费跑冒滴漏现象的发生频率,对逃费车辆进行追责取证容易。
附图说明
图1为本发明实施例一提供的一种车辆轨迹跟踪方法的流程图;
图2为本发明实施例二提供的一种车辆轨迹跟踪装置的结构示意图;
图3为本发明实施例三提供的一种计算机设备的结构示意图。
具体实施方式
下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本发明,而非对本发明的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本发明相关的部分而非全部结构。
实施例一
图1为本发明实施例一提供的一种车辆轨迹跟踪方法的流程图,本实施例可适用于对道路侧开放式停车区域中的车辆行为进行监控、记录行驶轨迹以触发与停车相关的业务操作的情况,该方法可以由一种车辆轨迹跟踪装置来执行,该车辆轨迹跟踪装置可以由软件和/或硬件实现,可配置在计算机设备中,例如,服务器、工作站、个人电脑,等等,该方法具体包括如下步骤:
s101、当检测到车辆进入道路侧的停车区域时,获取摄像机对车辆拍摄的多帧图像数据和毫米波雷达对车辆检测的多帧点云数据。
在本实施例中,在道路侧布设有摄像机与毫米波雷达,摄像机的监控范围覆盖道路侧的部分停车区域,毫米波雷达的监控范围覆盖道路侧的全部停车区域,摄像机与毫米波雷达可以安装在城市道路侧面向开放式停车区域的门架或者灯杆上。
摄像机可以选用集成有车牌识别功能的摄像机组,一般来说,车牌识别摄像机对车辆进行车牌识别的有效距离为25m-60m,进行车辆轨迹跟踪的距离为150m,一般只能监控2车道。而且单靠计算机视觉对开放式停车区域中的车辆目标进行跟踪,容易受到光照变化、遮挡、背景干扰的影响,在实际应用中容易丢失目标。
而由于毫米波雷达的探测距离远(至少可以覆盖300m内的车道)、覆盖范围广,因此在道路侧的停车区域处的门架或灯杆上仅需安装一台毫米波雷达设备即可监控停车区域中每辆车的行驶轨迹,本发明实施例将毫米波雷达与摄像机结合,利用安装在门架或灯杆上处于高位的毫米波雷达与摄像机之间的联合标定,将毫米波雷达对停车区域中探测到的车辆目标与高位摄像机对停车区域中探测到的车辆目标相互对应,突破了现有停车收费模式中仅有高位视频桩(将摄像机安装在高位)的限制。
在本实施例中,摄像机主要基于停车区域中的所有车道划定车辆检测区域,基于泊车位的真实位置划定车位电子区域,毫米波雷达与摄像机均可以对进入车位电子区域中的车辆进行检测,当检测到车辆进入道路侧的属于车位电子区域的停车区域时,摄像机对于进入停车区域的车辆识别车牌并进行抓拍,可以得到多帧图像数据,毫米波雷达对车辆进行实时探测获取反射信号,生成多帧点云数据,本实施例中,获取摄像机对车辆拍摄的多帧图像数据和毫米波雷达对车辆检测的多帧点云数据,可以用于监控车辆在停车区域中的移动轨迹。
在本发明的一个本实施例中,在道路侧停车区域上行、下行出入口和每个岔道口布设有收费天线,当车辆驶离时,即可进行etc扣费。天线可以安装在上行、下行出入口和岔道口的门架上,天线的朝向需正对车辆行驶方向。道路侧的停车区域管理系统可以是基于etc(electronictollcollection,电子不停车收费系统)的收费系统,可以由三大部分组成:车辆信息采集终端、路侧核心处理终端和etc云平台。
车辆信息采集终端主要是安装在道路侧停车区域出入口和其他岔道口的摄像机、毫米波雷达和天线,完成车辆车牌识别、行驶轨迹识别、etc标签信息识别、etc扣费。
路侧核心处理终端部署在道路侧停车区域的前端,用于统一控制车牌识别、雷达和天线,具体功能包括车辆轨迹拟合、车牌图片处理、设备监控、etc数据解析、停车时间、费用计算,以及与etc云平台通信。通常,一个路段上行和下行各配置一台。
etc云平台部署在云端,用于对整个系统进行后台管理,并将停车扣费账单汇聚至中心清分结算系统,进行etc账单的清分结算。其功能还包括车辆信息管理、用户管理、费率管理、参数管理、设备接入管理等,并支持各类终端查询。
s102、在多帧图像数据中,将车辆的颜色直方图融合粒子滤波计算车辆在停车区域中移动的第一行驶轨迹。
在本实施例中,对于获取到的多帧图像数据,提取每一帧图像数据中表征车辆的颜色特征,生成颜色直方图,将颜色直方图作为粒子滤波中粒子权重分配所依据的相似度衡量值融入到粒子滤波算法中,利用粒子群的更新迭代来计算车辆在停车区域中移动的第一行驶轨迹。
作为一个示例,可以通过确定多帧包含有车辆信息的图像数据的颜色分布模型,将图像数据按照颜色分布模型进行量化,以确定图像数据中的颜色分量,统计每种颜色分量在图像数据中的像素总数,计算像素总数占图像数据中总像素数的比例,得到每一帧图像数据中与车辆有关的颜色直方图。例如,对于图像i,颜色直方图的计算式为
在一种实现方式中,s102可以包括如下具体步骤:
s1021、在多帧图像数据中,确定车辆在表征停车区域的单帧图像数据中的颜色直方图,作为目标特征。
s1022、在表征停车区域的单帧图像数据中投放第一粒子群。
s1023、计算第一粒子群中每个第一粒子的颜色直方图,作为候选特征。
其中,第一粒子用于表示车辆在停车区域中的预估位置。
s1024、计算每个第一粒子的候选特征与目标特征之间的相似度。
例如,可以采用距离、余弦值、直方图特征统计等计算方式来计算每个第一粒子的候选特征与目标特征之间的相似度。
s1025、基于相似度在单帧图像数据中按照预估位置重新投放第二粒子群,以计算车辆在停车区域中移动的第一行驶轨迹。
在一个具体的示例中,可以基于相似度对单帧图像数据中的第一粒子群进行筛选;按照筛选后的第一粒子群中每个第一粒子的相似度,计算每个第一粒子的第一权重,第一权重用于表示预估位置的准确性;依据第一权重在单帧图像数据中按照预估位置重新投放第二粒子群,例如,对第一权重的平方求和,得到第一数值,取第一数值的倒数作为粒子退化程度的度量值,将度量值与预设的阈值进行比较,若度量值小于预设的阈值,则依据第一权重在单帧图像数据中按照预估位置重新投放第二粒子群;确定第二粒子群中每个第二粒子在停车区域中的预估位置,例如,可以在第二粒子群中,为每个第二粒子分配第二权重,计算每个第二粒子在图像数据中的像素位置,对像素位置与第二权重的乘积求和,即可得到每个第二粒子在停车区域中的预估位置;基于第二粒子的预估位置对第二粒子群进行更新,直到第二粒子的预估位置满足预设的收敛条件,则确定第二粒子的预估位置为车辆在停车区域中的第一位置;对所有帧图像数据统计车辆在停车区域中的第一位置,得到车辆在停车区域中移动的第一行驶轨迹。
为了使本领域技术人员更好理解上述技术步骤,下面对采用粒子滤波对车辆进行跟踪的具体过程作进一步的解析。
在多帧图像数据中,针对每一帧图像数据,将第一粒子群均匀投放在当前帧图像数据中车辆位置周边,每个粒子的初始权重可以根据第一粒子群的粒子总数量来均分设置,例如,在车辆位置均匀投放x个第一粒子
粒子:对于平稳的随机过程,假定k-1时刻,粒子跟踪系统的后验概率密度为p(xk-1|zk-1),xk-1为k-1时刻粒子的位置状态,zk-1为k-1时刻系统对粒子的观测状态(测量值)。依据一定原则选取n个随机样本点(粒子),k时刻获得测量信息后,经过状态和时间更新过程,n个粒子的后验概率密度可近似为p(xk|zk)。在粒子滤波的整体流程中,随着粒子数目的增加,粒子的概率密度函数逐渐逼近状态的概率密度函数,粒子滤波估计即达到了最优贝叶斯估计的效果。贝叶斯估计是粒子滤波方法的理论基础,是一种利用客观信息和主观信息相结合的估计方法,它不仅考虑了样本的客观信息,还考虑了人为的主观因素,能够很好地处理观测样本出现异常时的情况。对于待估计的参数,贝叶斯估计在抽取样本前先给出该参数的先验分布,并结合样本信息可以得到参数的后验分布信息。
记k为图像数据帧的序数。由车辆状态转移方程l(k)=al(k-1) n(a为状态转移矩阵,n为噪声),结合上一图像数据帧计算得到的粒子状态
为了防止粒子滤波中的粒子退化问题,经过几次迭代,除了一个粒子意外,其余粒子均只有微小的权值。重新采样的基本思想是排除哪些有小的权重的粒子,从而将粒子集中到具有很大权重的粒子上。但重新采样可能忽略默写权重较高的粒子,导致滤波器发散。因此需要引入一个有效离子数作为粒子退化程度的度量,即
在本实施例中,采用车辆的颜色直方图作为粒子之间相似度的度量,基于粒子之间的特征相似度重新分配粒子投放的权重,对粒子进行更新迭代以实现在多帧图像数据中对车辆位置的跟踪,得到车辆在停车区域中移动的第一行驶轨迹,能够保证跟踪的效率,提高轨迹定位的精度,而且粒子的投放是随机的,根据特征相似度计算每个粒子的重要性,然后在重要的地方多撒粒子,不重要的地方少撒粒子,计算量相较于蒙特卡洛滤波,计算量较小。
s103、参考摄像机与毫米波雷达之间的坐标转换关系,基于多帧点云数据计算车辆在停车区域中移动的第二行驶轨迹。
在本实施例中,从摄像机获取得到的多帧图像数据中投放有粒子群,对摄像机与毫米波雷达进行联合标定,可以得到摄像机与毫米波雷达之间的坐标转换关系,在多帧点云数据中,针对每一帧点云数据提取表征车辆的点云数据,得到多帧第一候选点云数据,依据坐标转换关系将多帧第一候选点云数据转换到摄像机坐标系下,得到多帧第二候选点云数据,在多帧第二候选点云数据中,将每一帧第二候选点云数据投影至相对应的表征停车区域的单帧图像数据中,得到多帧第三候选点云数据,将多帧第三候选点云数据与多帧图像数据中的粒子群进行匹配,基于匹配的结果可以计算车辆在停车区域中移动的第二行驶轨迹。
s104、对第一行驶轨迹与第二行驶轨迹进行拼接,以确定车辆在停车区域中移动的目标行驶轨迹。
由于摄像机对停车区域中的车辆识别范围有限,仅依据摄像机对车辆识别出的车牌信息与待跟踪的目标车辆进行关联绑定,可能会因为摄像机视线中的遮挡、有效识别范围限制而导致摄像机不能监控到车辆在停车区域中的全部移动轨迹,即根据多帧图像数据计算得到的第一行驶轨迹可能存在缺漏,不能作为车辆在道路侧停车区域中全部行为的凭证,而由于毫米波雷达可以补足摄像机监控范围小的缺陷,基于毫米波雷达获取的点云数据所计算得到的第二行驶轨迹则能够在整个停车区域中监控车辆的移动轨迹,但毫米波雷达无法辨别处于停车状态(静止)的车辆,因为需要将毫米波雷达与摄像机联动,待摄像机对车辆识别车牌并认证车辆的身份后,毫米波雷达可以共享摄像机内部的采集数据,得以对进入停车区域中的车辆进行身份标识,区分出其所监控的车辆的对应的第二行驶轨迹。
对第一行驶轨迹与第二行驶轨迹进行拼接,对于两条轨迹在一定时间范围内重叠的部分可以进行位置融合,能够获得更为准确的车辆行驶轨迹,而对于单一行驶轨迹中存在缺漏的部分,则将两者进行拼接,可以复原车辆在停车区域中移动的完整行驶轨迹,能够在触发停车业务操作时向车辆提供停车收费的全部行为凭证。
其中,第一行驶轨迹包括多个第一位置、与第一位置对应的第一时间点,第二行驶轨迹包括多个第二位置、与第二位置对应的第二时间点。
在一种具体实现方式中,遍历第一行驶轨迹中的第一时间点和第二行驶轨迹中的第二时间点;若第一时间点与第二时间点相同,则对第一时间点对应的第一位置和第二时间点对应的第二位置进行线性融合,得到车辆在停车区域中的目标位置;若第一时间点与第二时间点不同,则采用插值的方法在第一时间点对应的第一位置和第二时间点对应的第二位置之间生成一个新的位置,作为车辆在停车区域中的目标位置;拟合所有目标位置,得到车辆在停车区域中移动的目标行驶轨迹。本实施例对第一行驶轨迹与第二行驶轨迹进行拼接的具体方式不作限定。
本实施例中,计算第一行驶轨迹与计算第二行驶轨迹均无需人工干预,基于两者得到目标行驶轨迹,整个车辆行驶轨迹的监控全程为智能化过程,基于目标行驶轨迹中的多个时间点,可以计算出车辆在泊车位的停留时间,且目标行驶轨迹会被上传到云端,道路侧的停车区域管理系统中的路侧核心处理终端可以根据目标行驶轨迹对车辆的停车状态进行计费,并在车辆离开泊车位后调用天线对车辆进行自动扣费,避免停车区域出入口因缴费排队造成的拥堵,提高了车位周转率。
s105、将目标行驶轨迹与停车区域中泊车位进行比较,以对进入或离开泊车位的车辆执行与停车相关的业务操作。
在具体实现中,若目标行驶轨迹的朝向为驶入停车区域中的车位、且目标行驶轨迹穿过车位的泊车线时,调用摄像机对车辆进行抓拍,对车辆执行车牌识别、车牌关联、身份校验和停车计时的业务操作;
若目标行驶轨迹的朝向为驶出停车区域中的车位、且目标行驶轨迹穿过车位的泊车线时,调用摄像机对车辆进行抓拍,将车辆的停车信息上传云端,结束对车辆的停车计时,触发云端对车辆执行停车收费的业务操作,例如,若车辆中安装有obu车载电子单元,道路侧的停车区域管理系统可调用天线对车辆进行自动扣费,防止车辆的逃费,若车辆中未安装自动扣费设备,云端则可以调用停车区域中的车辆拦截系统对当前尚未缴费的车辆进行扣留,并向该车辆作出预警提示。
本发明实施例通过当检测到车辆进入道路侧的停车区域时,获取摄像机对车辆拍摄的多帧图像数据和毫米波雷达对车辆检测的多帧点云数据;在多帧图像数据中,将车辆的颜色直方图融合粒子滤波计算车辆在停车区域中移动的第一行驶轨迹;参考摄像机与毫米波雷达之间的坐标转换关系,基于多帧点云数据计算车辆在停车区域中移动的第二行驶轨迹;对第一行驶轨迹与第二行驶轨迹进行拼接,以确定车辆在停车区域中移动的目标行驶轨迹;将目标行驶轨迹与停车区域中泊车位进行比较,以对进入或离开泊车位的车辆执行与停车相关的业务操作,将毫米波雷达与摄像机两者结合,摄像机可以为毫米波雷达标记车辆提供参考,使得毫米波雷达可以追踪车辆,毫米波雷达可以弥补摄像机拍照范围小、距离受限的短板,两者能够取长补短,消除视频桩管控能力有限、容易被遮挡的问题,无需投入过多的监控设备,节省成本,再者,毫米波雷达与摄像机的精度都是比较高的,两者各自解算得到的行驶轨迹的差异较小,基于第一行驶轨迹与第二行驶轨迹进行拼接得到目标行驶轨迹,使得融合的轨迹更为精准,可以满足追踪车辆的精度要求,同时,拼接得到的目标行驶轨迹为车辆从进入停车区域到离开停车区域整个范围中的全部行驶轨迹,基于该目标行驶轨迹可以在实现车辆收缴停车费的同时对车辆实现自动计算停车时长、自动提供停车证据,避免停车账单争议,降低停车收费跑冒滴漏现象的发生频率,对逃费车辆进行追责取证容易。
实施例二
图2为本发明实施例二提供的一种车辆轨迹跟踪装置的结构示意图,本实施例中,在道路侧布设有摄像机与毫米波雷达,所述摄像机的监控范围覆盖所述道路侧的部分停车区域,所述毫米波雷达的监控范围覆盖道路侧的全部停车区域,该装置具体可以包括如下模块:
数据获取模块201,用于当检测到车辆进入道路侧的停车区域时,获取所述摄像机对所述车辆拍摄的多帧图像数据和所述毫米波雷达对所述车辆检测的多帧点云数据;
第一行驶轨迹计算模块202,用于在多帧所述图像数据中,将所述车辆的颜色直方图融合粒子滤波计算所述车辆在所述停车区域中移动的第一行驶轨迹;
第二行驶轨迹计算模块203,用于参考所述摄像机与所述毫米波雷达之间的坐标转换关系,基于多帧所述点云数据计算所述车辆在所述停车区域中移动的第二行驶轨迹;
目标行驶轨迹确定模块204,用于对所述第一行驶轨迹与所述第二行驶轨迹进行拼接,以确定所述车辆在所述停车区域中移动的目标行驶轨迹;
业务执行模块205,用于将所述目标行驶轨迹与所述停车区域中泊车位进行比较,以对进入或离开所述泊车位的所述车辆执行与停车相关的业务操作。
在一个实施例中,第一行驶轨迹计算模块202包括:
目标特征确认子模块,用于在多帧所述图像数据中,确定所述车辆在表征所述停车区域的单帧所述图像数据中的颜色直方图,作为目标特征;
粒子群投放子模块,用于在表征所述停车区域的单帧所述图像数据中投放第一粒子群;
候选特征计算子模块,用于计算所述第一粒子群中每个第一粒子的颜色直方图,作为候选特征,其中,所述第一粒子用于表示所述车辆在所述停车区域中的预估位置;
相似度计算子模块,用于计算每个所述第一粒子的所述候选特征与所述目标特征之间的相似度;
第一行驶轨迹确认子模块,用于基于所述相似度在单帧所述图像数据中按照所述预估位置重新投放第二粒子群,以计算所述车辆在所述停车区域中移动的第一行驶轨迹。
在一个实施例中,第一行驶轨迹确认子模块包括:
粒子群筛选单元,用于基于所述相似度对单帧所述图像数据中的所述第一粒子群进行筛选;
权重计算单元,用于按照筛选后的所述第一粒子群中每个所述第一粒子的相似度,计算每个所述第一粒子的第一权重,所述第一权重用于表示所述预估位置的准确性;
粒子群投放单元,用于依据所述第一权重在单帧所述图像数据中按照所述预估位置重新投放第二粒子群;
预估位置确定单元,用于确定所述第二粒子群中每个第二粒子在所述停车区域中的预估位置;
粒子群更新单元,用于基于所述第二粒子的预估位置对所述第二粒子群进行更新,直到所述第二粒子的预估位置满足预设的收敛条件,则确定所述第二粒子的预估位置为所述车辆在所述停车区域中的第一位置;
位置统计单元,用于对所有帧图像数据统计所述车辆在所述停车区域中的第一位置,得到所述车辆在所述停车区域中移动的第一行驶轨迹。
在一个实施例中,粒子群投放单元包括:
第一数值计算子单元,用于对所述第一权重的平方求和,得到第一数值;
第二数值计算子单元,用于取所述第一数值的倒数作为度量粒子退化程度的第二数值;
数值比较子单元,用于将所述第二数值与预设的阈值进行比较;
粒子群重投子单元,用于若所述度量值小于所述预设的阈值,则依据所述第一权重在单帧所述图像数据中按照所述预估位置重新投放第二粒子群;
在一个实施例中,预估位置确定单元包括:
权重计算子单元,用于在所述第二粒子群中,为每个所述第二粒子分配第二权重;
像素位置计算子单元,用于计算每个所述第二粒子在所述图像数据中的像素位置;
预估位置确认子单元,用于对所述像素位置与所述第二权重的乘积求和,得到每个所述第二粒子在所述停车区域中的预估位置。
在一个实施例中,所述图像数据中投放有粒子群;第二行驶轨迹计算模块203包括:
坐标转换关系计算子模块,用于对所述摄像机与所述毫米波雷达进行联合标定,得到所述摄像机与所述毫米波雷达之间的坐标转换关系;
第一候选点云数据确认子模块,用于在多帧所述点云数据中,针对每一帧所述点云数据提取表征所述车辆的点云数据,得到多帧第一候选点云数据;
第二候选点云数据确认子模块,用于依据所述坐标转换关系将多帧所述第一候选点云数据转换到所述摄像机坐标系下,得到多帧第二候选点云数据;
第三候选点云数据确认子模块,用于在多帧所述第二候选点云数据中,将每一帧所述第二候选点云数据投影至相对应的表征所述停车区域的单帧所述图像数据中,得到多帧第三候选点云数据;
匹配子模块,用于将多帧所述第三候选点云数据与多帧所述图像数据中的所述粒子群进行匹配;
第二行驶轨迹确认子模块,用于基于所述匹配的结果计算所述车辆在所述停车区域中移动的第二行驶轨迹。
在一个实施例中,所述第一行驶轨迹包括多个第一位置、与所述第一位置对应的第一时间点,所述第二行驶轨迹包括多个第二位置、与所述第二位置对应的第二时间点;目标行驶轨迹确定模块204包括:
遍历子模块,用于遍历所述第一行驶轨迹中的第一时间点和所述第二行驶轨迹中的第二时间点;
第一目标位置确认子模块,用于若所述第一时间点与所述第二时间点相同,则对所述第一时间点对应的第一位置和所述第二时间点对应的第二位置进行线性融合,得到所述车辆在所述停车区域中的目标位置;
第二目标位置确认子模块,用于若所述第一时间点与所述第二时间点不同,则采用插值的方法在所述第一时间点对应的第一位置和所述第二时间点对应的第二位置之间生成一个新的位置,作为所述车辆在所述停车区域中的目标位置;
目标行驶轨迹确认子模块,用于拟合所有所述目标位置,得到所述车辆在所述停车区域中移动的目标行驶轨迹。
在一个实施例中,业务执行模块205包括:
第一业务操作子模块,用于若所述目标行驶轨迹的朝向为驶入所述停车区域中的车位、且所述目标行驶轨迹穿过所述车位的泊车线时,调用所述摄像机对所述车辆进行抓拍,对所述车辆执行车牌识别、车牌关联、身份校验和停车计时的业务操作;
第二业务操作子模块,用于若所述目标行驶轨迹的朝向为驶出所述停车区域中的车位、且所述目标行驶轨迹穿过所述车位的泊车线时,调用所述摄像机对所述车辆进行抓拍,将所述车辆的停车信息上传云端,结束对所述车辆的停车计时,触发所述云端对所述车辆执行停车收费的业务操作。
本发明实施例所提供的车辆轨迹跟踪装置可执行本发明任意实施例所提供的车辆轨迹跟踪方法,具备执行方法相应的功能模块和有益效果。
实施例三
图3为本发明实施例三提供的一种计算机设备的结构示意图,如图3所示,该计算机设备包括处理器300、存储器301、通信模块302、输入装置303和输出装置304;计算机设备中处理器300的数量可以是一个或多个,图3中以一个处理器300为例;计算机设备中的处理器300、存储器301、通信模块302、输入装置303和输出装置304可以通过总线或其他方式连接,图3中以通过总线连接为例。
存储器301作为一种计算机可读存储介质,可用于存储软件程序、计算机可执行程序以及模块,如本发明实施例中的车辆轨迹跟踪方法对应的模块(例如,如图2所示的车辆轨迹跟踪装置中的数据获取模块201、第一行驶轨迹计算模块202、第二行驶轨迹计算模块203、目标行驶轨迹确定模块204和业务执行模块205)。处理器300通过运行存储在存储器301中的软件程序、指令以及模块,从而执行计算机设备的各种功能应用以及数据处理,即实现上述的车辆轨迹跟踪方法。
存储器301可主要包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据终端的使用所创建的数据等。此外,存储器301可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器301可进一步包括相对于处理器300远程设置的存储器,这些远程存储器可以通过网络连接至计算机设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
通信模块302,用于与显示屏建立连接,并实现与显示屏的数据交互。
输入装置303可用于接收输入的数字或字符信息,以及产生与计算机设备的用户设置以及功能控制有关的键信号输入。
输出装置304可包括显示屏等显示设备。
需要说明的是,输入装置303和输出装置304的具体组成可以根据实际情况设定。
本实施例提供的计算机设备,可执行本发明任一实施例提供的车辆轨迹跟踪方法,具备相应的功能和有益效果。
实施例四
本发明实施例四还提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现上述任一实施例的车辆轨迹跟踪方法。
本发明实施例中,在道路侧布设有摄像机与毫米波雷达,所述摄像机的监控范围覆盖所述道路侧的部分停车区域,所述毫米波雷达的监控范围覆盖道路侧的全部停车区域,该车辆轨迹跟踪方法包括:
当检测到车辆进入道路侧的停车区域时,获取所述摄像机对所述车辆拍摄的多帧图像数据和所述毫米波雷达对所述车辆检测的多帧点云数据;
在多帧所述图像数据中,将所述车辆的颜色直方图融合粒子滤波计算所述车辆在所述停车区域中移动的第一行驶轨迹;
参考所述摄像机与所述毫米波雷达之间的坐标转换关系,基于多帧所述点云数据计算所述车辆在所述停车区域中移动的第二行驶轨迹;
对所述第一行驶轨迹与所述第二行驶轨迹进行拼接,以确定所述车辆在所述停车区域中移动的目标行驶轨迹;
将所述目标行驶轨迹与所述停车区域中泊车位进行比较,以对进入或离开所述泊车位的所述车辆执行与停车相关的业务操作。
当然,本发明实施例所提供的计算机可读存储介质,其计算机程序不限于如上所述的方法操作,还可以执行本发明任意实施例所提供的车辆轨迹跟踪方法中的相关操作。
通过以上关于实施方式的描述,所属领域的技术人员可以清楚地了解到,本发明可借助软件及必需的通用硬件来实现,当然也可以通过硬件实现,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品可以存储在计算机可读存储介质中,如计算机的软盘、只读存储器(read-onlymemory,rom)、随机存取存储器(randomaccessmemory,ram)、闪存(flash)、硬盘或光盘等,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本发明各个实施例所述的方法。
值得注意的是,上述车辆轨迹跟踪装置的实施例中,所包括的各个单元和模块只是按照功能逻辑进行划分的,但并不局限于上述的划分,只要能够实现相应的功能即可;另外,各功能单元的具体名称也只是为了便于相互区分,并不用于限制本发明的保护范围。
注意,上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解,本发明不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此,虽然通过以上实施例对本发明进行了较为详细的说明,但是本发明不仅仅限于以上实施例,在不脱离本发明构思的情况下,还可以包括更多其他等效实施例,而本发明的范围由所附的权利要求范围决定。
1.一种车辆轨迹跟踪方法,其特征在于,在道路侧布设有摄像机与毫米波雷达,所述摄像机的监控范围覆盖所述道路侧的部分停车区域,所述毫米波雷达的监控范围覆盖道路侧的全部停车区域,所述方法包括:
当检测到车辆进入道路侧的停车区域时,获取所述摄像机对所述车辆拍摄的多帧图像数据和所述毫米波雷达对所述车辆检测的多帧点云数据;
在多帧所述图像数据中,将所述车辆的颜色直方图融合粒子滤波计算所述车辆在所述停车区域中移动的第一行驶轨迹;
参考所述摄像机与所述毫米波雷达之间的坐标转换关系,基于多帧所述点云数据计算所述车辆在所述停车区域中移动的第二行驶轨迹;
对所述第一行驶轨迹与所述第二行驶轨迹进行拼接,以确定所述车辆在所述停车区域中移动的目标行驶轨迹;
将所述目标行驶轨迹与所述停车区域中泊车位进行比较,以对进入或离开所述泊车位的所述车辆执行与停车相关的业务操作。
2.根据权利要求1所述的方法,其特征在于,所述在多帧所述图像数据中,将所述车辆的颜色直方图融合粒子滤波计算所述车辆在所述停车区域中移动的第一行驶轨迹,包括:
在多帧所述图像数据中,确定所述车辆在表征所述停车区域的单帧所述图像数据中的颜色直方图,作为目标特征;
在表征所述停车区域的单帧所述图像数据中投放第一粒子群;
计算所述第一粒子群中每个第一粒子的颜色直方图,作为候选特征,其中,所述第一粒子用于表示所述车辆在所述停车区域中的预估位置;
计算每个所述第一粒子的所述候选特征与所述目标特征之间的相似度;
基于所述相似度在单帧所述图像数据中按照所述预估位置重新投放第二粒子群,以计算所述车辆在所述停车区域中移动的第一行驶轨迹。
3.根据权利要求2所述的方法,其特征在于,所述基于所述相似度在单帧所述图像数据中按照所述预估位置重新投放第二粒子群,以计算所述车辆在所述停车区域中移动的第一行驶轨迹,包括:
基于所述相似度对单帧所述图像数据中的所述第一粒子群进行筛选;
按照筛选后的所述第一粒子群中每个所述第一粒子的相似度,计算每个所述第一粒子的第一权重,所述第一权重用于表示所述预估位置的准确性;
依据所述第一权重在单帧所述图像数据中按照所述预估位置重新投放第二粒子群;
确定所述第二粒子群中每个第二粒子在所述停车区域中的预估位置;
基于所述第二粒子的预估位置对所述第二粒子群进行更新,直到所述第二粒子的预估位置满足预设的收敛条件,则确定所述第二粒子的预估位置为所述车辆在所述停车区域中的第一位置;
对所有帧图像数据统计所述车辆在所述停车区域中的第一位置,得到所述车辆在所述停车区域中移动的第一行驶轨迹。
4.根据权利要求3所述的方法,其特征在于,所述依据所述第一权重在单帧所述图像数据中按照所述预估位置重新投放第二粒子群,包括:
对所述第一权重的平方求和,得到第一数值;
取所述第一数值的倒数作为度量粒子退化程度的第二数值;
将所述第二数值与预设的阈值进行比较;
若所述度量值小于所述预设的阈值,则依据所述第一权重在单帧所述图像数据中按照所述预估位置重新投放第二粒子群;
所述确定所述第二粒子群中每个第二粒子在所述停车区域中的预估位置,包括:
在所述第二粒子群中,为每个所述第二粒子分配第二权重;
计算每个所述第二粒子在所述图像数据中的像素位置;
对所述像素位置与所述第二权重的乘积求和,得到每个所述第二粒子在所述停车区域中的预估位置。
5.根据权利要求1-4任一所述的方法,其特征在于,所述图像数据中投放有粒子群;
所述参考所述摄像机与所述毫米波雷达之间的坐标转换关系,基于多帧所述点云数据计算所述车辆在所述停车区域中移动的第二行驶轨迹,包括:
对所述摄像机与所述毫米波雷达进行联合标定,得到所述摄像机与所述毫米波雷达之间的坐标转换关系;
在多帧所述点云数据中,针对每一帧所述点云数据提取表征所述车辆的点云数据,得到多帧第一候选点云数据;
依据所述坐标转换关系将多帧所述第一候选点云数据转换到所述摄像机坐标系下,得到多帧第二候选点云数据;
在多帧所述第二候选点云数据中,将每一帧所述第二候选点云数据投影至相对应的表征所述停车区域的单帧所述图像数据中,得到多帧第三候选点云数据;
将多帧所述第三候选点云数据与多帧所述图像数据中的所述粒子群进行匹配;
基于所述匹配的结果计算所述车辆在所述停车区域中移动的第二行驶轨迹。
6.根据权利要求1或2或3或4所述的方法,其特征在于,所述第一行驶轨迹包括多个第一位置、与所述第一位置对应的第一时间点,所述第二行驶轨迹包括多个第二位置、与所述第二位置对应的第二时间点;
所述对所述第一行驶轨迹与所述第二行驶轨迹进行拼接,以确定所述车辆在所述停车区域中移动的目标行驶轨迹,包括:
遍历所述第一行驶轨迹中的第一时间点和所述第二行驶轨迹中的第二时间点;
若所述第一时间点与所述第二时间点相同,则对所述第一时间点对应的第一位置和所述第二时间点对应的第二位置进行线性融合,得到所述车辆在所述停车区域中的目标位置;
若所述第一时间点与所述第二时间点不同,则采用插值的方法在所述第一时间点对应的第一位置和所述第二时间点对应的第二位置之间生成一个新的位置,作为所述车辆在所述停车区域中的目标位置;
拟合所有所述目标位置,得到所述车辆在所述停车区域中移动的目标行驶轨迹。
7.根据权利要求6所述的方法,其特征在于,所述将所述目标行驶轨迹与所述停车区域中泊车位进行比较,以对进入或离开所述泊车位的所述车辆执行与停车相关的业务操作,包括:
若所述目标行驶轨迹的朝向为驶入所述停车区域中的车位、且所述目标行驶轨迹穿过所述车位的泊车线时,调用所述摄像机对所述车辆进行抓拍,对所述车辆执行车牌识别、车牌关联、身份校验和停车计时的业务操作;
若所述目标行驶轨迹的朝向为驶出所述停车区域中的车位、且所述目标行驶轨迹穿过所述车位的泊车线时,调用所述摄像机对所述车辆进行抓拍,将所述车辆的停车信息上传云端,结束对所述车辆的停车计时,触发所述云端对所述车辆执行停车收费的业务操作。
8.一种车辆轨迹跟踪装置,其特征在于,在道路侧布设有摄像机与毫米波雷达,所述摄像机的监控范围覆盖所述道路侧的部分停车区域,所述毫米波雷达的监控范围覆盖道路侧的全部停车区域,所述装置包括:
数据获取模块,用于当检测到车辆进入道路侧的停车区域时,获取所述摄像机对所述车辆拍摄的多帧图像数据和所述毫米波雷达对所述车辆检测的多帧点云数据;
第一行驶轨迹计算模块,用于在多帧所述图像数据中,将所述车辆的颜色直方图融合粒子滤波计算所述车辆在所述停车区域中移动的第一行驶轨迹;
第二行驶轨迹计算模块,用于参考所述摄像机与所述毫米波雷达之间的坐标转换关系,基于多帧所述点云数据计算所述车辆在所述停车区域中移动的第二行驶轨迹;
目标行驶轨迹确定模块,用于对所述第一行驶轨迹与所述第二行驶轨迹进行拼接,以确定所述车辆在所述停车区域中移动的目标行驶轨迹;
业务执行模块,用于将所述目标行驶轨迹与所述停车区域中泊车位进行比较,以对进入或离开所述泊车位的所述车辆执行与停车相关的业务操作。
9.一种计算机设备,其特征在于,所述计算机设备包括:
一个或多个处理器;
存储器,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-7中任一所述的车辆轨迹跟踪方法。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储计算机程序,所述计算机程序被处理器执行时实现如权利要求1-7中任一所述的车辆轨迹跟踪方法。
技术总结