本发明属于环境感知领域,涉及一种基于概率分布指导数据关联的3d多目标跟踪方法。
背景技术:
1、3d多目标跟踪是智能驾驶环境感知的一项核心技术。tbd(tracking-by-detection)框架是目前主流的跟踪框架,该框架将多目标跟踪任务分解成检测和跟踪两个子任务,通过逐帧进行精确的检测和有效的数据关联实现多目标跟踪。
2、在基于tbd框架的多目标跟踪方法中,为了更好地实现数据关联,通常使用一些预测组件来实现轨迹的平稳传播。在现有的主流跟踪方法中,通常使用不确定模型来进行轨迹的预测,例如可使用卡尔曼滤波器来实现这一预测过程。由于被跟踪目标的运动本来就存在不确定性,因此使用卡尔曼滤波来进行轨迹预测自然是合理的。然而,在数据关联阶段,大多数现有基于tbd框架的多目标跟踪的算法并未采用上述不确定模型,而是使用确定的检测和确定的轨迹进行关联。这种方法忽视了轨迹和检测的不确定性,没有真实地表征待跟踪目标和传感器检测的固有属性,降低了相似度计算的有效性和可靠性。
3、因此,亟需一种准确的目标跟踪方法。
技术实现思路
1、有鉴于此,本发明的目的在于提供一种基于概率分布指导数据关联的3d多目标跟踪方法,用于更好地建模目标状态,提高关联的准确性。
2、为达到上述目的,本发明提供如下技术方案:
3、一种基于概率分布指导数据关联的3d多目标跟踪方法,该方法具体包括以下步骤:
4、s1:使用检测器获取每一时刻的目标物体信息,包括位置信息、尺寸信息、朝向信息以及检测置信度;
5、s2:对于检测目标,使用从检测器获取的信息构建检测目标高斯分布模型;对于轨迹目标,使用卡尔曼滤波器估计其在当前时刻的状态,并构建轨迹目标高斯分布模型;
6、s3:引入轨迹置信度的js散度以计算检测目标高斯分布模型与轨迹目标高斯分布模型之间的关联代价,使用贪婪匹配实现检测框和轨迹的匹配;
7、s4:将匹配失败的检测置信度大于阈值的检测目标初始化为新的轨迹,轨迹状态为不确定态;不确定态轨迹在接下来的第一预期帧数内匹配成功则转为确定态轨迹;确定态轨迹匹配失败则转为丢失态轨迹;丢失态轨迹在接下来的第二预期帧数内连续匹配失败则删除该轨迹。
8、进一步地,在步骤s1中,检测器获取的目标物体信息表示为:
9、dt=[dxt,dyt,dzt,dθt,dlt,dwt,dht,dst]t
10、其中,(x,y,z)为三维检测框中心点在激光雷达坐标系下的坐标,(l,w,h)为三维检测框的长、宽、高,θ为朝向角,s为物体检测的置信度,上标d代表该物体状态为检测状态,下标t代表在离散时间t下的物体表示。
11、进一步地,步骤s2具体包括以下步骤:
12、s21:使用统计量估计的方法估计检测器获取的目标物体信息的稳定性:将检测器获取的所有检测框与真实标签gt计算欧式距离,根据距离抽取若干检测框作为样本,估计样本的各分量的稳定性,样本各分量的稳定性表示为:
13、
14、
15、
16、
17、
18、
19、
20、
21、其中,表示物体x方向上的方差,表示物体y方向上的方差,表示物体z方向上的方差,表示物体宽度方向上的方差,表示物体高度方向上的方差,表示物体长度方向的方差,代表物体朝向上的方差。(dx,dy,dz,dw,dh,dl,dθ)代表检测器获取的物体信息分量,(gx,gy,gz,gw,gh,gl,gθ)表示真实标签中物体的信息分量。diag表示将上述方差值置于对角构建的协方差矩阵。
22、s22:针对不同的检测状态使用对应的目标物体信息dt和样本各分量的稳定性d∑t构建检测目标高斯分布模型;
23、s23:针对不同的轨迹状态,使用卡尔曼滤波器预测其在当前时刻的状态和各分量的稳定性t∑t,状态向量均值表示为:
24、
25、其中,(x,y,z)为三维检测框中心点在激光雷达坐标系下的坐标,(l,w,h)为三维检测框的长、宽、高,θ为朝向角,为物体在三个方向上的速度分量,上标t代表该物体状态为轨迹状态,下标t代表在离散时间t下的信息表示。
26、当前时刻的各分量的稳定性tσt为上述当前时刻的状态的10维向量构成的协方差矩阵,由卡尔曼滤波器预测得到。
27、从状态均值和协方差矩阵中抽取和检测状态一致的分量构建轨迹目标高斯分布模型。
28、进一步地,步骤s3具体包括以下步骤:
29、s31:使用轨迹置信度指导的js散度同时考虑检测状态和轨迹状态在均值和各分量稳定性的差异,得到关联代价矩阵;
30、s32:根据关联代价矩阵,使用贪婪匹配完成检测框和轨迹的匹配。
31、更进一步地,步骤s31具体包括:计算t时刻检测器得到的目标高斯分布与t-1时刻轨迹通过卡尔曼滤波预测得到的t时刻的轨迹目标高斯分布之间的代价矩阵c:
32、c=cmod·ml
33、cmod为检测目标和预测轨迹之间的js散度变体,计算公式为:
34、
35、此处cjs为原始js散度,计算方式为:
36、
37、
38、
39、其中,ckl(p||m)表示p分布与m分布之间的kl散度,ckl(q||m)代表q分布与m分支间的kl散度。
40、此处为检测目标和预测轨迹朝向角之间的差异性,计算方式为:
41、
42、其中,代表的是检测状态中的朝向角分量,代表的是轨迹状态中的朝向角分量。
43、m1为轨迹目标的协方差均值,计算公式为:
44、
45、更进一步地,步骤s32具体包括:依据当前时刻物体检测置信度,将当前检测结果按照置信度从高到低进行排序,然后逐个计算检测目标和所有轨迹目标的关联代价,取其关联代价最小值cmin,判断检测目标和轨迹目标是否对应;
46、若cmin小于关联阈值σ1,认为轨迹与检测结果匹配成功,则用相对应的检测结果更新轨迹;若cmin大于关联阈值σ1,则检测置信度大于新生阈值σ2的目标初始化为新的轨迹;若轨迹与所有的检测都无法匹配,则该轨迹状态转为丢失态,关联阈值σ1和新生阈值σ2根据不同的跟踪场景进行调整。
47、本发明的有益效果在于:
48、(1)基于tbd框架,提出了利用轨迹与检测的概率分布进行数据关联的mot框架,充分考虑了目标轨迹和传感器检测的不确定性对数据关联的影响。
49、(2)基于js散度,设计了一种新的成本函数用于衡量两个多维高斯分布的相似性,实现了在连续的轨迹预测条件下,自动扩大轨迹的关联范围。
50、(3)利用轨迹的发散程度来指导数据关联,解决了由于轨迹关联范围扩大而可能导致的错误匹配。
51、本发明的其他优点、目标和特征在某种程度上将在随后的说明书中进行阐述,并且在某种程度上,基于对下文的考察研究对本领域技术人员而言将是显而易见的,或者可以从本发明的实践中得到教导。本发明的目标和其他优点可以通过下面的说明书来实现和获得。
1.一种基于概率分布指导数据关联的3d多目标跟踪方法,其特征在于,所述方法具体包括以下步骤:
2.根据权利要求1所述的一种基于概率分布指导数据关联的3d多目标跟踪方法,其特征在于,在步骤s1中,检测器获取的目标物体信息表示为:
3.根据权利要求1所述的一种基于概率分布指导数据关联的3d多目标跟踪方法,其特征在于:步骤s2具体包括以下步骤:
4.根据权利要求3所述的一种基于概率分布指导数据关联的3d多目标跟踪方法,其特征在于,步骤s3具体包括以下步骤:
5.根据权利要求4所述的一种基于概率分布指导数据关联的3d多目标跟踪方法,其特征在于,步骤s31具体包括:计算t时刻检测器得到的目标高斯分布与t-1时刻轨迹通过卡尔曼滤波预测得到的t时刻的轨迹目标高斯分布之间的代价矩阵c:
6.根据权利要求5所述的一种基于概率分布指导数据关联的3d多目标跟踪方法,其特征在于,步骤s32具体包括:依据当前时刻物体检测置信度,将当前检测结果按照置信度从高到低进行排序,然后逐个计算检测目标和所有轨迹目标的关联代价,取其关联代价最小值cmin,判断检测目标和轨迹目标是否对应;