本发明涉及多目标跟踪，特别涉及一种基于分解式数据关联的在线多目标跟踪方法和系统。
背景技术：
1、多目标跟踪(multi-object tracking,mot)是计算机视觉领域中的一个关键任务，具有广泛的应用，包括视频监控、自动驾驶和人机交互。mot的目标是在视频序列中同时跟踪多个感兴趣的对象。尽管该领域取得了显著进展，但mot仍面临一些挑战，例如遮挡、外观变化以及对象之间的复杂交互。
2、近年来，大多数mot方法都采用了检测-跟踪范式。在这一范式中，数据关联是mot中的关键步骤，旨在将跟踪轨迹与检测结果进行关联。为了改进数据关联的准确性，许多方法引入了额外的线索来补充运动线索，包括表观特征、运动方向、置信度、深度和自然语言。这些额外的线索可以一定程度上解决由于运动线索的模糊性或运动估计偏差导致的问题。此外，一些方法将数据关联分为多个阶段，通过逐步匹配的方式赋予轨迹和检测结果优先级，从而减少关联时的混淆性。
3、然而，当前的mot方法在数据关联方面仍存在一些不足之处，主要表现在以下两方面。首先，许多最先进的方法仍将数据关联视为全局优化问题，将所有跟踪轨迹与检测结果之间的分配视为单一的优化任务。然而，这种整体关联方法可能会保留许多混淆情况，从而导致跟踪性能下降。其次，尽管许多方法考虑使用多种线索来补充运动信息的不足，但这些方法要么简单地对多个线索进行线性加权，要么使用启发式规则进行融合。这种做法一方面使得跟踪器对融合超参数非常敏感，另一方面可能引入新线索的不确定性，反而干扰运动线索的准确性。因此，需要本领域技术人员对多目标跟踪中的数据关联问题进行更细致的考虑。
技术实现思路
1、本发明提供一种基于分解式数据关联的在线多目标跟踪方法和系统，通过将整体关联问题细分为多个子问题，包括单条轨迹与多个检测框的关联、多条轨迹与单个检测框的关联以及多条轨迹与多个检测框之间的关联，充分地考虑子问题，避免错误的关联分配，在利用表观线索时，采用一种解耦的策略，仅在子问题中运动线索的区分能力不足时考虑使用表观线索进行补充，将新线索的使用限制在一定范围，从而最大程度避免了表观线索对运动线索的干扰。
2、为了实现上述目的，本发明提供以下技术方案：
3、本发明提供一种基于分解式数据关联的在线多目标跟踪方法，包括：
4、(1)利用目标检测器获取视频帧的检测结果，检测结果包括各个检测框的位置、宽高和置信度，其中视频帧包括第一帧和除第一帧的后续帧；
5、(2)利用检测结果对第一帧进行初始化轨迹；
6、(3)利用遮挡感知的非极大值抑制算法对将后续帧的检测结果分为可靠检测框和不可靠检测框；
7、(4)采用分解式数据关联方法将轨迹与可靠检测框进行匹配，以及将未关联的可靠检测框初始化为新轨迹；
8、(5)利用匈牙利匹配算法将未关联的轨迹与不可靠检测框进行关联；
9、(6)融合步骤(4)和步骤(5)的关联结果获得跟踪结果，并更新轨迹信息。
10、优选的，所述目标检测器采用yolox检测器，所述yolox检测器使用crowdhuman、mot17、mot20、citypereson和ethz等数据集训练，训练方法参照bytetrack。
11、进一步的，步骤(2)实现的过程为：初始化轨迹是指根据一个检测框新建一个轨迹，具体是：
12、通过检测框的位置初始化卡尔曼滤波器，然后卡尔曼滤波器会生成对下一帧的预测框，用于对后续帧的位置进行预测；
13、通过检测框对应图像的表观特征初始化轨迹的表观特征。
14、进一步的，步骤(3)的具体过程为：
15、将第t帧任一检测框dt的置信度表示为ct，其中t>1；则第t帧中的检测框与置信度高于它的检测框的最大交并比的表达式为：
16、
17、其中，dt表示第t帧所有检测框的集合；
18、iou(·)代表求两个检测框之间的交并比；
19、可靠检测框的表达式为：
20、
21、不可靠检测框的表达式为：
22、
23、其中，分别为可靠检测框、不可靠检测框的置信度阈值；分别为可靠检测框、不可靠检测框的非极大值抑制阈值；和均大于0且小于1。
24、优选的，设置为0.6，设置为0.4，设置为0.7，设置为0.95。
25、进一步的，步骤(4)的具体过程为：
26、(41)利用匈牙利匹配算法匹配关联可靠检测框和轨迹集合得到初步全局关联结果p；
27、(42)去除单条轨迹和多个检测框间的混淆；
28、(43)去除多条轨迹和单个检测框间的混淆；
29、(44)去除多条轨迹和多个检测框之间的混淆。
30、进一步的，步骤(42)中，去除单条轨迹和多个检测框间的混淆的具体方法为：
31、对于初步全局关联结果p中的第j个分配对找到和这个分配对可能发生混淆的不可靠检测框集合这个过程相当于为每个匹配上的轨迹找到了潜在更合适的不可靠检测框；
32、其表达式为：
33、
34、其中，κ1∈(0,1)是混淆系数，di是第j个分配对中可能发生混淆的不可靠检测框；
35、dj是第j个分配对中匹配的可靠检测框；
36、表示第j个分配对中匹配的正确轨迹；locsim(·)表示计算检测框和轨迹之间的位置相似度，用检测框和轨迹在该帧的预测框的交并比表示；
37、定义经去混淆的分配关系为pnew，表示为：
38、
39、d表示如果不可靠检测框集合存在混淆情况，就把不可靠检测框集合中和轨迹位置相似性最高的检测框分配给本质上是一个不可靠检测框；
40、对于同一个不可靠检测框可能被多条轨迹选中的冲突情况，只保留位置相似度更大的那个分配；
41、将经去混淆的分配关系pnew中匹配上的不可靠检测框挪入可靠检测框中，更新后的可靠检测框不可靠检测框分别为：
42、
43、
44、其中，表示轨迹；
45、在保证经去混淆的分配关系pnew中的分配关系成立的情况下，重新进行一次轨迹集合和更新后的可靠检测框的分配，得到经过检测框去混淆后新的分配关系pddm为：
46、
47、进一步的，步骤(43)中，去除多条轨迹和单个检测框间的混淆的具体方法为：
48、找到第t帧所有未被匹配上的轨迹其中t>1，表示为：
49、
50、其中，表示任一分配对中匹配的检测框和轨迹；
51、未被匹配上的轨迹中的轨迹因为运动线索的模糊性而被错误的拒绝，因此对于初步全局关联结果p中的第j个分配对找到和这个分配对可能发生混淆的轨迹集表示为：
52、
53、其中，κ2∈(0,1)是混淆系数；
54、使用表观模型获得更准确的分配，轨迹的表观嵌入表示为第j个分配对中的检测框dj的表观嵌入表示为对于每个混淆轨迹集选择和第j个分配对中的检测框dj表观距离最近的轨迹表示为：
55、
56、其中，cosdist(·)表示计算两个向量间的余弦距离；
57、当也是自身时，对于同一条轨迹被多个检测框选为的冲突情况，只保留余弦距离更小的那个分配，用替换掉原始分配对中的得到经过轨迹去混淆后新的分配关系ptdm，表示为：
58、
59、进一步的，步骤(44)中，去除多条轨迹和多个检测框之间的混淆的具体方法为：
60、对于初步全局关联结果p中的任意两个不同的分配，具体的分配对为和使用变异系数来定义它们之间在位置线索上的混淆性，具体表示为：
61、
62、其中，i,j代表初步全局关联结果p中任取的两个分配对的不同序号；
63、找到所有具有强混淆性的分配关系pblur，表达式为:
64、
65、其中，κ3∈(0,1)是混淆系数；
66、使用表观线索来去除pblur中的位置混淆，找到更合适的分配关系；如果pblur中的分配对在交叉之后的表观距离之和比交叉前更小，那么就认为交叉后的分配对更好，并放在匹配关系中，其表达式为：
67、
68、在交叉多个检测框和多条轨迹的复杂匹配时会出现冲突，用表观线索重新进行一次匈牙利匹配算法匹配以去除pnew中的冲突；综合pnew和原始的p即可得到经过关联去混淆后新的分配关系padm，padm即为最后得到的可靠检测框和轨迹间的关联结果。
69、进一步的，步骤(5)的具体过程为：
70、计算每一个不可靠检测框和每一条未被关联上轨迹的预测框之间的交并比，得到一个交并比矩阵；
71、然后使用匈牙利匹配算法对这个矩阵进行求解，即得到未关联的轨迹与不可靠检测框关联结果，分配的交并比之和越大越好；
72、进一步的，步骤(6)的具体过程为：融合步骤(4)得出的可靠检测框和轨迹间的关联结果padm和步骤(5)中的未关联的轨迹与不可靠检测框关联结果，由于步骤(4)和(5)的关联结果必然不相交的集合，则取两者的并集进行融合；
73、将步骤(4)中未被关联上的可靠检测框初始化为新的轨迹；利用关联上的检测框更新各条轨迹的运动信息和外观信息并删除超过n帧仍未被关联的轨迹，n是一个超参数，一般取30。
74、本发明还提供一种基于分解式数据关联的在线多目标跟踪模型，所述模型包括：
75、检测单元，用于利用yolox检测器按顺序获取视频帧，并输出检测结果，包括各个检测框的位置，宽高和置信度；
76、预处理模块，用于利用遮挡感知的非极大值抑制算法对将后续帧的检测结果分为可靠检测框和不可靠检测框；
77、第一匹配单元，包括：检测去混淆模块，用于去除单条轨迹和多个检测框间的混淆；轨迹去混淆模块，用于去除多条轨迹和单个检测框间的混淆；关联去混淆模块，用于去除多条轨迹和多个检测框之间的混淆；通过上述模块去除错误的混淆得到的可靠检测框和轨迹间的关联结果；
78、第二匹配单元，用于利用匈牙利匹配算法将未关联的轨迹与不可靠检测框进行关联；
79、更新单元，用于根据第一匹配单元和第二匹配单元获得跟踪结果，更新轨迹信息。
80、本发明具有以下有益效果：
81、(1)本发明通过一系列无需学习的模块(检测去混淆模块、轨迹去混淆模块和关联去混淆模块)将整体关联问题细分为多个子问题，包括单条轨迹与多个检测框的关联、多条轨迹与单个检测框的关联以及多条轨迹与多个检测框之间的关联，可以更充分地考虑子问题，尽量避免错误的关联分配，并针对每个子问题使用外观线索有针对性地处理易混淆的分配，显著减少了身份切换和分配错误等混淆情况，可以有效改善多目标跟踪的准确性和鲁棒性。
82、(2)本发明通过遮挡感知的非极大值抑制算法将检测结果分为可靠检测框和不可靠检测框，有效地利用了被严重遮挡不可靠检测框，提高了多目标跟踪的成功性；间接的让轨迹获得的位置信息增加，减少运动预测的不准确性带来的混淆问题。
1.一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，包括：
2.根据权利要求1所述的一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，步骤(2)实现的过程为：通过检测框的位置初始化卡尔曼滤波器，用于对后续帧的位置进行预测；
3.根据权利要求1所述的一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，步骤(3)的具体过程为：
4.根据权利要求3所述的一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，步骤(4)的具体过程为：
5.根据权利要求4所述的一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，步骤(42)中，去除单条轨迹和多个检测框间的混淆的具体方法为：
6.根据权利要求4所述的一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，步骤(43)中，去除多条轨迹和单个检测框间的混淆的具体方法为：
7.根据权利要求4所述的一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，步骤(44)中，去除多条轨迹和多个检测框之间的混淆的具体方法为：
8.根据权利要求1所述的一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，步骤(5)的具体过程为：
9.根据权利要求7所述的一种基于分解式数据关联的在线多目标跟踪方法，其特征在于，步骤(6)的具体过程为：融合步骤(4)得出的可靠检测框和轨迹间的关联结果padm和步骤(5)中的未关联的轨迹与不可靠检测框关联结果，将步骤(4)中未被关联上的可靠检测框初始化为新的轨迹；利用关联上的检测框更新各条轨迹的运动信息和外观信息并删除超过n帧仍未被关联的轨迹。
10.一种基于分解式数据关联的在线多目标跟踪模型，其特征在于，所述模型适用于权利要求1-9中任一所述的一种基于分解式数据关联的在线多目标跟踪方法，所述模型包括：
