本发明涉及智慧农业与果蔬自动采摘，特别是一种基于deepsort的受扰动莲蓬目标连续跟踪方法。
背景技术：
1、莲蓬重心高且处于开放环境，易受气流扰动而发生大幅度晃动，空间位置不确定；同时，运动中的莲蓬极易被周围运动的荷叶遮挡，且容易与相邻莲蓬形成错位。因此，在自动采摘任务中，采用深度学习目标检测算法对受扰动莲蓬目标执行识别的难度相较于静态莲蓬大增，容易造成自动采摘失效，影响莲蓬总体收获率和自动采摘的经济性。
2、近年来，基于检测的多目标跟踪方法（mot）在行人识别、自动驾驶、交通管控、视频检测、果实计数等领域获得了广泛关注，其可对视频中多个目标的运动轨迹进行实时预测与跟踪，同时锁定各目标的id，并可消除短时漏检影响。多目标跟踪方法所具有的上述特点，使其可以有效用于受扰动莲蓬的识别、定位。
3、deepsort是当前多目标跟踪方法中的主流算法，其利用深度学习目标检测算法对目标进行检测，再使用deepsort跟踪器对目标进行连续跟踪。但是，该算法面对目标被频繁遮挡、运动幅度大的情况时（如对受扰动莲蓬目标的跟踪），很容易产生跟踪失败、id跳变的问题，从而对跟踪稳定性造成严重影响。而这直接与以下问题有关：①deepsort采用iou（交并比）匹配作为二次匹配方法，但该方法在面对目标在短时间内发生大幅度位移的情况时，目标预测框与目标检测框可能发生大范围错位而无法形成交集，易引起iou匹配失效，从而导致目标跟踪失败；②当新跟踪轨迹完成初始化后，其在后续帧中可能仍然无法形成连续匹配而被删除，进而id被丢弃并立即形成空缺。但对于后续出现的新轨迹，deepsort采用递增式轨迹id分配模式，即首先提取当前所有轨迹中最大的id，然后将其加1形成新的id，并将其分配给新轨迹。该方式难以利用被丢弃而形成空缺的id号，容易造成轨迹id跳变至高值。
技术实现思路
1、为解决上述问题，本发明提供一种基于deepsort的受扰动莲蓬目标连续跟踪方法。
2、为实现上述目的，本发明提供以下技术方案：一种基于deepsort的受扰动莲蓬目标连续跟踪方法，包括以下步骤：
3、步骤1，预设置初始参数，包括：id剩余时间tr；
4、预设置一跟踪轨迹id管理集合tim，用于记录各跟踪轨迹的id及相应的id剩余时间tr；
5、步骤2，获取视频序列的当前帧图像；
6、步骤3，使用目标检测模型对当前帧图像中的莲蓬目标进行检测，输出当前帧图像中的目标检测框信息，所述目标检测框信息包括目标检测框中心位置、宽度及高度参数；所述各目标检测框共同形成了目标检测框集合d；
7、步骤4，轨迹预测：
8、使用deepsort中的轨迹预测方法，根据当前帧中各跟踪轨迹的轨迹框信息预测各目标在下一帧图像中的位置，输出各目标预测框信息；所述各目标预测框共同形成了目标预测框集合p；
9、步骤5，轨迹匹配：
10、使用deepsort中的匹配方法，对目标预测框集合p中的各目标预测框和目标检测框集合d的各目标检测框进行级联匹配；随后，使用由iou匹配与欧氏距离匹配组合而成的复合匹配方法对仍未完成匹配的轨迹框和目标检测框进行二次匹配，并输出匹配结果，所述匹配结果包括未匹配的检测框、未匹配的轨迹框、匹配的轨迹框集合信息，并分别被存入未匹配的检测框集合unmatched_detections、未匹配的轨迹框集合unmatched_tracks、匹配的轨迹框集合matched_tracks中；
11、对于视频序列的第一帧中的所有的目标检测框，均直接被纳入未匹配的检测框集合unmatched detections中；
12、步骤6，判断未匹配的检测框集合unmatched_detections是否为空集，如果否，则执行步骤7；如果是，则执行步骤8；
13、步骤7，初始化与未匹配的检测框集合unmatched_detections中各莲蓬目标对应的新跟踪轨迹new_track；从1开始由小到大逐步遍历跟踪轨迹id管理集合tim，以获得跟踪轨迹id管理集合tim中第一个不存在的id号，将其作为新跟踪轨迹new_track的id；将所述新跟踪轨迹new_track的轨迹id及其对应id剩余时间tr加入到所述跟踪轨迹id管理集合tim中；
14、步骤8，对跟踪轨迹id管理集合tim中的所有跟踪轨迹进行遍历查询，判断轨迹是否处于deepsort中的被删除状态，如果是，则将对应轨迹的id剩余时间tr减1，即令tr =tr–1；如果否，则将对应轨迹的id剩余时间tr重置；
15、对于所述轨迹处于被删除状态的情况，将进一步判断id剩余时间tr是否为0，如果是，则将对应轨迹的id信息从跟踪轨迹id管理集合tim中删除；如果否，则不作任何处理；
16、通过设置id剩余时间tr并取适当的值，使得处于被删除状态轨迹的id信息仍然能保留一段时间，避免id号被其他新的轨迹立即占用；处于被删除状态轨迹的id信息保留一段时间后被删除并形成空缺，使得莲蓬目标未来再次被跟踪后存在id恢复的可能，并防止长时间序列跟踪时跟踪轨迹的id增长至一异常高值；
17、步骤9，使用deepsort的轨迹更新方法进行轨迹更新，输出莲蓬目标跟踪轨迹结果，结束当前帧跟踪过程；
18、步骤10，读取下一帧图像，并返回步骤3。
19、与现有技术相比，本发明的有益效果是：
20、（1）本发明将欧氏距离匹配融入deepsort算法中，与iou匹配共同组成复合匹配机制。该机制利用了欧式距离匹配具有的匹配范围大的特点，增强了跟踪过程目标预测框与目标检测框的匹配可能性，减少了未匹配的轨迹的出现，有效地避免了因目标在短时间内发生大幅度位移而导致iou匹配失效的问题，从而显著地减少了id跳变的发生。
21、（2）本发明提出了一种新的跟踪轨迹id分配策略，并设计了一跟踪轨迹id管理集合tim。该策略从1开始由小到大逐步遍历跟踪轨迹id管理集合tim，以获得跟踪轨迹id管理集合tim中第一个不存在的id号，将其作为新跟踪轨迹的id。该策略允许跟踪算法重复使用已删除的轨迹id，从而有效改善轨迹id异常增长和id不可恢复的问题。
22、（3）本发明建立了一种轨迹id信息管理机制，对跟踪过程中的轨迹id进行集中管理。通过判断跟踪轨迹id管理集合tim中的剩余时间决定轨迹id的保留或者删除，使得处于被删除状态轨迹的id信息仍然能继续保留一段时间，避免id被其他新的轨迹立即占用；处于被删除状态轨迹的id信息保留一段时间后被删除并形成空缺，使得莲蓬目标未来再次被跟踪后存在id恢复的可能，并防止长时间序列跟踪时跟踪轨迹的id增长至一异常高值。
23、上述措施可有效提高跟踪算法对受扰莲蓬跟踪的稳定性、减少轨迹id跳变。
1.一种基于deepsort的受扰动莲蓬目标连续跟踪方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的一种基于deepsort的受扰动莲蓬目标连续跟踪方法，其特征在于，所述步骤1中的id剩余时间tr的取值为30。
3.根据权利要求1所述的一种基于deepsort的受扰动莲蓬目标连续跟踪方法，其特征在于，所述步骤3中的目标检测模型为深度学习模型。
4.根据权利要求1所述的一种基于deepsort的受扰动莲蓬目标连续跟踪方法，其特征在于，所述步骤5中的欧氏距离匹配中的欧氏距离计算公式如式（1）所示：
