本发明涉及目标跟踪领域,尤其是实时车辆检测追踪技术。
背景技术:
1、路侧图像的目标检测和跟踪通常是使用目标检测技术对图像进行检测,得到当前帧图像中的目标框,同时根据历史跟踪结果预测目标在当前帧的位置,并将预测结果与当前帧检测到的目标框进行匹配关联:若匹配成功,则可以保持目标在当前帧的连续性;若历史目标未匹配到当前帧检测到的目标框,则表示目标跟丢或目标离开相机视野;若有当前帧检测到的目标框未匹配到预测结果,则可以生成新的跟踪目标。
2、当前的检测方式依赖高清图像检测,在车速较快时,需要高帧率捕获经过的车辆信息,且捕获数据的同时进行检测,需要达到实时性要求,对系统的调度的具有高要求。
技术实现思路
1、为了解决上述技术缺陷,本申请实施例提供了一种实时车辆检测追踪方法及装置。
2、本申请第一方面实施例提供一种实时车辆检测追踪方法,包括步骤:
3、获取道路行驶区域中连续的n帧图像,交替将所述n帧图像分别存储至第一数据缓存区域或第二数据缓存区域;
4、利用预处理线程交替对所述第一数据缓存区域和所述第二数据缓存区域中存储的n帧图像,按照图像存入时间从前至后的顺序进行预处理,并将预处理后的n帧图像分别存储至对应的第一数据缓存区域或第二数据缓存区域;
5、利用目标检测线程交替对所述第一数据缓存区域和所述第二数据缓存区域中存储的预处理后的n帧图像,按照图像存入时间从前至后的顺序进行基于卷积神经网络的车辆目标检测;并将检测完成的n帧图像分别存储至对应的第一数据缓存区域或第二数据缓存区域;
6、利用跟踪线程对检测完成的n帧图像进行跟踪,n>2。
7、在其中一种可能的实现方式中,所述的方法,还包括:
8、将预处理后的图像的第一标志位标记为第一数值,所述第一标志位为预处理标志位,所述第一数值表示预处理完成;
9、按照图像存入时间从前至后的顺序进行基于卷积神经网络的车辆目标检测包括:
10、检测所述第一数据缓存区域和所述第二数据缓存区域中存储的图像的第一标志位,对所述第一标志位为第一数值的图像按照图像存入时间从前至后的顺序进行基于卷积神经网络的车辆目标检测;
11、将检测完成的图像的第二标志位标记为第二数值,所述第二标志位为检测标志位,所述第二数值表示检测完成;
12、利用跟踪线程对检测完成的n帧图像进行跟踪包括:
13、检测所述第一数据缓存区域和所述第二数据缓存区域中存储的图像的第二标志位,对所述第二标志位为第二数值的图像利用跟踪线程进行跟踪。
14、在其中一种可能的实现方式中,交替将所述n帧图像分别存储至第一数据缓存区域或第二数据缓存区域包括:
15、当所述图像的帧号为奇数时,将该帧图像存储至第一数据缓存区域;
16、当所述图像的帧号为偶数时,将该帧图像存储至第二数据缓存区域;或者,
17、交替将连续k帧图像分别存储至第一数据缓存区域或第二数据缓存区域,2≤k<n。
18、在其中一种可能的实现方式中,所述的方法,还包括:
19、检测第一数据缓存区域或第二数据缓存区域是否为空,
20、当第一数据缓存区域或第二数据缓存区域为空时,将所述预处理线程挂起;
21、当第一数据缓存区域和第二数据缓存区域不为空时,启动所述预处理线程;
22、检测第一数据缓存区域或第二数据缓存区域是否存在预处理后的图像,
23、当第一数据缓存区域或第二数据缓存区域不存在预处理后的图像时,将所述目标检测线程挂起;
24、当第一数据缓存区域或第二数据缓存区域存在预处理后的图像时,启动所述目标检测线程。
25、在其中一种可能的实现方式中,按照图像存入时间从前至后的顺序进行基于卷积神经网络的车辆目标检测包括:
26、使用卷积神经网络yolov7对每帧图像的车辆目标进行检测,提取检测到的车辆目标框,当检测到多个车辆目标框时,如果多个车辆目标框之间存在遮挡,舍弃被遮挡的一个或者多个车辆目标框;
27、对于没有遮挡的车辆目标框,将各个车辆目标框映射到预处理后的图像中,在预处理后的图像中进行车牌检测和识别,提取车牌信息。
28、在其中一种可能的实现方式中,利用跟踪线程对检测完成的n帧图像进行跟踪包括:
29、将提取的车牌信息与车辆目标进行绑定,使用byte-track跟踪算法对检测到的车辆目标框进行跟踪。
30、在其中一种可能的实现方式中,按照图像存入时间从前至后的顺序进行预处理包括:
31、使用图形处理器并行处理方式对每帧图像进行裁剪,并归一化处理。
32、本申请第二方面实施例还提供了一种实时车辆检测追踪装置,包括:
33、存储模块,用于获取道路行驶区域中连续的n帧图像,交替将所述n帧图像分别存储至第一数据缓存区域或第二数据缓存区域;
34、预处理模块,用于利用预处理线程交替对所述第一数据缓存区域和所述第二数据缓存区域中存储的n帧图像,按照图像存入时间从前至后的顺序进行预处理,并将预处理后的n帧图像分别存储至对应的第一数据缓存区域或第二数据缓存区域;
35、检测模块,用于利用目标检测线程交替对所述第一数据缓存区域和所述第二数据缓存区域中存储的预处理后的n帧图像,按照图像存入时间从前至后的顺序进行基于卷积神经网络的车辆目标检测;并将检测完成的n帧图像分别存储至对应的第一数据缓存区域或第二数据缓存区域;
36、跟踪模块,用于利用跟踪线程对检测完成的n帧图像进行跟踪,n>2。本申请第三方面实施例还提供了一种电子设备,包括:至少一个处理器和存储有计算机程序的存储器;当计算机程序被处理器读取并执行时,使得电子设备执行如上的实时车辆检测追踪方法。
37、本申请第四方面实施例还提供了一种存储有计算机程序的可读存储介质,当计算机程序被电子设备读取并执行时,使得电子设备执行如上的实时车辆检测追踪方法。
38、本申请实施例中提供的实时车辆检测追踪方法及装置,开辟两个数据缓存区域,利用不同线程(数据预处理和数据检测)交替从两个数据缓存区域提取数据并处理数据,通过线程之间的调度最大可能减少数据等待时间,加快处理速度,达到实时检测效果。
39、此外,本申请实施例在预处理完成或者检测完成后,将当前处理的数据标记,避免重复处理数据,极大减少了等待时间,保证系统运行的实时性。
1.一种实时车辆检测追踪方法,其特征在于,包括步骤:
2.如权利要求1所述的方法,其特征在于,还包括:
3.如权利要求1所述的方法,其特征在于,交替将所述n帧图像分别存储至第一数据缓存区域或第二数据缓存区域包括:
4.如权利要求1或2所述的方法,其特征在于,还包括:
5.如权利要求1所述的方法,其特征在于,按照图像存入时间从前至后的顺序进行基于卷积神经网络的车辆目标检测包括:
6.如权利要求5所述的方法,其特征在于,利用跟踪线程对检测完成的n帧图像进行跟踪包括:
7.如权利要求1所述的方法,其特征在于,按照图像存入时间从前至后的顺序进行预处理包括:
8.一种实时车辆检测追踪装置,其特征在于,包括:
9.一种电子设备,其特征在于,包括:
10.计算机可读存储介质,其特征在于,其上存储有计算机程序;所述计算机程序被处理器执行以实现如权利要求1至7中任一项所述的方法。