一种基于监控视频的隧道车辆信息全面感知方法及系统，用于隧道监控视频的车辆信息全面感知，属于计算机视觉和机器学习。
背景技术：
1、隧道在交通运输中扮演着重要的角色。它们穿越山脉和贯穿水域，为公路和铁路交通提供了关键支持。隧道的出现节省了大量的时间和金钱，并加速了各地的经济联系和区域间的联系。随着国家经济发展的加速，对交通运输的需求也在日益增长。因此，计划构建新的陆海通路，这使得修建隧道的重要性更加凸显。未来的隧道施工将更加广泛和多元化，需要在城市化进程中实现高质量的地铁网络、城际高速公路等各种建设。同时，隧道的环保功能和减少对原生态生活的影响也变得越来越重要。
2、然而，隧道也是交通事故的多发区。由于隧道入口端和出口端的亮度差异大，驾驶人员容易受到白洞效应和黑洞效应的影响，从而增加了交通事故的发生概率。此外，隧道内的弱光环境和车辆行驶过程中排出的尾气会降低可见度，从而威胁行车安全。驾驶人员在隧道中驾驶时，反应速度会变慢，视觉特性和心理特性都会降低，这时在驾驶车辆时其可靠度也会受到影响，从而增加交通事故的概率。此外，隧道管理水平与隧道交通安全有着直接的关系，如果管理人员缺失，就无法对隧道内交通事故进行防范。此时便体现出了监控视频的重要性。
3、监控视频是进行数据感知的重要技术手段，具有实时、经济、可靠、便捷等优点，成为隧道管理信息化建设不可或缺的一部分。利用监控视频进行隧道场景孪生建模对于隧道信息化建设具有重要意义。基于隧道监控视频对车辆信息进行全面感知，提高信息感知精度并可以为隧道场景中车辆的孪生建模提供更高精度的数据。然而，隧道的弱光环境对基于监控视频的隧道车辆信息全面感知提出了巨大挑战。
4、综上所述，现有技术存在如下技术问题：
5、1.大多数车辆感知方法感知的信息不全面，只能进行类别和检测框长宽的检测，没有更为详细的信息，从而造成车辆感知信息有限，不利于为隧道场景孪生建模提供车辆更高精度、更多类型的数据支持。
6、2.隧道监控视频中，由于隧道的弱光环境，车辆与背景环境的对比度较低，而且车辆的大小、形状、颜色等特征在视频中存在发生变化的情况，从而造成车辆检测精度差的问题；
技术实现思路
1、针对上述研究的问题，本发明的目的在于提供一种基于监控视频的隧道车辆信息全面感知方法及系统，解决现有车辆感知技术感知信息不全面，只能进行类别和检测框长宽的检测，没有更为详细的信息，从而造成车辆感知信息有限，不利于为隧道场景孪生建模提供车辆更高精度、更多类型的数据支持的问题。
2、为了达到上述目的，本发明采用如下技术方案：
3、一种基于监控视频的隧道车辆信息全面感知方法，包括如下步骤：
4、步骤1：基于获取的历史隧道监控视频构建目标车辆数据集，同时获取实时隧道监控视频；
5、步骤2：通过目标车辆数据集训练yolov8网络模型，并基于训练好的yolov8网络模型对实时隧道监控视频进行所有目标车辆检测，得到各目标车辆的检测结果，并基于检测结果得到各目标车辆的中心坐标；
6、步骤3：基于实时隧道监控视频和各目标车辆的检测结果进行直方图均衡化和对比度增强处理，得到增强后的视频帧图像；
7、步骤4：基于各目标车辆的检测结果和中心坐标进行车辆颜色特征提取；
8、步骤5：基于各目标车辆的检测结果和边缘检测算法对各目标车辆进行形状特征提取和尺寸计算；
9、步骤6：基于增强后的视频帧图像构建车道线约束的车辆位置标定方法获取各目标车辆在车道线中的坐标数据，并基于坐标数据标定各目标车辆在实时隧道监控视频中车道线中的位置和姿态信息；
10、步骤7：基于增强后的视频帧图像构建立体匹配驱动的目标车辆速度计算方法，计算各目标车辆的速度；
11、步骤8：基于步骤4到步骤7得到的结果，最终得到所有目标车辆的全面感知信息。
12、进一步，所述步骤1的具体步骤为：
13、步骤1.1：采用背景减除法对获取的隧道监控视频进行视频帧抽取，得到视频帧图像数据集；
14、步骤1.2：使用高斯滤波对视频帧图像数据集中的视频帧图像进行去噪处理，再使用直方图均衡化对视频帧图像进行图像增强处理；
15、步骤1.3：将增强处理后的视频帧图像导入到labelimg中，使用labelimg对每一帧图像进行标注，标记出各目标车辆的相关信息，并将标注结果将保存为xml格式的文件，同时将标注结果与对应的视频帧图像保存在数据库中，构建目标车辆数据集，其中，各目标车辆的相关信息包括目标车辆的位置和类别。
16、进一步，所述步骤2的具体步骤为：
17、步骤2.1：采用目标车辆数据集对yolov8网络模型进行训练，训练好后对实时隧道监控视频进行所有目标车辆检测，得到各目标车辆的检测结果，包括左上角坐标(u1,v1)、右下角坐标(u2,v2)以及目标车辆检测框a的长度和宽度(w,h)；
18、步骤2.2：基于各目标车辆的检测结果，计算各目标车辆的中心坐标coordinate，公式为：
19、coordinate＝((u1+u2)/2,(v1+v2)/2) (1)。
20、进一步，所述步骤3采用光流法提取实时隧道监控视频中的视频帧图像，并基于各视频帧图像中的所有目标车辆的目标车辆检测框a标记视频帧图像，标记后进行直方图均衡化和对比度增强处理，得到增强后的视频帧图像。
21、进一步，所述步骤4的具体步骤为：
22、步骤4.1：以各目标车辆的中心坐标为基准，对对应的目标车辆检测框a进行等比例缩放或非等比例缩放；
23、为等比例缩放时，将各目标车辆的目标车辆检测框a尺寸调整为原来的一半，得到一个新的目标车辆检测框b，新的目标车辆检测框b的尺寸公式为：
24、size_b＝(w/2,h/2) (2)
25、为非等比例缩放时，根据长度和宽度的缩放需求，计算各目标车辆的长度和宽度方向上的缩放因子，并将缩放因子分别应用到对应的目标车辆检测框a的长度和宽度上，再根据中心坐标和缩放后的尺寸，重新计算目标车辆检测框a的左上角和右下角的位置，以及以中心坐标为基准，将目标车辆检测框a按照相应的缩放因子进行缩放，得到新的目标车辆检测框b；
26、步骤4.2：基于新的目标车辆检测框b提取车辆颜色特征，具体步骤为：
27、步骤4.21：将新的目标车辆检测框b中的图像从rgb颜色空间转换为hsv颜色空间；
28、步骤4.22：对转换后的图像进行直方图均衡化处理，再将得到的hsv值进行量化，即分别对h、s、v值进行量化，将h、s、v三个通道的量化区间数分别设为m、n和z，每个区间的宽度分别设为w、s和v；
29、对h进行量化，将h落在第i个区间内的像素归入h通道对应的量化区间，第i个区间的左边界和右边界的公式为：
30、left_i＝(i-0.5)×w (3)
31、right_i＝(i+0.5)×w (4)
32、对s进行量化，将s落在第j个区间内的像素归入s通道对应的量化区间，第j个区间的左边界和右边界的公式为：
33、left_j＝(j-0.5)×s (5)
34、right_j＝j×s (6)
35、对v进行量化，将v落在第k个区间内的像素归入v通道对应的量化区间，第k个区间的左边界和右边界的公式为：
36、left_k＝(k-0.5)×v (7)
37、right_k＝k×v (8)
38、步骤4.23：基于量化结果统计每个量化区间内的像素数量，得到一个三维直方图，即将每个像素的hsv值所在的量化区间编号用一个三维向量(h,s,v)来表示，创建一个大小为m×n×z的三维数组，并将每个像素的量化区间编号作为索引，将该像素的计数加到根据像素的量化值(h,s,v)在三维数组中找到相应位置的计数器中，来统计每个量化区间内的像素数量，通过遍历所有像素并更新相应位置的计数器，得到每个量化区间内的像素数量，最终得到一个三维直方图；
39、步骤4.24：基于三维直方图的平均高度设定阈值，提取三维直方图中高度超过平均高度的柱形作的颜色并作为主要颜色，计算主要颜色在新的目标车辆检测框b区域中的颜色比例，最终选取新的目标车辆检测框b中颜色比例最高的像素颜色作为车辆的颜色，计算主要颜色在新的目标车辆检测框b区域中的颜色比例的公式为：
40、colorratio(i,j,k)＝(c(i,j,k)/t)×100％ (9)
41、其中，c(i,j,k)表示组合量化区间(i,j,k)内的像素数量，t表示各新的目标车辆检测框b内的总像素数量。
42、进一步，所述步骤5的具体步骤为：
43、步骤5.1：基于边缘检测算法提取目标车辆的形状特征，具体步骤为：
44、步骤5.11:基于各目标车辆的检测框，裁剪出目标车辆的图像区域转换为灰度图像，并对灰度图像进行高斯滤波处理；
45、步骤5.12：使用边缘检测算法，识别高斯滤波处理得到的图像中的各目标车辆的边缘信息；
46、步骤5.13：对各目标车辆的边缘信息进行霍夫变换处理，再提取出各目标车辆的轮廓和线条信息，即将边缘信息中的直线、圆或简单几何形状转换为参数空间中的点提取出目标车辆的轮廓和线条信息，其中，轮廓信息指的是目标车辆外边缘的闭合线条，线条信息包括车身的侧面线条、车顶的轮廓线和车窗的边框线；
47、步骤5.14：跟踪各目标车辆的轮廓和线条信息绘制出来的车辆的形状，即提取得到目标车辆的形状特征；
48、步骤5.2：基于各目标车辆的形状特征计算车辆尺寸，具体步骤为：
49、步骤5.21：基于各目标车辆的形状特征来确定各目标车辆的长度l和宽度h；
50、对于各目标车辆的长度l，提取出车头(i1,j1)和车尾(i2,j2)两个端点的坐标，通过计算轮廓上车头和车尾两个最长端点之间的距离来获取目标车辆的长度，计算公式为：
51、
52、对于各目标车辆的宽度h，选取目标车辆两侧两个最宽点的坐标(i3,j3)和(i4,j4)，通过计算轮廓上两个最宽点之间的距离来获取目标车辆的宽度，计算公式为：
53、
54、步骤5.22：基于各目标车辆的长度l和宽度h计算各目标车辆的尺寸，计算公式为：
55、size＝(l,h) (12)。
56、进一步，所述步骤6的具体步骤为：
57、步骤6.1：采用边缘检测算法和霍夫变换将增强后的视频帧图像中的车道线提取出来，并在每条车道的中心线上每隔x米设置一个固定点；
58、步骤6.2：确定各目标车辆所行驶的车道线，接着选取该车道线上离车辆最近的两个固定点，然后使用欧几里得距离公式来计算各目标车辆的中心坐标与两个固定点的距离，比较距离的大小，选取距离小的固定点作为目标车辆在隧道中的位置信息，计算各目标车辆的中心坐标到两固定点的距离的公式为：
59、
60、
61、其中，a、b分别表示与各目标车辆相邻的两个固定点，(xa,ya)表示固定点a的坐标，(xb,yb)表示固定点b的坐标；
62、步骤6.3：利用车道线和位置信息来提取各目标车辆的姿态信息，即通过比较各目标车辆中心坐标与车道线之间的距离来确定各目标车辆是否偏离了车道线，若各目标车辆的中心坐标与车道线的的垂直距离超出阈值，则认为此目标车辆存在倾斜或俯仰姿态，否则，则未偏离车道线。
63、进一步，所述步骤7的具体步骤为：
64、步骤7.1：采用张氏标定法对获取实时隧道监控视频的摄像机进行标定，以获取摄像机的内外参数，包括焦距、主点坐标、旋转和平移矩阵；
65、步骤7.2：获取连续两帧增强后的视频帧图像，并将各目标车辆的中心坐标作为立体匹配技术所使用的特征点，最终得到两帧视频帧图像中第一帧图像中的目标车辆的中心坐标为(xi,yi)和第二帧图像中的目标车辆的中心坐标为(xr,yr)；
66、步骤7.3：采用立体匹配计算对特征点进行立体匹配，即在进行立体匹配时，根据特征点的二维坐标，计算视差p，同时基于像素灰度值的绝对差异来计算匹配代价，公式为：
67、p＝xi-xr (15)
68、c(x,y,p)＝|il(x,y)-ir(x-p,y)| (16)
69、其中，c(c,y,p)表示在第一帧图像中坐标为(x,y)的像素与第二帧图像中坐标为(x-p,y)的像素之间的匹配代价，il(x,y)和ir(c-p,y)分别表示第一帧和第二帧图像中对应像素的灰度值；
70、步骤7.4：利用摄像机的内外参数和视差，通过三角测量原理进行三维重组计算出各目标车辆的三维坐标，三维坐标(x,y,z)的计算公式如下：
71、
72、
73、
74、式中，f是摄像机的焦距，(cx,cy)是摄像机的主点坐标，t是两个摄像机之间的基线距离，(xl,yl)是第一帧图像中各目标车辆的像素坐标；
75、步骤7.5：在连续两帧增强的视频帧图像中，对同一目标车辆进行三维重建，得到目标车辆在两个时刻的三维坐标(x1,y1,z1)和(x2,y2,z2)，根据这两个三维坐标和时间间隔t，计算出各目标车辆的行驶速度vv，计算公式为：
76、
77、一种基于监控视频的隧道车辆信息全面感知系统，包括
78、数据集构建及视频获取模块：基于获取的历史隧道监控视频构建目标车辆数据集，同时获取实时隧道监控视频；
79、检测结果及中心坐标获取模块：通过目标车辆数据集训练yolov8网络模型，并基于训练好的yolov8网络模型对实时隧道监控视频进行所有目标车辆检测，得到各目标车辆的检测结果，并基于检测结果得到各目标车辆的中心坐标；
80、视频帧图像增强模块：基于实时隧道监控视频和各目标车辆的检测结果进行直方图均衡化和对比度增强处理，得到增强后的视频帧图像；
81、全面感知信息获取模块：基于各目标车辆的检测结果和中心坐标进行车辆颜色特征提取；
82、基于各目标车辆的检测结果和边缘检测算法对各目标车辆进行形状特征提取和尺寸计算；
83、基于增强后的视频帧图像构建车道线约束的车辆位置标定方法获取各目标车辆在车道线中的坐标数据，并基于坐标数据标定各目标车辆在实时隧道监控视频中车道线中的位置和姿态信息；
84、基于增强后的视频帧图像构建立体匹配驱动的目标车辆速度计算方法，计算各目标车辆的速度；
85、基于获取的各目标车辆的信息结果，最终得到所有目标车辆的全面感知信息。
86、本发明同现有技术相比，其有益效果表现在：
87、一、本发明基于隧道监控视频构建目标车辆数据集是采用自动化技术从隧道监控视频中提取并标注目标车辆数据集，与其他方法相比，这一方法在构建数据集时，能够自动抽取视频帧图像、进行图像处理和标注，大大提高了工作效率和准确性；
88、同时，采用高斯滤波和直方图均衡化技术，能够有效地去除图像噪声、提高图像对比度和亮度，改善图像质量，使其更适用于弱光环境下的目标检测任务，从而提高检测识别的准确性和鲁棒性，可以为后续的车辆检测和识别提供更好的基础数据；并且，利用labe limg工具进行图像标注，能够准确地标记出目标车辆的位置和类别等信息，为后续应用提供准确的数据支持，将标注信息与对应的图像帧保存在数据库中，标注结果具有统一的规范，能够方便地管理和使用数据，同时方便后续的数据分析和挖掘；此方法能够适应不同的隧道监控视频和目标车辆，具有较强的通用性和适应性；此外，针对后续实时隧道监控视频数据的检测，采用光流法来提取视频帧，通过分析连续帧之间的运动矢量，可以检测出运动的目标和遮挡物体的移动，以更好的处理数据遮挡问题，此方法解决了现有技术中的图像质量差、标注效率低、数据管理不便以及通用性差等问题，提高了隧道监控视频处理的效率和准确性，为相关应用提供了更好的数据支持和解决方案；
89、二、本发明基于比例(如等比例或非等比例)的车辆颜色特征提取方法，与其他方法相比，这种方法以车辆中心坐标为基准，通过等比例缩小检测框，显著降低了数据处理的时间复杂度，特别是在处理大规模图像数据时，提高了处理速度并节省了计算资源；在提取颜色特征方面，此方法从rgb颜色空间转换到hsv颜色空间，以更好地表示颜色的色相和饱和度信息，从而更准确地提取车辆的颜色，在对hsv值进行量化处理前先进行直方图均衡化处理，可以进一步增强图像的颜色信息，提高颜色匹配的准确性，可以减少隧道中弱光环境的影响，使其更适用于弱光环境下的颜色提取任务，从而更准确地提取车辆的颜色特征；此外，通过构建三维直方图，此方法更准确地描述了车辆的颜色分布；为了准确确定车辆的主要颜色，此方法采用基于直方图平均高度的阈值设定方法；这种方法有效避免了传统颜色判断方法可能出现的偏差，提高了颜色识别的准确性，通过一系列创新的技术手段，此方法有效解决了现有技术在车辆颜色特征提取、颜色分布描述以及主要颜色确定方面的不准确性问题，从而提高了车辆颜色识别的准确性和效率；
90、三、本发明基于边缘检测算法提取车辆的形状特征并计算尺寸，相比其他方法，这一方法在提取车辆形状时，将基于各目标车辆的检测框，裁剪出的目标车辆的图像区域转换为灰度图像，并对灰度图像进行高斯滤波处理，以降低图像中的噪声，可以减少隧道中弱光环境的影响，使其更适用于弱光环境下的车辆形状特征提取任务；通过基于边缘检测算法和霍夫变换的处理，能够更准确地识别和提取车辆的轮廓线条，从而提高车辆形状特征提取和尺寸计算的准确性；在计算车辆尺寸时，根据车辆的轮廓形状提取车头和车尾、两侧最宽点的坐标，通过计算车头和车尾两个最长端点之间的距离以及两侧最宽点之间的距离，可以得到车辆的长度和宽度，从而精确计算出车辆的尺寸。此方法还具有较高的自动化程度，无需人工干预，提高了处理效率和准确性；这些创新技术手段的应用，为相关应用提供了更准确、更可靠的车辆形状特征提取和尺寸计算数据支持。此方法有效的解决了现有技术在车辆形状特征提取和尺寸计算方面的不准确性问题；
91、四、本发明在于基于车道线约束标定车辆位置，与其他方法相比，这一方法在标定车辆位置时，在固定点设置和车道线提取之前，对增强后的视频帧图像进行处理，以提高图像的对比度和亮度，可以减少隧道中弱光环境的影响，使其更适用于弱光环境下的车辆位置标定任务，从而改善目标检测和车道线提取的准确性；通过设置固定点，结合目标车辆检测结果和车道线信息约束来标定车辆在隧道中的位置，提高了位置标定的准确性；标定车辆位置时，通过采用边缘检测算法和霍夫变换提取车道线，并在车道线中心等间距设置固定点，来构建车道线约束方法，能够提高数据的准确性；同时，此方法结合了车辆检测结果和车道线信息，通过计算车辆中心坐标与车道线上固定点的距离，选取距离小的固定点来标定车辆在隧道中的位置，可以更准确地标定车辆在隧道中的位置；此外，由于车道线是道路的固定特征，其几何形状和位置信息相对稳定；通过利用车道线的约束信息，可以更准确地确定车辆的位置和姿态，从而减少误差和不确定性；此方法有效的解决了现有技术中车辆位置标定不准确的问题，传统的车辆位置标定方法可能仅依赖于车辆检测结果，而没有充分利用车道线信息，导致位置标定存在一定的误差；
92、五、本发明构建立体匹配驱动的目标车辆速度计算方法，与其他方法相比，这一方法通过结合张氏标定法获取的摄像机内外参数和立体匹配技术，实现了对车辆位置的高精度三维重建，进而保证了速度计算的准确性；同时，该方法利用三角测量原理对车辆进行三维重建，可以获得高精度的三维坐标信息，进而得到准确的车辆速度；这种方法避免了传统速度测量方法中存在的误差和局限性；此外，在立体匹配时，对增强后的视频帧图像进行处理，以提高图像的对比度和亮度，可以减少隧道中弱光环境的影响，使其更适用于弱光环境下的车辆速度计算的任务，从而改善立体匹配的准确性。此方法解决了传统测量方法的局限性，仅利用普通摄像机即可实现车辆速度测量，大大降低了成本和应用难度；同时，结合了多种技术手段，提高了数据的稳定性和准确性，有效应对了单一数据源的不稳定性；在复杂环境下的测量中，此方法通过立体匹配技术和三角测量原理，克服了光照变化和噪声干扰等问题；
93、六、本发明车辆感知信息全面，利于为隧道场景孪生建模提供车辆更高精度、更多类型的数据支持。
1.一种基于监控视频的隧道车辆信息全面感知方法，其特征在于，包括如下步骤：
2.根据权利要求1所述的一种基于监控视频的隧道车辆信息全面感知方法，其特征在于，所述步骤1的具体步骤为：
3.根据权利要求2所述的一种基于监控视频的隧道车辆信息全面感知方法，其特征在于，所述步骤2的具体步骤为：
4.根据权利要求3所述的一种基于监控视频的隧道车辆信息全面感知方法，其特征在于，所述步骤3采用光流法提取实时隧道监控视频中的视频帧图像，并基于各视频帧图像中的所有目标车辆的目标车辆检测框a标记视频帧图像，标记后进行直方图均衡化和对比度增强处理，得到增强后的视频帧图像。
5.根据权利要求4所述的一种基于监控视频的隧道车辆信息全面感知方法，其特征在于，所述步骤4的具体步骤为：
6.根据权利要求5所述的一种基于监控视频的隧道车辆信息全面感知方法，其特征在于，所述步骤5的具体步骤为：
7.根据权利要求6所述的一种基于监控视频的隧道车辆信息全面感知方法，其特征在于，所述步骤6的具体步骤为：
8.根据权利要求7所述的一种基于监控视频的隧道车辆信息全面感知方法，其特征在于，所述步骤7的具体步骤为：
9.一种基于监控视频的隧道车辆信息全面感知系统，其特征在于，包括
