本发明属于车辆目标提取技术领域，特别涉及一种融合亮度-时序特征的卫星视频动态车辆目标提取方法。
背景技术：
目前交通运行状态分析的主要数据源主要来自地面固定的相机、传感器或者车载的gps接收机，这类设备可覆盖的空间范围有限，并且大批地面监控设备的购买和维护给市政管理部门带来极大的不便。基于视频卫星数据的动态车辆目标检测技术作为遥感应用领域一个较新的研究方向，能够弥补传统的地面车辆目标检测方法带来的种种限制。然而，基于遥感视频的车辆目标检测也存在如下问题：
(1)点传播效应明显
传感器在高空获取视频数据的过程中，地表车辆目标相对较小、模糊，这也就导致“点传播效应”明显。例如，当地表两个真实的车辆目标较为接近时，两个目标与视频数据中对应像元位置较为接近且亮度特征差异较小，在目标识别的过程中极易导致目标的融合。
(2)目标-背景对比度低
获取的视频卫星数据，视频帧中移动目标与背景的对比度极低，并且地表部分地物的影像特征与目标影像特征较为相似，如果只根据目标的亮度特征进行车辆目标提取，会导致误检率的大幅度上升，降低检测结果的精确性。
(3)视频明暗变换明显
遥感平台在获取视频卫星数据的过程中处于高速的运动状态，并且，获取的视频数据时长具有90s-120s，这导致视频卫星数据在获取过程中视频帧出现明显明暗变化的问题，相邻视频帧整体亮度信息的变化给动态车辆目标的提取的参数设定造成极大困难。
(4)目标提取精度低
传统的动态目标提取方法有背景减法、帧间差分算法等等，然而这些方法的提取结果中存在较多的漏检和误检，提取精度极低。
技术实现要素：
针对运动车辆目标提取过程中存在的上述难题，本发明提供了一种融合亮度-时序特征的卫星视频动态车辆目标提取方法，解决了传统方法“目标-背景对比度低”、点传播效应明显的问题和视频明暗变化明显的问题，并大幅度提升了检测结果的精度。
为了达到上述发明目的，本发明采用的技术方案为：
一种融合亮度-时序特征的卫星视频动态车辆目标提取方法，包括以下步骤：
s1、获取高分辨率卫星视频数据；
s2、对步骤s1获取的视频数据的视频帧中包含车辆目标的亮度梯度特征进行提取和简化；
s3、对步骤s2提取和简化后的特征进行亮度梯度变化率检测；
s4、采用多帧多尺度的vibe算法对车辆目标的多级运动区域进行检测；
s5、根据步骤s3的亮度梯度变化率检测结果和步骤s4的多级运动区域检测结果提取动态车辆目标。
本发明的有益效果为：本发明基于视觉注意力机制通过亮度梯度特征要素提取解决了目标-背景对比度低的问题；本发明基于动态小目标增强理念结合视频帧亮度变化率检测解决点传播效应明显的问题；本发明基于单帧初始化背景建模构建运动热图理念一定程度上解决了视频明暗变化明显的问题，并大幅度提升了检测结果的精度。
进一步地，所述步骤s2包括以下分步骤：
s21、提取亮度梯度线：
将遥感视频卫星数据像元的亮度信息类比为地形的高程信息，建立数字亮度模型，并通过设定梯度值提取数字亮度模型的亮度梯度曲线；
s22、简化亮度梯度线：
根据步骤s21提取的数字亮度模型的亮度梯度曲线制作样本标签，统计样本中亮度梯度曲线的亮度梯度阈值和距离阈值，并应用到视频帧中，完成对视频帧亮度梯度曲线的简化。
该进一步方案的有益效果为：通过简化亮度梯度线，将基于视频帧挖掘到的海量亮度梯度特征要素中最符合车辆目标特征的要素筛选出来；同时，简化操作略去那些非目标的亮度梯度线特征，减少在目标提取过程中误检情况的发生。
进一步地，所述步骤s2还包括：
将简化后的亮度梯度曲线要素数据先转换为过渡的不规则三角网，再由该不规则三角网转换为栅格数据。
最该进一步方案的有益效果为：将简化后的亮度梯度线要素转为栅格数据，有利于对目标进行图像处理操作，便于根据目标特征提取出目标区域。
进一步地，所述步骤s3包括以下分步骤：
s31、构建卷积窗口，并计算卷积核中心像元变化率；
s32、利用卷积窗口对步骤s2提取的特征执行卷积操作，生成视频帧亮度变化率检测图像。
进一步地，所述卷积核中心像元变化率值的计算公式为：
其中，δx和δy分别表示主对角方向的变化幅度和副对角方向的变化幅度，cellsize表示视频帧的空间分辨率大小，δt表示卷积核中心像元的变化率，a-i分别表示中心像元八个方向所在像元的亮度值。
该进一步方案的有益效果为：通过构建的卷积窗口对栅格数据进行卷积操作，得到视频帧亮度变化率检测的结果。
卷积窗口的大小能够直接影响卷积操作的结果；窗口较大，会导致视频帧中目标被消除，从而不能准确统计目标的个数。窗口过小，会导致视频帧中目标数量增多，同样影响最终的检测效果，因此选用3*3大小作为变化率检测的窗口。卷积核中心像元值计算是为了增大中心像元与周围像元的差异，从而突出中心像元；在视频帧亮度梯度变化率检测的过程中，通过卷积运算增大影像中前景车辆目标与背景环境的差异，从而突出有待提取的运动车辆目标，达到目标增强的效果，便于后续动态车辆目标提取。
进一步地，所述步骤s4具体包括以下步骤：
s41、以目标帧为中心，在其左和右分别加上设定帧数生成三个短时序视频，表示为[f-m*n，f n]、[f-n，f n]、[f-n，f m*n]；
s42、将三个短时序视频分别执行vibe算法生成相应的单级运动区，并将三个单级运动区联合，通过求交集得到多级运动区域图像。
该进一步方案的有益效果为：在卫星视频的获取过程中，卫星于太空中高速飞行，因此获取的数据中前景目标在运动，背景环境也在运动；如果仅根据目标的运动特性来提取动态车辆目标，那么将会导致误检率明显提升；然而，分析卫星视频后发现：虽然前景目标与背景环境都在运动，但是前景目标的运动速度相对快于背景环境；因此通过设定特定参数值的vibe算法对卫星视频数据进行背景建模，实现仅提取动态车辆目标运动的区域，也即通过多级运动区域检测提取动态车辆目标在某段时间范围内运动的区域，在后续联合求交集操作中只需在所提取的运动区域中精准提取所要提取的动态车辆目标，大幅度增加提取结果的可靠性。
进一步地，所述步骤s5的具体内容包括：
通过超参数分析获取图像分割的最优阈值，将步骤s3得到的亮度变化率检测图像按照最优阈值进行图像分割处理，然后将图像分割结果和所述步骤s4得到的多级运动区域图像执行联合求交集操作，并对求得的交集区域进行连通域处理和形态学操作，最终提取得到地表动态车辆目标。
该进一步方案的有益效果为：通过联合求交集操作精准提取到运动区域中动态车辆目标；该操作也会导致提取结果中存在一定数量的超小斑块、空心斑块、长条形斑块等与车辆目标形状不相符的斑块，通过对提取结果进行形态学操作和连通域处理来移除这些与真实目标特征不相符的斑块，保留与真实目标特征相符的斑块，也即最终提取到的动态车辆目标。
附图说明
图1为本发明的融合亮度-时序特征的卫星视频动态车辆目标提取方法流程示意图；
图2为本发明实施例中样本集亮度梯度曲线制作过程示意图；
图3为本发明实施例中提取亮度梯度特征要素过程示意图；
图4为本发明实施例中步骤s2的数据类型转换过程示意图；
图5为本发明实施例中卷积核效果图示意图；
图6为本发明实施例中亮度梯度变化率检测过程示意图；
图7为本发明实施例中vibe运动检测处理流程图；
图8为本发明实施例中动态车辆目标提取过程示意图；
图9为本发明实施例中在dubai区域视频数据的实验结果示意图；
图10为本发明实施例中在lasvegas区域视频数据的实验结果；
图11为本发明方法与对比实验方法的结果对照图。
具体实施方式
下面对本发明的具体实施方式进行描述，以便于本技术领域的技术人员理解本发明，但应该清楚，本发明不限于具体实施方式的范围，对本技术领域的普通技术人员来讲，只要各种变化在所附的权利要求限定和确定的本发明的精神和范围内，这些变化是显而易见的，一切利用本发明构思的发明创造均在保护之列。
如图1所示，一种融合亮度-时序特征的卫星视频动态车辆目标提取方法，包括以下步骤：
s1、获取高分辨率卫星视频数据；
s2、对步骤s1获取的视频数据的视频帧中包含车辆目标的亮度梯度特征进行提取和简化；
本发明实施例中，步骤s2包括以下分步骤：
s21、提取亮度梯度线：
将遥感视频卫星数据像元的亮度信息类比为地形的高程信息，建立数字亮度模型，并通过设定梯度值提取数字亮度模型的亮度梯度曲线；
将遥感视频卫星数据像元的亮度信息类比为地形的高程信息，从而建立数字亮度模型，即dvm(digitalvaluemodel)，之后提取dvm的亮度梯度线；梯度线类似于等高线，且每条线表征其亮度属性，以此作为初步的目标识别特征要素，梯度线的分布情况能够间接反映视频卫星数据帧的像元亮度变化情况。
s22、简化亮度梯度线：
根据步骤s21提取的数字亮度模型的亮度梯度曲线制作样本标签，统计样本中亮度梯度曲线的亮度梯度阈值和距离阈值，并应用到视频帧中，完成对视频帧亮度梯度曲线的简化。
确定亮度梯度阈值和距离阈值：亮度梯度阈值为亮度梯度线能代表车辆目标的亮度取值范围，每条亮度梯度线具有相应的亮度梯度值，通过随机取样，对选取的多个动态车辆目标样本的亮度梯度值进行统计分析，统计样本的均值、极值和标准差，分析计算合适的亮度梯度阈值范围；若亮度梯度值较大，容易将地表真实的移动车辆目标也一同去除，使得最终的检测结果中导致漏检率升高，随着亮度梯度值增大，地表移动目标的检测范围也会增大，不利于目标位置的确定，若亮度梯度值较小，视频卫星数据中的亮点和噪音极易被归类为地表真实的移动车辆目标，使得最终的检测结果中误检率升高。同时，随着亮度梯度值的减小，程序运算的效率也会降低；经过一系列亮度梯度值的试验，本实施例选取亮度梯度为3。
距离阈值为每条亮度梯度线能代表车辆目标的长度取值范围，距离表示亮度梯度曲线的本身长度；
由于根据均值和方差的计算思路的检测结果趋于将地表真实的移动目标车辆与背景融合，即与根据极值的阈值确定方法相比缩小了目标与背景的对比度，从而不利于后续的影像分割和目标检测工作，故本实施例选择样本亮度梯度极值范围和距离极值范围来确定亮度梯度阈值和距离阈值，计算公式表示为：
t∈(min,max)
其中max表示样本特征的极大值，min表示样本特征的极小值，t表示根据样本极值计算的阈值范围。
因此通过选择样本亮度梯度极值范围和距离极值范围来确定亮度梯度阈值和距离阈值。首先，需要制作样本标签。本研究中选择dubai区域视频卫星数据制作样本，通过筛选后保留样本的亮度梯度曲线，样本提取曲线制作过程如图2所示。其中(a)为dubai视频卫星数据第220帧；(b)为(a)局部放大显示；(c)为(b)区域亮度梯度曲线；(d)为经过筛选后的样本的亮度梯度曲线。
根据样本集统计亮度梯度曲线的亮度极值和距离极值后，将样本集的统计数据应用于s1中所选取的如图3(a)所示的视频帧；先根据得到的亮度梯度阈值进行筛选得到如图3(e)所示的图像，基于筛选结果执行距离阈值的再次筛选，得到如图3(g)所示的图像，实现对视频帧亮度梯度线的简化处理；图3中(b)为(a)的局部放大图，(f)为(e)的局部放大图，(h)为(g)的局部放大图。
将图4(a)所示的简化后的亮度梯度线要素先转换为过渡的如图4(b)所示的不规则三角网(tin)，再由tin转换为如图4(c)所示的栅格数据。
s3、对步骤s2提取和简化后的特征进行亮度梯度变化率检测；
本发明实施例中，步骤s3包括以下分步骤：
s31、构建卷积窗口，并计算卷积核中心像元变化率；
构建3*3的卷积窗口，确定卷积窗口的大小后，根据卷积核中心像元与周围像元之间的亮度差异特征，计算卷积核中心像元的响应值，卷积核如图5所示，计算公式表示为：
其中，δx和δy分别表示主对角方向的变化幅度和副对角方向的变化幅，cellsize表示视频帧的空间分辨率大小，δt表示卷积核中心像元的响应值，a-i分别为卷积窗口中各像元依次从左至右、从上至下的所在像元的亮度值；
s32、利用卷积窗口对步骤s2提取的特征执行卷积操作，生成视频帧亮度变化率检测图像。
通过卷积窗口对整幅影像执行卷积操作，生成相应的栅格数据，即视频帧亮度变化率检测的结果，检测过程如图6所示。其中(a)为视频原始帧；(b)为亮度梯度线特征要素提取后生成的栅格数据；(c)为变化率检结果。
s4、采用多帧多尺度的vibe算法对车辆目标的多级运动区域进行检测；
本发明实施例中，步骤s4具体包括以下步骤：
s41、以目标帧为中心，在其左和右分别加上设定帧数生成三个短时序视频，表示为[f-m*n，f n]、[f-n，f n]、[f-n，f m*n]；
s42、将三个短时序视频分别执行vibe算法生成相应的单级运动区，并将三个单级运动区联合，通过求交集得到多级运动区域图像。
如图7所示，步骤s4vibe运动检测方式为：利用步骤一中获得的视频第f帧数据，并以其为中心，将f帧左、右各加设定的帧数生成3个短时序视频，三个短视频分别表示为：[f-m*n，f n]、[f-n，f n]、[f-n，f m*n]；将三个短视频分别执行vibe算法生成相应的单级运动区，最后将3个单级运动区联合，通过求交集获得最终多级运动区检测结果，即多级运动区域图像。
s5、根据步骤s3的亮度梯度变化率检测结果和步骤s4的多级运动区域检测结果提取动态车辆目标。
本发明实施例中，步骤s5的具体内容包括：
通过超参数分析获取图像分割的最优阈值，将步骤s3得到的亮度变化率检测图像按照最优阈值进行图像分割处理，然后将图像分割结果和所述步骤s4得到的多级运动区域图像执行联合求交集操作，并对求得的交集区域进行连通域处理和形态学操作，最终提取得到地表动态车辆目标。
如图8所示，其中(a)为亮度梯度变化率检测结果；(b)为多帧视频帧数据集；(c)为(a)阈值分割结果；(d)为多帧多尺度vibe获取交集；(e)为(c)与(d)的交集结果；(f)为目标提取结果。
步骤s5具体内容包括：通过超参数分析获取图像分割的最佳阈值，将图8(a)所示的亮度变化率检测后的影像按所获阈值执行图像分割操作，得到图8(b)所示图像，之后将图像分割的结果和步骤s4中获得的多级运动区检测结果执行联合求交集操作，并对求得的交集区域进行连通域处理和形态学操作移除明显虚警，得到如图8(e)所示图像，提取到运动车辆目标；最后结合实际图像得到如图8(f)所示的结果；
图9(a)直观呈现本发明方法在dubai区域提取动态目标车辆的提取结果，图9(b)为放大显示结果；图10(a)直观呈现本发明方法在lasvegas区域提取动态目标车辆的提取结果，图10(b)为放大显示结果。
以下结合上述实施例，通过对比试验验证本发明的检测结果：
从三个对比实验分析，通过定量的将本发明所提出的方法的检测结果和对比实验目标提取结果进行分析。这里选用dubai区域视频卫星数据第300帧和lasvegas区域视频卫星数据第500帧做测试，分别统计不同方法的recall、precision、f1-score得分，并将统计结果和本发明所提出方法的统计得分做比较，比较结果如表1所示。
表1对比试验得分统计结果
可以发现：(1)本发明所提出的方法相较于其他方法在进行移动车辆目标提取结果，综合得分(f1-score)最高，达到78％左右，比对比试验综合得分(f1-score)平均高出45％左右，即本发明所提出的方法综合性能较好；(2)本发明所提出的方法取得的召回率(recall)达到73％左右，虽然比对比试验的平均召回率(recall)低了18％左右，但是在目标提取过程中本发明所提出的方法表现的精确性(presicion)比对比试验平均精确性(presiciong)高出64％左右，精确性明显优于对比试验。(3)本发明所提出方法在不同场景的动态车辆提取过程中表现性能较为稳定，在对两个区域视频帧数据进行动态目标提取的过程中取得的召回率(recall)稳定在72％左右、精确性(presicion)稳定在85％左右，综合得分(f1-score)稳定在78％左右，这也说明本发明所提出的方法对在不同场景数据动态车辆目标提取过程中具有一定的鲁棒性。为了直观的观察本发明所提出的方法和对比试验所用方法在不同场景中的动态目标提取结果的差异，本发明呈现了不同方法的动态车辆目标提取结果，对比结果如图8所示，其中图11中(a)表示dubai区域数据中值背景减法提取效果；(b)表示lasvegas区域数据中值背景减法提取效果；(c)表示dubai区域数据gmm算法提取效果；(d)表示lasvegas区域数据gmm算法提取效果；(e)表示dubai区域数据vibe算法提取效果；(f)表示lasvegas区域数据vibe算法提取效果；(g)表示dubai区域数据本发明所提出方法提取效果；(h)表示lasvegas区域数据本文所提出方法提取效果；
本领域的普通技术人员将会意识到，这里的实施例是为了帮助读者理解本发明的原理，应被理解为本发明的保护范围并不局限于这样的特别陈述和实施例。本领域的普通技术人员可以根据本发明公开的这些技术启示做出各种不脱离本发明实质的其它各种具体变形和组合，这些变形和组合仍然在本发明的保护范围内。
1.一种融合亮度-时序特征的卫星视频动态车辆目标提取方法，其特征在于，包括以下步骤：
s1、获取高分辨率卫星视频数据；
s2、对步骤s1获取的视频数据的视频帧中包含车辆目标的亮度梯度特征进行提取和简化；
s3、对步骤s2提取和简化后的特征进行亮度梯度变化率检测；
s4、采用多帧多尺度的vibe算法对车辆目标的多级运动区域进行检测；
s5、根据步骤s3的亮度梯度变化率检测结果和步骤s4的多级运动区域检测结果提取动态车辆目标。
2.根据权利要求1所述的融合亮度-时序特征的卫星视频动态车辆目标提取方法，其特征在于，所述步骤s2包括以下分步骤：
s21、提取亮度梯度线：
将遥感视频卫星数据像元的亮度信息类比为地形的高程信息，建立数字亮度模型，并通过设定梯度值提取数字亮度模型的亮度梯度曲线；
s22、简化亮度梯度线：
根据步骤s21提取的数字亮度模型的亮度梯度曲线制作样本标签，统计样本中亮度梯度曲线的亮度梯度阈值和距离阈值，并应用到视频帧中，完成对视频帧亮度梯度曲线的简化。
3.根据权利要求2所述的融合亮度-时序特征的卫星视频动态车辆目标提取方法，其特征在于，所述步骤s2还包括：
将简化后的亮度梯度曲线要素数据先转换为过渡的不规则三角网，再由该不规则三角网转换为栅格数据。
4.根据权利要求3所述的融合亮度-时序特征的卫星视频动态车辆目标提取方法，其特征在于，所述步骤s3包括以下分步骤：
s31、构建卷积窗口，并计算卷积核中心像元变化率；
s32、利用卷积窗口对步骤s2提取的特征执行卷积操作，生成视频帧亮度变化率检测图像。
5.根据权利要求4所述的融合亮度-时序特征的卫星视频动态车辆目标提取方法，其特征在于，所述卷积核中心像元变化率值的计算公式为：
其中，δx和δy分别表示主对角方向的变化幅度和副对角方向的变化幅度，cellsize表示视频帧的空间分辨率大小，δt表示卷积核中心像元的变化率，a-i分别表示中心像元八个方向所在像元的亮度值。
6.根据权利要求5所述的融合亮度-时序特征的卫星视频动态车辆目标提取方法，其特征在于，所述步骤s4具体包括以下步骤：
s41、以目标帧为中心，在其左和右分别加上设定帧数生成三个短时序视频，表示为[f-m*n，f n]、[f-n，f n]、[f-n，f m*n]；
s42、将三个短时序视频分别执行vibe算法生成相应的单级运动区，并将三个单级运动区联合，通过求交集得到多级运动区域图像。
7.根据权利要求6所述的融合亮度-时序特征的卫星视频动态车辆目标提取方法，其特征在于，所述步骤s5的具体内容包括：
通过超参数分析获取图像分割的最优阈值，将步骤s3得到的亮度变化率检测图像按照最优阈值进行图像分割处理，然后将图像分割结果和所述步骤s4得到的多级运动区域图像执行联合求交集操作，并对求得的交集区域进行连通域处理和形态学操作，最终提取得到地表动态车辆目标。
技术总结