本发明涉及火情预测领域，尤其涉及一种深度遥感视频分析的火情预测方法与系统。
背景技术：
1、火灾是一种严重的灾害，给人们的生命财产安全带来巨大威胁。及早发现和准确预测火情对于采取及时的灭火措施和疏散人员至关重要。传统的火情监测方法主要依赖于人工巡逻和传感器网络，但这些方法存在人力成本高、覆盖范围有限等问题。近年来，深度遥感视频分析技术的发展为火情预测提供了新的机会。深度遥感视频分析利用卫星、无人机等遥感数据，结合深度学习和计算机视觉技术，可以实时监测和分析火情，提供更准确的预测和预警。然而火情的发展速度较快，如何在火情初期及时发现感知仍存在一定问题。初期火情由于火焰规模小，在遥感视频中粒度微弱，为火情预测造成较大难度。针对该问题，本发明提出一种深度遥感视频分析的火情预测方法与系统，利用遥感数据实时监测大范围的火情，提高火情监测的效率和覆盖范围。
技术实现思路
1、有鉴于此，本发明提供一种深度遥感视频分析的火情预测方法，目的在于：1)利用遥感器对目标区域进行监测，采集得到表征目标区域地物色彩的遥感视频，结合视频帧图像的图像质量指标信息以及表征滑动窗口内视频帧图像视觉信息差异的视差信息，构建自适应关键指标信息的计算公式，其中视差信息越大，则表示待关键指标信息计算的视频帧图像在滑动窗口内的视觉变化越明显，与当前视频帧图像的图像质量指标越接近，则表示待关键指标信息计算的视频帧图像越具有参考价值，实现自适应关键帧提取，利用自适应松弛掩码对关键视频帧图像中的背景环境进行过滤，突出可能表征火情级别影响因素的特征信息，实现火情视频帧特征图提取；2)构建多尺度自适应特征掩码对火情视频帧特征图进行多尺度卷积处理以及掩码处理，并提取不同尺度下火情视频帧特征图的语义信息，其中语义信息越明显，则表示该尺度下火情视频帧特征图所蕴含的图像信息越丰富，实现结合语义信息权重的不同尺度火情视频帧特征图融合，构建得到遥感视频的深度语义特征序列，并基于序列中的深度语义特征顺序，保留有效信息并过滤冗杂信息，得到融合特征并进行火情级别预测，实现目标区域的火情预测。
2、为实现上述目的，本发明提供的一种深度遥感视频分析的火情预测方法，包括以下步骤：
3、s1：采集遥感视频并从遥感视频中提取关键视频帧图像，其中自适应关键帧提取策略为所述关键帧提取的主要实施方法；
4、s2：对关键视频帧图像进行自适应松弛掩码过滤的卷积特征提取，得到过滤背景环境信息的火情视频帧特征图；
5、s3：构建多尺度自适应特征掩码对火情视频帧特征图进行深度语义提取，得到遥感视频的深度语义特征序列；
6、s4：构建火情预测模型对深度语义特征序列进行火情级别预测，得到遥感视频所对应区域的火情级别预测结果，其中火情预测模型以深度语义特征序列为输入，以火情级别预测结果为输出。
7、作为本发明的进一步改进方法：
8、可选地，所述s1步骤中采集遥感视频，包括：
9、利用遥感平台所承载的遥感器监测目标区域，采集得到目标区域的遥感视频，其中遥感平台为人造卫星，遥感器为多光谱扫描仪，目标区域的红外光辐射经过多光谱扫描仪形成目标区域的遥感成像结果，将连续的遥感成像结果作为目标区域的遥感视频，在本发明实施例中，遥感成像结果中的不同颜色对应目标区域的地物色彩，目标区域的遥感视频形式为：
10、i＝(i1,i2,...,in,...,in}
11、其中：
12、i表示目标区域的遥感视频；
13、in表示遥感视频i中第n帧视频帧图像，in表示遥感视频i中第n帧视频帧图像；在本发明实施例中，视频帧图像in在遥感视频中所对应的时刻为当前目标区域的监测时刻；
14、从遥感视频i中提取关键视频帧图像。
15、可选地，所述s1步骤中从遥感视频中提取关键视频帧图像，包括：
16、遥感视频i的关键视频帧图像提取流程为：
17、s11：对遥感视频i中的每帧视频帧图像进行灰度化处理，得到视频帧图像中像素的灰度值；
18、s12：计算得到遥感视频i中每帧视频帧图像的图像质量指标信息，其中视频帧图像in的图像质量指标信息为：
19、
20、其中：
21、f1(in)表示视频帧图像in的图像质量指标信息；
22、gn(x,y)表示视频帧图像in中第x行第y列像素in(x,y)的灰度值，(x,y)表示像素坐标；
23、x表示视频帧图像的像素行数，y表示视频帧图像的像素列数；
24、s13：初始化长度为l的滑动窗口，设置滑动窗口的移动步长为1，将滑动窗口与遥感视频i中的视频帧图像进行对齐处理，计算得到滑动窗口中第1帧视频帧图像的视差指标信息，并进行滑动窗口移动，其中视频帧图像in的视差指标信息计算公式为：
25、
26、
27、
28、gradn(x,y)＝gn(x+1,y)+gn(x,y+1)-2gn(x,y)
29、
30、
31、
32、δgradn(x,y,j)＝gradn(x,y,j)-gradn-1(x,y,j)
33、其中：
34、f2(in)表示视频帧图像in的视差指标信息；
35、vn(x,y)表示视频帧图像in中像素in(x,y)的视觉信息，vn+l-1(x,y)表示视频帧图像in+l-1中像素in+l-1(x,y)的视觉信息；
36、表示视频帧图像in中像素in(x,y)的邻域梯度信息，表示视频帧图像in中像素in(x,y)的邻域距离信息，表示视频帧图像in中像素in(x,y)的邻域梯度变换信息；
37、t表示转置；
38、gradn(x,y)表示视频帧图像in中像素in(x,y)的梯度值；
39、diag(·)表示对角矩阵；
40、gradn(x,y,j)表示以像素in(x,y)为中心的3×3像素区域中，像素in(x,y)的第j个邻域像素的梯度值；
41、dis(x,y)(j)表示第j个邻域像素到像素in(x,y)的欧式距离；
42、dn(x,y,j)表示像素in(x,y)的第j个邻域像素的距离信息；
43、δgradn(x,y,j)表示第j个邻域像素的梯度变换值；
44、e表示自然常数；
45、s14：生成每帧视频帧图像的自适应关键指标信息，其中视频帧图像in的自适应关键指标信息计算公式为：
46、
47、其中：
48、valuen表示视频帧图像in的自适应关键指标信息；
49、s15：选取自适应关键指标信息最高的k帧视频帧图像作为关键视频帧图像，构建得到遥感视频i的关键视频帧图像序列，其中遥感视频i的关键视频帧图像序列为：
50、(i1,i2,...,ik,...,ik)
51、其中：
52、ik表示遥感视频i的第k帧关键视频帧图像，k表示遥感视频i的关键视频帧图像总数。
53、可选地，所述s2步骤中对关键视频帧图像进行自适应松弛掩码过滤的卷积特征提取，包括：
54、对关键视频帧图像进行自适应松弛掩码过滤的卷积特征提取，其中关键视频帧图像ik的卷积特征提取流程为：
55、s21：对关键视频帧图像ik进行不同颜色通道的图像分割处理，得到不同颜色通道的图像矩阵表示结果：
56、
57、其中：
58、表示关键视频帧图像ik在i颜色通道的图像矩阵表示结果；
59、表示关键视频帧图像ik中第x行第y列像素在i颜色通道的颜色值；
60、s22：生成不同颜色通道的自适应掩码矩阵，其中i颜色通道的自适应掩码矩阵生成公式为：
61、
62、
63、
64、其中：
65、表示关键视频帧图像ik在i颜色通道的自适应掩码矩阵，其中表示自适应掩码矩阵中第x行第y列的元素值；
66、表示阈值参数；
67、θi表示i颜色通道的调控参数；
68、表示中以第x行第y列元素为中心的3×3区域的元素值均值；
69、ε表示调节参数，将ε设置为0.1；
70、s23：利用自适应掩码矩阵对不同颜色通道的图像矩阵表示结果进行卷积过滤，其中图像矩阵表示结果的卷积过滤公式为：
71、
72、其中：
73、表示图像矩阵表示结果的卷积过滤结果；
74、s24：构成过滤背景环境信息的关键视频帧图像ik的火情视频帧特征图为
75、可选地，所述s3步骤中构建多尺度自适应特征掩码，包括：
76、构建多尺度自适应特征掩码，其中所构建关键视频帧图像ik的多尺度自适应特征掩码形式为：
77、
78、
79、其中：
80、表示关键视频帧图像ik在尺度u的多尺度自适应特征掩码矩阵，wu×u表示u×u像素大小的卷积参数矩阵；
81、*表示卷积处理符号；
82、hk表示关键视频帧图像ik的多尺度自适应特征掩码；
83、°表示哈达玛积。
84、可选地，所述s3步骤中利用多尺度自适应特征掩码对火情视频帧特征图进行深度语义提取，构成遥感视频的深度语义特征序列，包括：
85、利用多尺度自适应特征掩码对火情视频帧特征图进行深度语义提取，其中火情视频帧特征图的深度语义提取流程为：
86、s31：利用多尺度自适应特征掩码hk中的多尺度自适应特征掩码矩阵对火情视频帧特征图进行卷积处理，其中卷积处理结果为：
87、
88、其中：
89、表示火情视频帧特征图在尺度u的卷积处理结果；
90、s32：生成火情视频帧特征图在不同尺度的语义信息，其中火情视频帧特征图在尺度u的语义信息为：
91、
92、
93、其中：
94、ek(u)表示火情视频帧特征图在尺度u的语义信息；
95、exp(·)表示以自然常数为底的指数函数；
96、||·||2表示l2范数；
97、表示计算得到使得达到最大的i，并将计算结果i作为cu；
98、s33：生成关键视频帧图像ik的深度语义特征：
99、
100、其中：
101、g(·)表示对火情视频帧特征图进行双线性差值，使得所有火情视频帧特征图的尺寸相同；
102、fk表示关键视频帧图像ik的深度语义特征；
103、构成遥感视频的深度语义特征序列(f1,f2,...,fk,...,fk)。
104、可选地，所述s4步骤构建火情预测模型对深度语义特征序列进行火情级别预测，得到遥感视频所对应区域的火情级别预测结果，包括：
105、构建火情预测模型对深度语义特征序列进行火情级别预测，其中火情预测模型以深度语义特征序列为输入，以火情级别预测结果为输出，火情预测模型包括输入层、逐步融合层、特征映射层以及输出层，输入层用于接收深度语义特征序列，逐步融合层用于对深度语义特征序列进行逐步融合处理，得到遥感视频对应的融合特征，特征映射层用于对融合特征进行映射处理，得到遥感视频所对应目标区域的火情级别预测结果进行输出；
106、基于火情预测模型的深度语义特征序列(f1,f2,...,fk,...,fk)的火情级别预测流程为：
107、s41：输入层接收深度语义特征序列(f1,f2,...,fk,...,fk)；
108、s42：逐步融合层对深度语义特征序列进行逐步融合处理，其中逐步融合处理公式为：
109、
110、
111、其中：
112、f表示遥感视频对应的融合特征；
113、w表示深度语义特征的卷积权重参数；
114、s43：特征映射层对融合特征f进行映射处理，得到遥感视频所对应目标区域的火情级别预测结果，其中映射处理公式为：
115、
116、其中：
117、p表示遥感视频所对应目标区域的火情级别预测结果；在本发明实施例中，p的数值越高，则表示火情越严重；
118、w表示融合特征对应的映射参数。
119、为了解决上述问题，本发明提供一种深度遥感视频分析的火情预测系统，所述系统包括：
120、遥感视频处理模块，用于采集遥感视频并从遥感视频中提取关键视频帧图像；
121、特征处理模块，用于对关键视频帧图像进行自适应松弛掩码过滤的卷积特征提取，得到过滤背景环境信息的火情视频帧特征图，构建多尺度自适应特征掩码对火情视频帧特征图进行深度语义提取，得到遥感视频的深度语义特征序列；
122、火情预测装置，用于构建火情预测模型对深度语义特征序列进行火情级别预测，得到遥感视频所对应区域的火情级别预测结果。
123、为了解决上述问题，本发明还提供一种电子设备，所述电子设备包括：
124、存储器，存储至少一个指令；
125、通信接口，实现电子设备通信；及
126、处理器，执行所述存储器中存储的指令以实现上述所述的深度遥感视频分析的火情预测方法。
127、为了解决上述问题，本发明还提供一种计算机可读存储介质，所述计算机可读存储介质中存储有至少一个指令，所述至少一个指令被电子设备中的处理器执行以实现上述所述的深度遥感视频分析的火情预测方法。
128、相对于现有技术，本发明提出一种深度遥感视频分析的火情预测方法与系统，该技术具有以下优势：
129、首先，本方案提出一种关键视频帧提取方法，遥感视频i的关键视频帧图像提取流程为：对遥感视频i中的每帧视频帧图像进行灰度化处理，得到视频帧图像中像素的灰度值；计算得到遥感视频i中每帧视频帧图像的图像质量指标信息，其中视频帧图像in的图像质量指标信息为：
130、
131、其中：f1(in)表示视频帧图像in的图像质量指标信息；gn(x,y)表示视频帧图像in中第x行第y列像素in(x,y)的灰度值，(x,y)表示像素坐标；x表示视频帧图像的像素行数，y表示视频帧图像的像素列数；初始化长度为l的滑动窗口，设置滑动窗口的移动步长为1，将滑动窗口与遥感视频i中的视频帧图像进行对齐处理，计算得到滑动窗口中第1帧视频帧图像的视差指标信息，并进行滑动窗口移动，其中视频帧图像in的视差指标信息计算公式为：
132、
133、
134、
135、gradn(x,y)＝gn(x+1,y)+gn(x,y+1)-2gn(x,y)
136、
137、
138、
139、δgradn(x,y,j)＝gradn(x,y,j)-gradn-1(x,y,j)
140、其中：f2(in)表示视频帧图像in的视差指标信息；vn(x,y)表示视频帧图像in中像素in(x,y)的视觉信息，vn+l-1(x,y)表示视频帧图像in+l-1中像素in+l-1(x,y)的视觉信息；表示视频帧图像in中像素in(x,y)的邻域梯度信息，表示视频帧图像in中像素in(x,y)的邻域距离信息，表示视频帧图像in中像素in(x,y)的邻域梯度变换信息；t表示转置；gradn(x,y)表示视频帧图像in中像素in(x,y)的梯度值；diag(·)表示对角矩阵；gradn(x,y,j)表示以像素in(x,y)为中心的3×3像素区域中，像素in(x,y)的第j个邻域像素的梯度值；dis(x,y)(j)表示第j个邻域像素到像素in(x,y)的欧式距离；dn(x,y,j)表示像素in(x,y)的第j个邻域像素的距离信息；δgradn(x,y,j)表示第j个邻域像素的梯度变换值；e表示自然常数；生成每帧视频帧图像的自适应关键指标信息，其中视频帧图像in的自适应关键指标信息计算公式为：
141、
142、其中：valuen表示视频帧图像in的自适应关键指标信息；选取自适应关键指标信息最高的k帧视频帧图像作为关键视频帧图像，构建得到遥感视频i的关键视频帧图像序列，其中遥感视频i的关键视频帧图像序列为：
143、(i1,i2,...,ik,...,ik)
144、其中：ik表示遥感视频i的第k帧关键视频帧图像，k表示遥感视频i的关键视频帧图像总数。本方案利用遥感器对目标区域进行监测，采集得到表征目标区域地物色彩的遥感视频，结合视频帧图像的图像质量指标信息以及表征滑动窗口内视频帧图像视觉信息差异的视差信息，构建自适应关键指标信息的计算公式，其中视差信息越大，则表示待关键指标信息计算的视频帧图像在滑动窗口内的视觉变化越明显，与当前视频帧图像的图像质量指标越接近，则表示待关键指标信息计算的视频帧图像越具有参考价值，实现自适应关键帧提取，利用自适应松弛掩码对关键视频帧图像中的背景环境进行过滤，突出可能表征火情级别影响因素的特征信息，实现火情视频帧特征图提取。
145、同时，本方案提出一种结合多尺度掩码的深度语义特征提取方法，利用多尺度自适应特征掩码对火情视频帧特征图进行深度语义提取，其中火情视频帧特征图的深度语义提取流程为：利用多尺度自适应特征掩码hk中的多尺度自适应特征掩码矩阵对火情视频帧特征图进行卷积处理，其中卷积处理结果为：
146、
147、其中：表示火情视频帧特征图在尺度u的卷积处理结果；生成火情视频帧特征图在不同尺度的语义信息，其中火情视频帧特征图在尺度u的语义信息为：
148、
149、
150、其中：ek(u)表示火情视频帧特征图在尺度u的语义信息；exp(·)表示以自然常数为底的指数函数；||·||2表示l2范数；表示计算得到使得达到最大的i，并将计算结果i作为cu；生成关键视频帧图像ik的深度语义特征：
151、
152、其中：g(·)表示对火情视频帧特征图进行双线性差值，使得所有火情视频帧特征图的尺寸相同；fk表示关键视频帧图像ik的深度语义特征；构成遥感视频的深度语义特征序列(f1,f2,...,fk,...,fk)。本发明通过构建多尺度自适应特征掩码对火情视频帧特征图进行多尺度卷积处理以及掩码处理，并提取不同尺度下火情视频帧特征图的语义信息，其中语义信息越明显，则表示该尺度下火情视频帧特征图所蕴含的图像信息越丰富，实现结合语义信息权重的不同尺度火情视频帧特征图融合，构建得到遥感视频的深度语义特征序列，并基于序列中的深度语义特征顺序，保留有效信息并过滤冗杂信息，得到融合特征并进行火情级别预测，实现目标区域的火情预测。
1.一种深度遥感视频分析的火情预测方法，其特征在于，所述方法包括：
2.如权利要求1所述的一种深度遥感视频分析的火情预测方法，其特征在于，所述s1步骤中采集遥感视频，包括：
3.如权利要求2所述的一种深度遥感视频分析的火情预测方法，其特征在于，所述s1步骤中从遥感视频中提取关键视频帧图像，包括：
4.如权利要求3所述的一种深度遥感视频分析的火情预测方法，其特征在于，所述s2步骤中对关键视频帧图像进行自适应松弛掩码过滤的卷积特征提取，包括：
5.如权利要求1所述的一种深度遥感视频分析的火情预测方法，其特征在于，所述s3步骤中构建多尺度自适应特征掩码，包括：
6.如权利要求5所述的一种深度遥感视频分析的火情预测方法，其特征在于，所述s3步骤中利用多尺度自适应特征掩码对火情视频帧特征图进行深度语义提取，构成遥感视频的深度语义特征序列，包括：
7.如权利要求1所述的一种深度遥感视频分析的火情预测方法，其特征在于，所述s4步骤构建火情预测模型对深度语义特征序列进行火情级别预测，得到遥感视频所对应区域的火情级别预测结果，包括：
8.一种深度遥感视频分析的火情预测系统，其特征在于，所述系统包括：
