本发明涉及人工智能,具体而言,涉及一种基于人工智能的实时火场态势感知模型训练方法。
背景技术:
1、火场态势感知是消防安全管理的重要组成部分,但传统的火场态势感知主要依赖于人工观察和判断,效率低且易受环境影响。
2、近年来,人工智能技术在图像识别、语音识别等领域的广泛应用为火场态势感知提供了新的可能。
3、尤其是深度学习技术,如卷积神经网络(cnn)和循环神经网络(rnn),已经被广泛用于处理图像和视频数据。
4、然而,如何有效地训练模型以提取出对火场态势有意义的特征,仍然是一个挑战。
5、此外,由于火场视频数据量大、变化快,如何在实时性和准确性之间找到平衡也是一个需要解决的问题。
技术实现思路
1、本发明的目的在于提供一种基于人工智能的实时火场态势感知模型训练方法及系统。
2、第一方面本发明实施例提供一种基于人工智能的实时火场态势感知模型训练方法,包括:
3、获取样本火场视频数据的第一火场视频内容,所述第一火场视频内容用于描述火场视频流,所述火场视频流包括样本火场视频数据中的多个视频帧;
4、将所述第一火场视频内容加载至3d卷积神经网络,得到第一火灾态势描述特征,所述3d卷积神经网络为模型压缩过程中的源模型,所述3d卷积神经网络用于抽取火场视频的火灾态势描述特征;
5、对所述第一火场视频内容所表征的火场视频流中的至少一个视频帧进行屏蔽,得到第二火场视频内容;
6、将所述第二火场视频内容加载至集成学习模型,得到第二火灾态势描述特征,所述集成学习模型为模型压缩过程中的目标模型,所述集成学习模型用于预测火灾态势描述特征;
7、根据所述第一火灾态势描述特征和所述第二火灾态势描述特征,确定第一代价参量,所述第一代价参量用于表征所述第一火灾态势描述特征和所述第二火灾态势描述特征之间的偏差;
8、根据所述第一代价参量,对所述3d卷积神经网络和所述集成学习模型进行训练,得到实时火场态势感知模型。
9、在一种可能的实施方式中,所述第一火场视频内容包括火场视频流和全量信息,所述获取样本火场视频数据的第一火场视频内容,包括:
10、对所述样本火场视频数据执行数据扩充操作,得到所述样本火场视频数据的扩充火场视频数据;
11、对所述扩充火场视频数据进行视频帧切割,得到所述扩充火场视频数据的火场视频流;
12、根据所述扩充火场视频数据的火场视频流,抽取所述扩充火场视频数据的全量信息,得到所述扩充火场视频数据的全量信息。
13、在一种可能的实施方式中,所述第一火灾态势描述特征包括火场视频流对应的源火场视频流特征和全量信息对应的源全量特征,所述第二火灾态势描述特征包括火场视频流对应的目标火场视频流特征和全量信息对应的目标全量特征;
14、所述根据所述第一火灾态势描述特征和所述第二火灾态势描述特征,确定第一代价参量,包括:
15、根据被屏蔽的所述至少一个视频帧在所述火场视频流中的序列信息,确定所述源火场视频流特征中与所述序列信息对应的第一次级特征,以及确定所述目标火场视频流特征中与所述序列信息对应的第二次级特征;
16、根据所述第一次级特征和所述第二次级特征,确定所述火场视频流代价参量,所述火场视频流代价参量用于表征所述源火场视频流特征和所述目标火场视频流特征之间的偏差;
17、根据所述源全量特征和所述目标全量特征,确定全量代价参量,所述全量代价参量用于表征所述源全量特征和所述目标全量特征之间的偏差;
18、根据所述火场视频流代价参量和所述全量代价参量,确定所述第一代价参量。
19、在一种可能的实施方式中,所述扩充火场视频数据包括第一扩充火场视频数据和第二扩充火场视频数据,所述根据所述源全量特征和所述目标全量特征,确定全量代价参量,包括:
20、根据第一数据扩充特征和第二数据扩充特征,确定第一扩充代价参量,所述第一数据扩充特征为所述第一扩充火场视频数据对应的源全量特征,所述第二数据扩充特征为所述第二扩充火场视频数据对应的目标全量特征,所述第一扩充代价参量用于表征所述第一数据扩充特征和所述第二数据扩充特征之间的偏差;
21、根据第三数据扩充特征和第四数据扩充特征,确定第二扩充代价参量,所述第三数据扩充特征为所述第二扩充火场视频数据对应的源全量特征,所述第四数据扩充特征为所述第一扩充火场视频数据对应的目标全量特征,所述第二扩充代价参量用于表征所述第三数据扩充特征和所述第四数据扩充特征之间的偏差;
22、根据所述第一扩充代价参量和所述第二扩充代价参量,确定所述全量代价参量。
23、在一种可能的实施方式中,所述根据所述第一代价参量,对所述3d卷积神经网络和所述集成学习模型进行训练,包括:
24、根据所述第一代价参量,调整所述集成学习模型的模型变量,得到调整后的集成学习模型;
25、根据调整后的集成学习模型的模型变量,确定所述集成学习模型的滑动平均;
26、根据所述滑动平均,调整所述3d卷积神经网络的模型变量,得到调整后的3d卷积神经网络。
27、在一种可能的实施方式中,所述集成学习模型包括门控循环单元、火场视频处理单元、火场描述处理单元和多源数据融合单元,所述门控循环单元用于抽取火场视频、火场描述和火场视频描述组的时间依赖特征,所述火场视频处理单元、所述火场描述处理单元和所述多源数据融合单元分别用于对火场视频、火场描述和火场视频描述组的时间依赖特征进行特征映射,得到火灾态势描述特征;
28、根据所述第一代价参量,对所述集成学习模型进行训练,包括:
29、根据所述第一代价参量,对所述集成学习模型中的门控循环单元和火场视频处理单元进行训练。
30、在一种可能的实施方式中,所述方法还包括:
31、通过bert网络对样本火场描述进行编码,得到第三火灾态势描述特征,所述第三火灾态势描述特征包括所述样本火场描述中的多个token各自的火灾态势描述特征;
32、对所述第三火灾态势描述特征所表征的token序列中的至少一个token进行屏蔽,得到第四火灾态势描述特征;
33、将所述第四火灾态势描述特征加载至所述集成学习模型,得到第五火灾态势描述特征;
34、根据被屏蔽的所述至少一个token在所述token序列中的序列信息,确定所述第五火灾态势描述特征中与所述序列信息对应的第三次级特征;
35、根据所述第三次级特征和第四次级特征,确定第二代价参量,所述第四次级特征为所述第四火灾态势描述特征包括的所述至少一个token的火灾态势描述特征,所述第二代价参量用于表征所述第三次级特征和所述第四次级特征之间的偏差;
36、根据所述第二代价参量,对所述集成学习模型中的火场描述处理单元进行训练。
37、在一种可能的实施方式中,所述方法还包括:
38、获取样本火场视频描述组,所述样本火场视频描述组包括关联描述的火场视频和火场描述;
39、通过训练得到的3d卷积神经网络,得到第六火灾态势描述特征,通过bert网络,得到第七火灾态势描述特征,所述第六火灾态势描述特征为所述样本火场视频描述组中的火场视频的火灾态势描述特征,所述第七火灾态势描述特征为所述样本火场视频描述组中的火场描述的火灾态势描述特征;
40、对所述第六火灾态势描述特征所表征的火场视频流中的至少一个视频帧进行屏蔽,得到第八火灾态势描述特征,对所述第七火灾态势描述特征所表征的token序列中的至少一个token进行屏蔽,得到第九火灾态势描述特征;所述集成学习模型包括多级网络,所述多级网络中的第一级网络包括门控循环单元、火场描述处理单元和火场视频处理单元,所述多级网络中的第二级网络包括门控循环单元、火场描述处理单元、火场视频处理单元和多源数据融合单元,所述第一级网络为所述多级网络中前目标数目的网络层,所述第二级网络为所述多级网络中第一级网络之外的网络层;
41、将所述第八火灾态势描述特征依次加载至所述第一级网络中的门控循环单元和火场视频处理单元,得到过渡火场视频特征,将所述第九火灾态势描述特征依次加载至所述第一级网络中的门控循环单元和火场描述处理单元,得到过渡火场描述特征;
42、将所述过渡火场视频特征依次加载至所述第二级网络中的门控循环单元和多源数据融合单元,将所述过渡火场描述特征依次加载至所述第二级网络中的门控循环单元和多源数据融合单元,通过所述多源数据融合单元,对所述过渡火场视频特征和所述过渡火场描述特征进行融合,得到融合火灾态势描述特征;
43、根据所述融合火灾态势描述特征、所述第六火灾态势描述特征和所述第七火灾态势描述特征,确定第三代价参量,所述第三代价参量用于表征所述融合火灾态势描述特征中的火场视频的描述特征和所述第六火灾态势描述特征之间的偏差以及指示所述融合火灾态势描述特征中的火场描述的描述特征和所述第七火灾态势描述特征之间的偏差;
44、根据所述第三代价参量,对所述集成学习模型进行训练。
45、在一种可能的实施方式中,在所述得到实时火场态势感知模型之后,所述方法包括:
46、获取当前火场视频数据;
47、将所述当前火场视频数据输入所述实时火场态势感知模型,得到所述当前火场视频数据对应的实时火场态势感知结果。
48、第二方面,本发明实施例提供一种服务器系统,包括服务器,所述服务器用于执行第一方面至少一种可能的实施方式中所述的方法。
49、相比现有技术,本发明提供的有益效果包括:采用本发明公开的一种基于人工智能的实时火场态势感知模型训练方法及系统,通过获取样本火场视频数据的第一火场视频内容,并通过3d卷积神经网络抽取出第一火灾态势描述特征。
50、然后,对视频流中的至少一个视频帧进行屏蔽,得到第二火场视频内容,并将其加载至集成学习模型以预测第二火灾态势描述特征。
51、接着,根据第一和第二火灾态势描述特征确定第一代价参量,用于表征两者之间的偏差。
52、最后,根据第一代价参量对3d卷积神经网络和集成学习模型进行训练,从而得到实时火场态势感知模型,如此设计,提高了火场态势感知的实时性和准确性,为火灾的快速、准确判断和高效扑救提供了有力的技术支持。
1.基于人工智能的实时火场态势感知模型训练方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,所述第一火场视频内容包括火场视频流和全量信息,所述获取样本火场视频数据的第一火场视频内容,包括:
3.根据权利要求2所述的方法,其特征在于,所述第一火灾态势描述特征包括火场视频流对应的源火场视频流特征和全量信息对应的源全量特征,所述第二火灾态势描述特征包括火场视频流对应的目标火场视频流特征和全量信息对应的目标全量特征;
4.根据权利要求3所述的方法,其特征在于,所述扩充火场视频数据包括第一扩充火场视频数据和第二扩充火场视频数据,所述根据所述源全量特征和所述目标全量特征,确定全量代价参量,包括:
5.根据权利要求1所述的方法,其特征在于,所述根据所述第一代价参量,对所述3d卷积神经网络和所述集成学习模型进行训练,包括:
6.根据权利要求1所述的方法,其特征在于,所述集成学习模型包括门控循环单元、火场视频处理单元、火场描述处理单元和多源数据融合单元,所述门控循环单元用于抽取火场视频、火场描述和火场视频描述组的时间依赖特征,所述火场视频处理单元、所述火场描述处理单元和所述多源数据融合单元分别用于对火场视频、火场描述和火场视频描述组的时间依赖特征进行特征映射,得到火灾态势描述特征;
7.根据权利要求6所述的方法,其特征在于,所述方法还包括:
8.根据权利要求6所述的方法,其特征在于,所述方法还包括:
9.根据权利要求1所述的方法,其特征在于,在所述得到实时火场态势感知模型之后,所述方法包括:
10.一种服务器系统,其特征在于,包括服务器,所述服务器用于执行权利要求1-9中任一项所述的方法。
