本发明涉及图像处理的技术领域，特别是涉及一种烟火检测方法及系统、存储介质及终端。
背景技术：
计算机视觉是使用计算机及相关设备对生物视觉的一种模拟。它的主要任务就是通过对采集的图片或视频进行处理以获得相应场景的三维信息，就像人类和许多其他类生物每天所做的那样。
目前，基于计算机视觉的图像识别技术已经相对比较成熟。但是，对于火焰、烟雾的识别依然存在以下不足：
(1)基于单特征的识别算法存在效率低、耗时长、系统资源占用高等问题。
(2)基于单帧的识别算法使用边缘、纹理、亮度和运动特征的原始图像特征分析，在不同光照条件、背景条件下，如：背光、对比度，会产生不同程度的噪声影响。
(3)基于图像分割技术，采用阈值法、区域生长、边缘检测以及其他数学模型的算法，针对单一场景能取得较好的效果。但是，由于应用场景的多样性，当环境变化后，单一数学模型在更换场景后都存在各种不足。
(4)基于时间序列的多帧计算，随着摄像头画面清晰度的逐渐增加计算量级也呈几何级增长。也就是说，随着视频画面分辨率的增加，计算耗时会增加，计算效率会产生下降。
技术实现要素：
鉴于以上所述现有技术的缺点，本发明的目的在于提供一种烟火检测方法及系统、存储介质及终端，基于人工智能深度学习技术和计算机视觉技术实现对视频画面中烟雾和火焰的检测、定位和跟踪，准确度高，灵活性好，适用于应用场景广泛。
为实现上述目的及其他相关目的，本发明提供一种烟火检测方法，包括以下步骤：获取包含有火焰和/或烟雾的视频图像；基于深度学习算法识别所述视频图像中的火焰区域和/或烟雾区域；基于计算机视觉技术从所述视频图像中剪裁出所述火焰区域和/或所述烟雾区域；基于所述火焰区域和/或所述烟雾区域进行火焰和/或烟雾检测。
于本发明一实施例中，基于所述火焰区域进行火焰检测包括以下步骤：
提取所述火焰区域上的火焰关键点信息；
基于所述视频图像中前后帧的火焰关键点信息，将所述前后帧的火焰关键点信息进行集合运算，并将前帧关键点补集和后帧关键点补集作为火焰关键点变化信息；
对所述火焰关键点变化信息中的的每个火焰关键点进行过滤，将符合红绿分量和绿色分量特征的火焰关键点作为有效变化火焰关键点；
将前后帧火焰关键点并集和所有的有效变化火焰关键点进行连接，得到的封闭区间即为所述火焰区域。
于本发明一实施例中，基于计算机视觉应用opencv的特征检测器和特征分析器来提取所述火焰关键点信息。
于本发明一实施例中，基于所述烟雾区域进行烟雾检测包括以下步骤：
基于光流跟踪算法对所述烟雾区域进行烟雾识别；
对烟雾识别结果进行过滤和验证，以获取检测到的烟雾。
于本发明一实施例中，基于图像二值化、sobel和canny边缘提取、光流法、阈值法、区域生长、小波变换中的一种或多种进行过滤和验证。
于本发明一实施例中，基于dnn网络的目标检测算法来识别所述视频图像中的火焰区域和/或烟雾区域。
对应地，本发明提供一种烟火检测系统，包括获取模块、识别模块、裁剪模块和检测模块；
所述获取模块用于获取包含有火焰和/或烟雾的视频图像；
所述识别模块用于基于深度学习算法识别所述视频图像中的火焰区域和/或烟雾区域；
所述裁剪模块用于基于计算机视觉技术从所述视频图像中剪裁出所述火焰区域和/或所述烟雾区域；
所述检测模块用于基于所述火焰区域和/或所述烟雾区域进行火焰和/或烟雾检测。
本发明提供一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述的烟火检测方法。
本发明提供一种烟火检测终端，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述烟火检测终端执行上述的烟火检测方法。
最后，本发明提供一种烟火检测系统，包括上述的烟火检测终端和视频图像采集装置；
所述视频图像采集装置用于采集包含有火焰和/或烟雾的视频图像，并发送至所述烟火检测终端。
如上所述，本发明的烟火检测方法及系统、存储介质及终端，具有以下有益效果：
(1)将人工智能和计算机视觉相结合，利用dnn强大的神经网络进行高效运算，克服了计算机视觉算法不能很好的适应各种差异化环境的问题，且通过深度学习及对样本的扩充，有效提高了各种环境下的准确率；
(2)仅需依靠普通网络摄像头，无需再增加传感器等其他设备进行辅助，从而减少不同设备之间配合不同步的问题，避免由此导致的可靠性下降的问题；
(3)准确度高，灵活性好，能够高度适应目标应用环境。
附图说明
图1显示为本发明的烟火检测方法于一实施例中的流程图；
图2显示为本发明的火焰检测方法于一实施例中的图像示意图；
图3显示为本发明的烟雾检测方法于一实施例中的图像示意图；
图4显示为本发明的烟火检测系统于一实施例中的结构示意图；
图5显示为本发明的烟火检测终端于一实施例中的结构示意图；
图6显示为本发明的烟火检测系统于一实施例中的结构示意图。
元件标号说明
41获取模块
42识别模块
43裁剪模块
44检测模块
51处理器
52存储器
61烟火检测终端
62视频图像采集装置
具体实施方式
以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭露的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在没有背离本发明的精神下进行各种修饰或改变。
需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。
随着人工智能技术的飞速发展，大量深度神经网络(deepneuralnetwork，dnn)技术不断被应用，类似yolo(youonlylookonce)、物体识别(objectdetection)以及其他深度学习技术也更加成熟，各算法的计算效率和性能近几年也有数倍的提高。同时，用于人工智能应用(包括机器学习、深度学习)的硬件技术和种类也越来越多，硬件算力也有大幅度提高。因此，本发明的烟火检测方法及系统、存储介质及终端，本发明采用的人工智能和计算机视觉联合检测的方法基于人工智能深度学习技术和计算机视觉技术实现对视频画面中烟雾和火焰的检测、定位和跟踪，其中人工智能技术进行初步筛选，计算机视觉技术完成特征检测和分析，从而有效提高了准确度，灵活性好，适用于应用场景广泛。
如图1所示，于一实施例中，本发明的烟火检测方法包括以下步骤：
步骤s1、获取包含有火焰和/或烟雾的视频图像。
具体地，视频图像采集装置，如摄像头采集包含有火焰和/或烟雾的视频图像，并通过有线或无线的方式发送至本发明的烟火检测终端，以供所述烟火检测终端进行火焰和/或烟雾的检测。
步骤s2、基于深度学习算法识别所述视频图像中的火焰区域和/或烟雾区域。
对于深度学习算法，针对目标应用环境中的图片集进行深度学习和训练，通过正样本集的不断丰富，不断迭代训练和回归，能够更好的适应特定环境，彻底解决传统计算机视觉所面临的环境多样性问题；通过负样本的不断丰富、不断迭代和回归，能够有效降低干扰源带来的噪声影响。因此，通过训练好的深度学习算法能够有效提升火焰区域和/或烟雾区域的识别准确度。具体地，所述烟火检测终端采用深度学习算法，如dnn网络的目标检测算法来识别所述视频图像中的火焰区域和/或烟雾区域，从而实现火焰区域和/或烟雾区域的分类识别。
其中，所述dnn通过建立类似于人脑的分层网络模型结构，对输入数据逐级提取从底层到高层的特征，能够更好地获得从底层信号到高层语义的映射关系。卷积神经网络(convolutionalneuralnetworks，cnn)作为其中最重要的网络模型之一，伴随大数据和高性能计算的驱动，在图像分类、物体识别方面取得突破性进展。resnet解决了深度cnn模型难训练的问题，随着网络的加深，出现了训练集准确率下降的现象。为了克服这种由于网络深度加深而产生的学习效率变低，准确率无法有效提升的问题(也称为网络退化)，深度残差网络(deepresidualnetworks)应运而生，其允许网络尽可能的加深，如果网络已经到达最优，继续加深网络，residualmapping将被push为0，只剩下identitymapping，这样理论上网络一直处于最优状态了，网络的性能也就不会随着深度增加而降低了。resnet通过加入shortcutconnections变得更加容易被优化。
步骤s3、基于计算机视觉技术从所述视频图像中剪裁出所述火焰区域和/或所述烟雾区域。
具体地，采用计算机视觉技术从所述视频图像中裁剪所述火焰区域和/或所述烟雾区域。其中，对于所述火焰区域，通过使用yuv颜色编码体系进行变换，以火焰的红绿分量比，作为火焰区域进行评估。其中，火焰红绿分量(r)和蓝色分量(b)或者绿色分量(g)强度值在图像中的比例在一定的范围内，绿红分量面积比例作即为红绿分量比。对于所述烟雾区域，采用计算机视觉技术进行灰度化，以获取所述烟雾区域，便于后续检测。
步骤s4、基于所述火焰区域和/或所述烟雾区域进行火焰和/或烟雾检测。
具体地，在准确获取所述火焰区域和/或所述烟雾区域后，再进行火焰和/或烟雾的检测，从而有效提升检测的准确度。
于本发明一实施例中，基于所述火焰区域进行火焰检测包括以下步骤：
a)提取所述火焰区域上的火焰关键点信息。
具体地，基于计算机视觉应用opencv的特征检测器和特征分析器来提取所述火焰关键点信息。
b)基于所述视频图像中前后帧的火焰关键点信息，将所述前后帧的火焰关键点信息进行集合运算，并将前帧关键点补集和后帧关键点补集作为火焰关键点变化信息。
c)对所述火焰关键点变化信息中的的每个火焰关键点进行过滤，将符合红绿分量和绿色分量特征的火焰关键点作为有效变化火焰关键点。
d)将前后帧火焰关键点并集和所有的有效变化火焰关键点进行连接，得到的封闭区间即为所述火焰区域。
于本发明一实施例中，基于所述烟雾区域进行烟雾检测包括以下步骤：
a)基于光流跟踪算法对所述烟雾区域进行烟雾识别。
b)对烟雾识别结果进行过滤和验证，以获取检测到的烟雾。
于本发明一实施例中，本发明中所采用的过滤和验证方法包括图像二值化、sobel和canny边缘提取、光流法、阈值法、区域生长、小波变换中的一种或多种。
下面通过具体实施例来进一步阐述本发明的烟火检测方法。
如图2所示，对于图像a1和b1的火焰检测，裁剪得到的火焰区域分别为图像a2和b2，图像a3和b3中包含有火焰关键点信息，图像a4和b4为最终检测到的火焰图像。
如图3所示，对于图像c1和d1的烟雾检测，裁剪得到的烟雾区域分别为图像c2和d2，图像e为最终检测到的烟雾图像。
如图4所示，于一实施例中，本发明的烟火检测系统包括获取模块41、识别模块42、裁剪模块43和检测模块44。
所述获取模块41用于获取包含有火焰和/或烟雾的视频图像。
所述识别模块42与所述获取模块41相连，用于基于深度学习算法识别所述视频图像中的火焰区域和/或烟雾区域。
所述裁剪模块43与所述识别模块42相连，用于基于计算机视觉技术从所述视频图像中剪裁出所述火焰区域和/或所述烟雾区域。
所述检测模块44与所述裁剪模块43相连，用于基于所述火焰区域和/或所述烟雾区域进行火焰和/或烟雾检测。
其中，获取模块41、识别模块42、裁剪模块43和检测模块44的结构和原理与上述烟火检测方法中的步骤一一对应，故在此不再赘述。
需要说明的是，应理解以上装置的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。且这些模块可以全部以软件通过处理元件调用的形式实现；也可以全部以硬件的形式实现；还可以部分模块通过处理元件调用软件的形式实现，部分模块通过硬件的形式实现。例如，x模块可以为单独设立的处理元件，也可以集成在上述装置的某一个芯片中实现，此外，也可以以程序代码的形式存储于上述装置的存储器中，由上述装置的某一个处理元件调用并执行以上x模块的功能。其它模块的实现与之类似。此外这些模块全部或部分可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。
例如，以上这些模块可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(applicationspecificintegratedcircuit，简称asic)，或，一个或多个微处理器(digitalsignalprocessor，简称dsp)，或，一个或者多个现场可编程门阵列(fieldprogrammablegatearray，简称fpga)等。再如，当以上某个模块通过处理元件调度程序代码的形式实现时，该处理元件可以是通用处理器，例如中央处理器(centralprocessingunit，简称cpu)或其它可以调用程序代码的处理器。再如，这些模块可以集成在一起，以片上系统(system-on-a-chip，简称soc)的形式实现。
本发明的存储介质存储有计算机程序，该程序被处理器执行时实现上述的烟火检测方法。所述存储介质包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
如图5所示，于一实施例中，本发明的烟火检测终端包括：处理器51及存储器52。
所述存储器52用于存储计算机程序。
所述存储器52包括：rom、ram、磁碟、u盘、存储卡或者光盘等各种可以存储程序代码的介质。
所述处理器51与所述存储器52相连，用于执行所述存储器52存储的计算机程序，以使所述烟火检测终端执行上述的烟火检测方法。
优选地，所述处理器51可以是通用处理器，包括中央处理器(centralprocessingunit，简称cpu)、网络处理器(networkprocessor，简称np)等；还可以是数字信号处理器(digitalsignalprocessor，简称dsp)、专用集成电路(applicationspecificintegratedcircuit，简称asic)、现场可编程门阵列(fieldprogrammablegatearray，简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
如图6所示，于一实施例中，本发明的烟火检测系统包括上述的烟火检测终端61和视频图像采集装置62。
所述视频图像采集装置62与所述烟火检测终端61通过有线或无线方式相连，用于采集包含有火焰和/或烟雾的视频图像，并发送至所述烟火检测终端61。
优选地，所述视频图像采集装置62采用网络摄像头。
综上所述，本发明的烟火检测方法及系统、存储介质及终端将人工智能和计算机视觉相结合，利用dnn强大的神经网络进行高效运算，克服了计算机视觉算法不能很好的适应各种差异化环境的问题，且通过深度学习及对样本的扩充，有效提高了各种环境下的准确率；仅需依靠普通网络摄像头，无需再增加传感器等其他设备进行辅助，从而减少不同设备之间配合不同步的问题，避免由此导致的可靠性下降的问题；准确度高，灵活性好，能够高度适应目标应用环境。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。
1.一种烟火检测方法，其特征在于：包括以下步骤：
获取包含有火焰和/或烟雾的视频图像；
基于深度学习算法识别所述视频图像中的火焰区域和/或烟雾区域；
基于计算机视觉技术从所述视频图像中剪裁出所述火焰区域和/或所述烟雾区域；
基于所述火焰区域和/或所述烟雾区域进行火焰和/或烟雾检测。
2.根据权利要求1所述的烟火检测方法，其特征在于：基于所述火焰区域进行火焰检测包括以下步骤：
提取所述火焰区域上的火焰关键点信息；
基于所述视频图像中前后帧的火焰关键点信息，将所述前后帧的火焰关键点信息进行集合运算，并将前帧关键点补集和后帧关键点补集作为火焰关键点变化信息；
对所述火焰关键点变化信息中的的每个火焰关键点进行过滤，将符合红绿分量和绿色分量特征的火焰关键点作为有效变化火焰关键点；
将前后帧火焰关键点并集和所有的有效变化火焰关键点进行连接，得到的封闭区间即为所述火焰区域。
3.根据权利要求2所述的烟火检测方法，其特征在于：基于计算机视觉应用opencv的特征检测器和特征分析器来提取所述火焰关键点信息。
4.根据权利要求1所述的烟火检测方法，其特征在于：基于所述烟雾区域进行烟雾检测包括以下步骤：
基于光流跟踪算法对所述烟雾区域进行烟雾识别；
对烟雾识别结果进行过滤和验证，以获取检测到的烟雾。
5.根据权利要求2或4所述的烟火检测方法，其特征在于：基于图像二值化、sobel和canny边缘提取、光流法、阈值法、区域生长、小波变换中的一种或多种进行过滤和验证。
6.根据权利要求1所述的烟火检测方法，其特征在于：基于dnn网络的目标检测算法来识别所述视频图像中的火焰区域和/或烟雾区域。
7.一种烟火检测系统，其特征在于：包括获取模块、识别模块、裁剪模块和检测模块；
所述获取模块用于获取包含有火焰和/或烟雾的视频图像；
所述识别模块用于基于深度学习算法识别所述视频图像中的火焰区域和/或烟雾区域；
所述裁剪模块用于基于计算机视觉技术从所述视频图像中剪裁出所述火焰区域和/或所述烟雾区域；
所述检测模块用于基于所述火焰区域和/或所述烟雾区域进行火焰和/或烟雾检测。
8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1至6中任一项所述的烟火检测方法。
9.一种烟火检测终端，其特征在于，包括：处理器及存储器；
所述存储器用于存储计算机程序；
所述处理器用于执行所述存储器存储的计算机程序，以使所述烟火检测终端执行权利要求1至6中任一项所述的烟火检测方法。
10.一种烟火检测系统，其特征在于：包括权利要求9所述的烟火检测终端和视频图像采集装置；
所述视频图像采集装置用于采集包含有火焰和/或烟雾的视频图像，并发送至所述烟火检测终端。
技术总结