本发明涉及管道预警领域，特别是指一种基于大数据的管道智能预警方法和系统。
背景技术：
随着社会生产力的不断变革，工业自动化、电子信息化的高速发展，生产力的发展已经离不开电力供应，为了确保电力供应的安全可靠，需要高度重视电网运行安全，电力安全事故虽然可能不直接表现为重大人员伤亡或者经济损失，但会对国民经济、社会稳定和人民生活造成较大影响，波及面广，事故后果影响大。第599号令《电力安全事故应急处置和调查处理条例》(以下简称为《条例》)在2011年9月1日正式公布实施。《条例》针对电力生产或者电网运行过程中发生的影响电力系统安全稳定运行或者影响电力(热力)正常供应的电力安全事故，明确了事故的等级的划分和标准、报告程序、应急处置职责、调查处理规定以及与493号令等法规衔接的规定。
在电力生产或电网运行过程中，各种不安全因素的分析和判断会间接性影响电力系统安全稳定运行或影响电力正常供应，为了控制和避免各种风险，需要采取各种措施来避免以上因素的发生，需要对供电负荷、设备故障、供电用户进行综合分析，来辅助电网管理人员保证供电安全正常稳定运行。
目前针对以上《条例》管理和电网安全运行的分析还处在手工判断和分析阶段，包括输变电设备承载用户比例等，该工作人工手动梳理周期长，效率低，无法实现对电力安全事故的预防预警，基本上处于事后统计分析。也有采用光纤传感技术，检测的是时间、地点、事件类型的离散数据集，对管道运维人员提供的决策依据直观度不足。
技术实现要素：
本发明的主要目的在于克服现有技术中的上述缺陷，提出一种基于大数据的管道智能预警方法和系统，根据数据结合混合高斯模型准确预测场景模式，有利于实现电力管道分场景运维的精细化管理目的。
本发明采用如下技术方案：
一种基于大数据的管道智能预警方法，其特征在于，包括如下步骤：
1)获取数据按照不同场景进行分类，该场景分类至少包括大型保电、常规管道运维施工、地面机械施工、管道内线缆盗割、海缆和动物啮咬，将每个类的数据组都分为训练数据和测试数据；
2)搭建混合高斯模型，使用期望值极大算法估计混合高斯模型的参数；
3)将每个类的训练数据同时输入混合高斯模型进行训练；
4)将每个类的测试数据同时输入训练好的混合高斯模型进行测试；
5)采用测试通过的混合高斯模型进行场景识别。
优选的，步骤1)中，每个类的数据组至少包含时间、位置、单一事件类型三个元素。
优选的，步骤2)中，所述混合高斯模型为多个单高斯模型的线性组合，单高斯模型的个数和场景分类数量相同，每一个单高斯模型为一个聚类，则混合高斯模型可用下式表示：
其中，x为随机变量,
优选的，步骤2)中使用期望值极大算法估计混合高斯模型的参数，具体包括如下：
2.1)将混合高斯模型的表达式带入取对数后的似然函数，如下：
2.2)假定数据xn，则其属于第k个聚类的概率为：
2.3)采用迭代法估计每个聚类的参数，假设在上一步中得到的γ(n,k)为数据xn属于第k个聚类的概率，则每个聚类生成了γ(1,k)x1,...,γ(n,k)xn这些点，可求得：
重复步骤2.2)-步骤2.3)，直到混合高斯模型的参数值稳定为止。
优选的，步骤3)中训练过程采用anaconda环境中sklearn库实现。
一种基于大数据的管道智能预警系统，其特征在于，包括如下
数据获取模块，用于获取数据按照不同场景进行分类，该场景分类至少包括大型保电、常规管道运维施工、地面机械施工、管道内线缆盗割、海缆和动物啮咬，每个类的数据组都分为训练数据和测试数据。
模型构建模块，构建混合高斯模型，使用期望值极大算法估计混合高斯模型的参数使用期望值极大算法估计混合高斯模型的参数；
训练模块，将每个类的训练数据同时输入混合高斯模型进行训练
测试模块，将每个类的测试数据同时输入训练好的混合高斯模型进行测试
识别模块，采用测试通过的混合高斯模型进行场景识别。
由上述对本发明的描述可知，与现有技术相比，本发明具有如下有益效果：
1、本发明的方法和系统，其结合管道各种危害性事件在上述基础数据维度所固有的特征，结合混合高斯模型，研判出管道事件的现场全貌，达到管道分场景运维的精细化管理目的。
2、本发明的方法和系统，通过场景识别，将各个数据组的时间、位置、单一事件类型三个元素在数据集维度进行了组合判断，可精准快速确定故障类型，变被动运维为主动运维，实现巡检作业的“智能化”；改变了传统以人工为主的巡检模式，使人力从大量重复性的现场工作中解放出来，大大缓解了运维管道长度快速增长与运维人员不足的尖锐矛盾，满足了范围广、长距离、全天候的监测需求。
3、本发明的方法和系统，具有广泛的通用性，能够在电力系统内以及其它拥有海量线路管理需求的单位快速复制推广，如水务、燃气、广电等行业。灵活应用于管道外破、大型会议的保电活动、电缆及光缆防盗、危房监测，拓展监测地质、道路坍塌等，通过管道风险信息共享，打造智慧安全城市，构建共建、共治、共赢的泛在物联生态圈。
附图说明
图1为本发明流程图；
图2为单高斯分布和混合高斯分布模型曲线图。
以下结合附图和具体实施例对本发明作进一步详述。
具体实施方式
以下通过具体实施方式对本发明作进一步的描述。
本发明中，对于术语“第一”、“第二”、“第三”等仅用于区别类似的对象，而不必用于描述特定的顺序或先后次序，也不能理解为指示或暗示相对重要性。对于描述中，采用了“上”、“下”、“左”、“右”、“前”和“后”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明，而不是指示或暗示所指的装置必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明保护范围的限制。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本申请中的具体含义。
另外，在本申请的描述中，除非另有说明，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
参见图1，一种基于大数据的管道智能预警方法，包括如下步骤：
1)获取数据按照不同场景进行分类，该场景分类至少包括大型保电、常规管道运维施工、地面机械施工、管道内线缆盗割、海缆和动物啮咬，将每个类的数据组都分为训练数据和测试数据。
现实中不同危害性事件具有特有的时间规律、位置规律、动作规律。在通过光纤传感技术检测的基础数据中也有不同的特征，并有一定对应度。每种事件的实际持续时间为数十分钟至数小时不等，期间会产生多组基础数据。这些基础数据每组都包含时间、位置、单一事件类型三个元素。每组数据的时间不同，位置有数米至数百米的离散，单一事件类型不同。即每个实际事件在整个持续过程中是由多个单一事件组成，如一次管道内的施工事件可能包含触碰光缆、机械振动、抽动光缆等多个事件，这些事件的发生可以是间隔的或持续的，光纤传感技术在监测这一事件的过程中，多次采集数据，形成对应各个采集时刻的多个不同单一事件类型。
2)搭建混合高斯模型，使用期望值极大算法估计混合高斯模型的参数。
混合高斯模型(gmm)是一个概率统计模型，输出的是0-1之间的一个概率值，是一种软分类的统计方法。设定高斯分布的个数和要识别的场景种类一样，一个种类对应一个高斯分布，选取概率最大的为识别结果。与之相对应的是硬分类，也就是一个输入对应一个确定的输出。任意改变混合模型的聚类的个数，从理论上来说，可以逼近任何连续的概率密度函数的分布。相比于硬分类，于其他模型的融合性更好。
假设数据服从混合高斯模型分布，将多个单高斯模型线性组合，每一个单高斯模型作为一个聚类，得到的模型称为混合高斯模型。
参见图2，实线曲线代表三个单高斯分布，虚线曲线表示它们的线性和，即混合高斯分布。只要能够调节好三个单高斯分布的均值、方差以及单高斯分布混合的系数，就能够很好的拟合几乎所有的概率密度函数。
混合高斯模型可用下式表示：
其中，x为随机变量,
如对于图2的三个单高斯分布，有三个聚类，则分量数k＝3，πk为混合系数(mixturecoefficient)，满足πk>0,
gmm的使用通常用于聚类分布，随机在gmm中随机取一个点，即随机在k个分高斯分布中选择一个，其中每一个被选到的概率为混合系数πk。接下来在这个单高斯分布中选择一个，这就变成了普通高斯分布的问题。
从混合高斯分布公式中，可以看出未知参数一共有三个，分别是混合系数πk、均值μk、方差
在gmm中，假设有n个数据点，要找到一组参数使得其所确定的混合高斯分布生成这些给定数据点的概率最大，该概率可用
2.1)将混合高斯模型的表达式带入取对数后的似然函数，如下：
2.2)估计数据由某个聚类的概率，即假定数据xn，则其属于第k个聚类的概率为：
2.3)采用迭代法估计每个聚类的参数，假设在上一步中得到的γ(n,k)为数据xn属于第k个聚类的概率，也可以看成这个聚类在生成这个数据上做的贡献，集合所有的数据点来考虑，可以看成每个聚类生成了γ(1,k)x1,...,γ(n,k)xn这些点，可求得：
重复步骤2.2)-步骤2.3)，直到混合高斯模型的参数值πk、μk和
3)将每个类的训练数据同时输入混合高斯模型进行训练。
本发明的混合高斯模型训练过程可采用anaconda环境中sklearn库，这是一个用于python语言的机器学习库，具有各种分类、回归和聚合的算法，包括随机森林、梯度增强、k-means等等。按照场景的分类每个类的训练数据同时输入混合高斯模型进行训练，分别对应大型保电、常规管道运维施工、地面机械施工、管道内线缆盗割、海缆、动物啮咬等，得到对应场景的单高斯模型，之后就便进行下一步的测试。
4)将每个类的测试数据同时输入训练好的混合高斯模型进行测试，经测试达到准确度要求的单高斯模型直接用于实际工作中。
5)采用测试通过的混合高斯模型进行场景识别。
本发明还提出一种基于大数据的管道智能预警系统，其采用上述的一种基于大数据的管道智能预警方法，包括如下模块：
数据获取模块，用于获取数据按照不同场景进行分类，该场景分类至少包括大型保电、常规管道运维施工、地面机械施工、管道内线缆盗割、海缆和动物啮咬，每个类的数据组都分为训练数据和测试数据。
模型构建模块，构建混合高斯模型，使用期望值极大算法估计混合高斯模型的参数使用期望值极大算法估计混合高斯模型的参数；
训练模块，将每个类的训练数据同时输入混合高斯模型进行训练；
测试模块，将每个类的测试数据同时输入训练好的混合高斯模型进行测试；
识别模块，采用测试通过的混合高斯模型进行场景识别，输出识别到的具体场景类型，例如‘盗割线缆’。
例如：管道内线缆盗割
实际过程中具有如下特征：a、多发生在晚上，b、多发生在偏僻区域，c、实施过程中有开关管道人孔井盖、踩踏或碰触管道内设施、锯子切割、缆线抽动等动作。每种特征，如果单独来看，与其它事件的某个单独特征相似甚至相同，而这些特征的组合后，就成为与其它事件不同的固有特征。
通过光纤传感技术给出的数据是带时间戳的、位置离散的、扰动类型离散的数据集，gmm训练过程中，依据事先的分类，将这些离散数据进行了聚合。采用本发明的混合高斯模型，预测得到的场景模式，可以对盗割线缆事件给出一个宏观的场景式结果。
上述仅为本发明的具体实施方式，但本发明的设计构思并不局限于此，凡利用此构思对本发明进行非实质性的改动，均应属于侵犯本发明保护范围的行为。
1.一种基于大数据的管道智能预警方法，其特征在于，包括如下步骤：
1)获取数据按照不同场景进行分类，该场景分类至少包括大型保电、常规管道运维施工、地面机械施工、管道内线缆盗割、海缆和动物啮咬，将每个类的数据组都分为训练数据和测试数据；
2)搭建混合高斯模型，使用期望值极大算法估计混合高斯模型的参数；
3)将每个类的训练数据同时输入混合高斯模型进行训练；
4)将每个类的测试数据同时输入训练好的混合高斯模型进行测试；
5)采用测试通过的混合高斯模型进行场景识别。
2.如权利要求1所述的一种基于大数据的管道智能预警方法，其特征在于，步骤1)中，每个类的数据组至少包含时间、位置、单一事件类型三个元素。
3.如权利要求1所述的一种基于大数据的管道智能预警方法，其特征在于，步骤2)中，所述混合高斯模型为多个单高斯模型的线性组合，单高斯模型的个数和场景分类数量相同，每一个单高斯模型为一个聚类，则混合高斯模型可用下式表示：
其中，x为随机变量,
4.如权利要求3所述的一种基于大数据的管道智能预警方法，其特征在于，步骤2)中使用期望值极大算法估计混合高斯模型的参数，具体包括如下：
2.1)将混合高斯模型的表达式带入取对数后的似然函数，如下：
2.2)假定数据xn，则其属于第k个聚类的概率为：
2.3)采用迭代法估计每个聚类的参数，假设在上一步中得到的γ(n,k)为数据xn属于第k个聚类的概率，则每个聚类生成了γ(1,k)x1,...,γ(n,k)xn这些点，可求得：
重复步骤2.2)-步骤2.3)，直到混合高斯模型的参数值稳定为止。
5.如权利要求1所述的一种基于大数据的管道智能预警方法，其特征在于，步骤3)中训练过程采用anaconda环境中sklearn库实现。
6.一种基于大数据的管道智能预警系统，其特征在于，包括如下
数据获取模块，用于获取数据按照不同场景进行分类，该场景分类至少包括大型保电、常规管道运维施工、地面机械施工、管道内线缆盗割、海缆和动物啮咬，每个类的数据组都分为训练数据和测试数据。
模型构建模块，构建混合高斯模型，使用期望值极大算法估计混合高斯模型的参数使用期望值极大算法估计混合高斯模型的参数；
训练模块，将每个类的训练数据同时输入混合高斯模型进行训练
测试模块，将每个类的测试数据同时输入训练好的混合高斯模型进行测试
识别模块，采用测试通过的混合高斯模型进行场景识别。
技术总结