本发明属于电网大数据处理技术领域，具体涉及一种基于大数据平台的一体化动态线损管控系统及方法。
背景技术：
近年来，随着信息系统应用的不断深入，数据量的不断攀升，数据分析、数据挖掘等手段的不断深入，数据对电网企业业务的驱动作用凸显，数据的重要性也得到进一步提高。目前，从电网企业数据来讲，纵向上数据的准确性和真实性不足，无法完全支撑建设、运检、财务等专业的业务，横向上跨专业、跨部门间存在一定壁垒，无法实现数据资源的协同利用。暴露出数据质量差与信息共享偏低的问题。
技术实现要素：
本发明的目的是为解决电网大数据质量差与信息共享偏低的问题，而提出了一种基于大数据平台的一体化动态线损管控系统及方法。
本发明为解决上述技术问题采取的技术方案是：
基于本发明的一个方面，一种基于大数据平台的一体化动态线损管控系统，所述系统包括：工单管理模块、配电网数据异常分析模块、erp数据异常分析模块、运行数据质量模块和知识共享模块，其中：
所述配电网数据异常分析模块用于对接入的台户关系数据和站线变关系数据进行统计分析，并输出分析结果为异常的数据；
所述erp数据异常分析模块用于对接入的资产数据和设备数据进行统计分析，并输出异常清单-设备资产对应率异常、异常清单-资产设备对应率异常、设备主数据合规率异常和资产主数据合规率异常的数据；
所述运行数据质量模块用于对接入的电能表采集数据进行分析，并输出电能表采集的异常数据；
所述工单管理模块用于根据配电网数据异常分析模块、erp数据异常分析模块和运行数据质量模块输出的数据进行工单创建，并将创建的工单发送给提供异常数据的单位进行处理；
所述知识共享模块用于各级单位之间进行经验和文档的共享。
基于本发明的另一个方面，一种基于大数据平台的一体化动态线损管控系统的管控方法，所述方法的具体过程为：
从全业务统一数据中心接入台户关系数据、站线变关系数据、资产数据、设备数据和电能表采集数据；
利用配电网数据异常分析模块对接入的台户关系数据和站线变关系数据进行统计分析，并输出分析结果为异常的数据；
利用erp数据异常分析模块对接入的资产数据和设备数据进行统计分析，并输出异常清单-设备资产对应率异常、异常清单-资产设备对应率异常、设备主数据合规率异常和资产主数据合规率异常的数据；
利用运行数据质量模块对接入的电能表采集数据进行分析，并输出电能表采集的异常数据；
配电网数据异常分析模块、erp数据异常分析模块和运行数据质量模块将输出的异常数据发送给工单管理模块，工单管理模块将异常信息反馈给提供异常数据的单位，由提供异常数据的单位进行数据整改；
各级单位之间通过知识共享模块进行经验和数据文档的共享。
本发明的有益效果是：本发明提出了一种基于大数据平台的一体化动态线损管控系统及方法，本发明利用配电网数据异常分析模块、erp数据异常分析模块和运行数据质量模块对数据进行分析，得到异常数据后，通过创建工单的形式通知提供异常数据的单位进行数据治理，以提升电网大数据的整体质量。然后各级单位之间可以通过知识共享模块进行经验以及数据的共享，提升了各级单位以及各部门之间的数据信息共享能力。
附图说明
图1为本发明的一种基于大数据平台的一体化动态线损管控系统的应用架构示意图；
图2为配电网数据异常分析模块的截图；
图3为erp数据异常分析模块的截图；
图4是本发明系统的总体数据架构图。
具体实施方式
具体实施方式一：结合图1、图2和图3说明本实施方式。本实施方式所述的一种基于大数据平台的一体化动态线损管控系统，所述系统包括：工单管理模块、配电网数据异常分析模块、erp数据异常分析模块、运行数据质量模块和知识共享模块，其中：
所述配电网数据异常分析模块用于对接入的台户关系数据和站线变关系数据进行统计分析，并输出分析结果为异常的数据；
统计分析是指通过后台脚本语言直接写进系统，然后根据类别再具体细分，例如：台户与站线关系分析；
所述erp数据异常分析模块用于对接入的资产数据和设备(erp)数据进行统计分析，并输出异常清单-设备资产对应率异常、异常清单-资产设备对应率异常、设备主数据合规率异常和资产主数据合规率异常的数据；
主数据是基准数据，是可以用于共享的数据，比如设备数据、人员数据。设备主数据是杆塔、变压器等信息的数据，设备数据是指电力设备的所有数据，包括杆塔、变压器等信息的数据，设备间关联关系的数据，设备停电的数据等；
所述运行数据质量模块用于对接入的电能表采集数据进行分析，并输出电能表采集的异常数据；
所述工单管理模块用于根据配电网数据异常分析模块、erp数据异常分析模块和运行数据质量模块输出的数据进行工单创建，并将创建的工单发送给提供异常数据的单位进行处理；
所述知识共享模块用于各级单位之间进行经验和文档的共享。
电网的各级单位共用本实施方式的系统，上级单位的系统可以执行配电网数据异常分析、erp数据异常分析、运行数据质量分析的功能，并根据三个数据分析模块的分析结果进行工单的创建，通过工单发起将异常数据以工单的形式下发给下级单位，下级单位在系统上可以查询到待办工单以进行接单，而下级单位同样也可以将接收到的工单转单给其他对应的单位和部门。如果下级单位认为数据没问题，可以退单回上级单位，或者将数据处理好后，回单给上级单位，上级单位的系统再次利用三个数据分析模块进行数据分析，如果数据没问题，则工单完成。相关数据之间可以进行工单的关联。
具体实施方式二：本实施方式与具体实施方式一不同的是：所述台户关系数据包括营销业务应用系统数据和用电信息采集系统数据，所述站线变关系数据包括生产管理系统数据(pms)。
所述配电网数据异常分析模块用于对接入的台户关系数据和站线变关系数据进行统计分析：对营销业务数据、运检业务数据、gis系统数据和用电信息采集数据进行融合。融合是指把几大类的数据放在一起，形成彼此关联。例如营销业务的变压器与运检业务的变压器通过gis中的营配关系形成关联等。
具体实施方式三：本实施方式与具体实施方式一不同的是：所述工单管理模块还用于各级单位之间进行工单查询。
具体实施方式四：本实施方式与具体实施方式一不同的是：所述接入的台户关系数据、站线变关系数据、资产数据、设备数据和电能表采集数据均从全业务统一数据中心接入。
为提高数据共享融合效率，提升数据质量，公司综合多个部门的数据需求，按照现行的数据集成管理要求，现制定以下几种共享数据集成方案：
1.从全业务统一数据中心接入全量数据。该方案优点是能够实现一中心接入、全业务覆盖；缺点是全业务统一数据中心正处于建设阶段，目前系统不够稳定，无法对外提供数据服务。
2.直接从源业务系统直接抽取原始数据表。该方案优点是可以快速定位数据质量问题；缺点是将会增加业务系统的资源消耗，影响系统正常运行。
3.从中间数据平台间接接入数据。该方案优点是已具备比较成熟的接入模式，接入较为快捷；缺点是数据中转环节较多，每个环节存在获取、传输、存储过程，数据实时性较差，数据质量降低。
综合三种方案的优缺点，以及国网对全业务统一数据中心的规划，数据接入优先选择从全业务统一数据中心接入，不具备条件时，从全业务统一数据中心的上游环节接入。
具体实施方式五：结合图4说明本实施方式。本实施方式与具体实施方式一不同的是：所述营销业务应用系统数据、生产管理系统数据、设备数据和资产数据是利用etl方式或ogg方式抽取到数据中心的基础数据层(即纵向交换区)的，再通过etl方式抽取到数据中心的明细数据层。
明细数据层主要是对海量数据的转换、融合，将相同类型的数据汇聚到一张表中，提高数据的易用性，为后期数据的计算、分析打基础。
ogg：是一种基于日志的结构化数据复制软件，它通过解析源数据库在线日志或归档日志获得数据的增量变化，再将这些变化应用到目标数据库，从而实现源数据库与目标数据库同步。ogg可以在异构的it基础结构包括几乎所有常用操作系统平台和数据库平台之间实现大量数据亚秒一级的实时复制，从而可以更好的满足企业海量结构化数据的接入需求。
etl：是将源业务系统采集接入的数据经过抽取、转换之后加载到数据中心，并对用户隐私信息进行脱敏处理，确保用户信息安全的过程。目的是将各专业中不同单位、不同种类、不同电压等级的数据整合到一起，为企业的决策提供分析依据。
具体实施方式六：本实施方式与具体实施方式一不同的是：所述用电信息采集系统数据是抽取到hbase库进行存储的。
hbase：hbase是一个在hadoop上开发的面向列存储的分布式数据库，依据hdfs作为其文件存储系统，利用mapreduce进行处理hbase中的海量数据，利用zookeeper作为协同服务，主要用于实时随机读取超大规模数据集，可以实现高性能的并发读写操作，同时hbase对数据进行透明的切分，这样就使得存储本身具有水平伸缩性。
hdfs：采用主从(master/slave)结构模型，一个hdfs集群是由一个namenode和若干个datanode组成的。namenode作为主服务器，管理文件系统命名空间和客户端对文件的访问操作。datanode管理存储的数据，大部分容错机制都是在datanode上实现的。hdfs支持文件形式的数据，具有全分布式架构、数据块粒度切分、在线扩容减容、复制备份及普通pc硬件适用性等特点，支撑了安全的pb级以上规模数据的在线存储，保证了大数据存储的安全性、低成本及可任意扩容性。
对于需要进行大量计算处理的任务采用spark组件进行定时计算，并将处理结果存储于运监数据处理区。对于需要进行合并关联汇总的事务逻辑处理数据，先抽取到运监数据处理区，再统一进行数据融合、关联合并最终形成数据宽表。再通过可视化组件对宽表数据基于统一风格进行展示。
具体实施方式七：本实施方式与具体实施方式四不同的是：所述台户关系数据、站线变关系数据、资产数据、设备数据和电能表采集数据均从全业务统一数据中心接入时，采用jdbc连接方式进行连接，使用sqoop工具进行数据抽取。
数据库：数据提供系统开放一个数据库账号，使用sqoop工具直接连库抽取，采用jdbc连接方式。禁止使用dblink连接数据库。
接口服务：对应特定类型的数据，应用系统通过一个接口服务对外共享数据，通过调用接口抽取数据。
数据同步工具：采用ogg、informatica等数据同步软件进行源到目的的数据复制。
具体实施方式八：本实施方式与具体实施方式五不同的是：所述etl方式和ogg方式通过ftp服务抽取数据。
ftp服务：对于文件类数据共享，数据提供系统将数据放在一个ftp上，通过ftp服务抽取数据。
具体实施方式九：本实施方式与具体实施方式一不同的是：所述将创建的工单发送给提供异常数据的单位进行处理，接收到工单的单位对异常数据进行数据治理，数据治理的过程包括数据治理溯源，数据治理溯源分为业务流溯源和数据流溯源。
数据治理需求
开展营配调数据治理需求分析，重点调研同期线损系统、供电服务指挥平台、配电网资源拓扑等方面的数据质量问题和营配调专业之间数据共享融合需要，确定数据治理需求。
数据治理溯源
数据质量校验和共享融合工作的开展依赖于从源到目的的数据溯源，数据流经各环节对应系统的过程将会产生海量的业务流程、系统处理和传输流程，分析数据产生的各类流程，为数据质量评估、数据整改提供依据，以实现数据全过程追溯。数据溯源主要分为两部分，分别为业务流溯源和数据流溯源。
业务流溯源：业务流程在交互过程中产生的过程。
治理方法：一是确定要进行溯源的业务，收集相关资料并进行初步研究和分析；二是采取现场调研方式，对相关业务进行深入了解和分析；三是整理调研结果，绘制业务流程图，分析存在问题及解决办法，形成业务溯源分析报告；四是绘制思维导图，对收集的数据治理需求进行分类、整理，为数据治理专项方案的编制梳理思路。
数据流溯源：数据在不同专业间流转所产生的流程。
治理方法：一是根据数据质量治理需求分析报告和数据共享融合需求方提出的数据需求开展数据溯源；二是按数据流向追溯相关数据流经的各个环节、中间平台直到源头系统，梳理数据的处理流程和传输流程；三是形成相关的数据字典、er图、数据流程图、数据模型。四是采用现场调研方式和数据运维单位进行确认。
数据质量校验
数据质量评估。对业务系统开展数据质量评估，实现源系统数据质量的整体评估以及异常数据的快速检查。从异常数据数量、影响范围、严重程度及数据质量问题响应度等多个维度制定源系统数据质量整体评价方法，并实现基于数据抽查、关键记录验证、历史数据分析、统计数据等多种统计方法的源系统数据质量整体评价的快速方法。
数据一致性校验。通过采集接入系统的海量数据，利用省地县一体化动态线损管控系统异常分析功能模块，开展数据治理工作，实现海量数据的一致率校验，针对异常数据，导出相应数据清单，下发相关单位完成数据整改，实现数据质量的提升。
数据治理整改
全面开展营配调数据治理工作。重点推进营配调业务数据治理、业务流程优化和系统完善等工作，推进营配调专业的信息共享、系统贯通和数据质量提升，深化同期线损系统、供电服务指挥平台等应用。
统筹开展erp和设备资产数据治理工作。一是开展本地erp系统数据治理工作，主要涉及公司本部、市县公司及直属单位。二是开展设备资产数据治理工作，主要是针对erp系统与pms、i6000、tms等专业系统之间的设备资产数据进行治理，提升设备资产数据的一致性、完整性，为实现多码联动奠定基础。
跨系统数据贯通
实现营配调系统贯通，满足营销、运检、调度专业业务融合和高级应用需要。建立完备的数据质量监管和考核体系，落实长效保障措施。进行数据治理二期的需求分析，将治理工作推广到更多的多元业务应用领域，开展长期性、常态化的数据治理工作。
具体实施方式十：本实施方式所述的一种基于大数据平台的一体化动态线损管控系统的管控方法，所述方法的具体过程为：
从全业务统一数据中心接入台户关系数据、站线变关系数据、资产数据、设备数据和电能表采集数据；
利用配电网数据异常分析模块对接入的台户关系数据和站线变关系数据进行统计分析，并输出分析结果为异常的数据；
利用erp数据异常分析模块对接入的资产数据和设备数据进行统计分析，并输出异常清单-设备资产对应率异常、异常清单-资产设备对应率异常、设备主数据合规率异常和资产主数据合规率异常的数据；
利用运行数据质量模块对接入的电能表采集数据进行分析，并输出电能表采集的异常数据；
配电网数据异常分析模块、erp数据异常分析模块和运行数据质量模块将输出的异常数据发送给工单管理模块，工单管理模块将异常信息反馈给提供异常数据的单位，由提供异常数据的单位进行数据整改；
各级单位之间通过知识共享模块进行经验和数据文档的共享。
本发明的上述算例仅为详细地说明本发明的计算模型和计算流程，而并非是对本发明的实施方式的限定。对于所属领域的普通技术人员来说，在上述说明的基础上还可以做出其它不同形式的变化或变动，这里无法对所有的实施方式予以穷举，凡是属于本发明的技术方案所引伸出的显而易见的变化或变动仍处于本发明的保护范围之列。
1.一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述系统包括：工单管理模块、配电网数据异常分析模块、erp数据异常分析模块、运行数据质量模块和知识共享模块，其中：
所述配电网数据异常分析模块用于对接入的台户关系数据和站线变关系数据进行统计分析，并输出分析结果为异常的数据；
所述erp数据异常分析模块用于对接入的资产数据和设备数据进行统计分析，并输出异常清单-设备资产对应率异常、异常清单-资产设备对应率异常、设备主数据合规率异常和资产主数据合规率异常的数据；
所述运行数据质量模块用于对接入的电能表采集数据进行分析，并输出电能表采集的异常数据；
所述工单管理模块用于根据配电网数据异常分析模块、erp数据异常分析模块和运行数据质量模块输出的数据进行工单创建，并将创建的工单发送给提供异常数据的单位进行处理；
所述知识共享模块用于各级单位之间进行经验和数据文档的共享。
2.根据权利要求1所述的一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述台户关系数据包括营销业务应用系统数据和用电信息采集系统数据，所述站线变关系数据包括生产管理系统数据。
3.根据权利要求1所述的一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述工单管理模块还用于各级单位之间进行工单查询。
4.根据权利要求1所述的一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述接入的台户关系数据、站线变关系数据、资产数据、设备数据和电能表采集数据均从全业务统一数据中心接入。
5.根据权利要求1所述的一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述营销业务应用系统数据、生产管理系统数据、设备数据和资产数据是利用etl方式或ogg方式抽取到数据中心的基础数据层，再通过etl方式抽取到数据中心的明细数据层。
6.根据权利要求1所述的一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述用电信息采集系统数据是抽取到hbase库进行存储的。
7.根据权利要求4所述的一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述台户关系数据、站线变关系数据、资产数据、设备数据和电能表采集数据均从全业务统一数据中心接入时，采用jdbc连接方式进行连接，使用sqoop工具进行数据抽取。
8.根据权利要求5所述的一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述etl方式和ogg方式通过ftp服务抽取数据。
9.根据权利要求1所述的一种基于大数据平台的一体化动态线损管控系统，其特征在于，所述将创建的工单发送给提供异常数据的单位进行处理，接收到工单的单位对异常数据进行数据治理，数据治理的过程包括数据治理溯源，数据治理溯源分为业务流溯源和数据流溯源。
10.基于权利要求1所述的一种基于大数据平台的一体化动态线损管控系统的管控方法，其特征在于，所述方法的具体过程为：
从全业务统一数据中心接入台户关系数据、站线变关系数据、资产数据、设备数据和电能表采集数据；
利用配电网数据异常分析模块对接入的台户关系数据和站线变关系数据进行统计分析，并输出分析结果为异常的数据；
利用erp数据异常分析模块对接入的资产数据和设备数据进行统计分析，并输出异常清单-设备资产对应率异常、异常清单-资产设备对应率异常、设备主数据合规率异常和资产主数据合规率异常的数据；
利用运行数据质量模块对接入的电能表采集数据进行分析，并输出电能表采集的异常数据；
配电网数据异常分析模块、erp数据异常分析模块和运行数据质量模块将输出的异常数据发送给工单管理模块，工单管理模块将异常信息反馈给提供异常数据的单位，由提供异常数据的单位进行数据整改；
各级单位之间通过知识共享模块进行经验和数据文档的共享。
技术总结