技术领域:
本发明涉及配网技术领域,特别是涉及一种基于图数据库技术的电网动态拓扑结构智能识别方法。
背景技术:
:
随着系统建设的持续推进,公司信息化、数字化水平不断提高,但在系统、数据应用过程中,存在着数据不完整、不准确等数据质量问题。数据质量是数据的生命,是企业开展数据应用、实现价值挖掘的基础。数据质量管控是公司建成信息化、自动化、互动化智能电网的重要保障,低质量的数据将导致业务流程阻塞、成本增加甚至决策困难等一系列的严重问题。
电力行业网架设备是电量输送的基础,其中配网网架与用户用电体验密切相关,配网台账数据存储于电力公司的营销系统、生产管理系统(pms)、地理信息系统(gis)中,这些台账数据存在很多数据质量问题,其中以数据不完整、属性值不准确、数据关系错误问题最为突出,最难解决。
(1)数据不完整问题是指数据没有覆盖所有的真实存在的实体对象,一些实际存在的实体对象在系统中没有对应的台账数据。
(2)数据不准确问题是指某些台账数据的某些属性值与实际实体对象的真实属性不相符。
(3)数据关系错误问题是指台账数据之间的关联关系不符合电网业务规则,或者与现场实际不相符。
因此如何通过建立合理的业务数据更新流程和智能化的设备信息纠错模型,保证公司设备台账的准确对应,设备关系的实时更新,成为了当前管理公司设备资产和数据资产的首要问题。
技术实现要素:
:
本发明所要解决的技术问题是:克服现有技术的不足,综合gis、pms、营销的台账数据,使用图数据库技术构建电网网架图,基于图进行电网拓扑逻辑分析,发现电网网架图中的连接关系错误的数据质量问题,并使用台区线损反推户变关系错误问题的基于图数据库技术的电网动态拓扑结构智能识别方法。
本发明的技术方案是:一种基于图数据库技术的电网动态拓扑结构智能识别方法,基于电网网架模型,运用图数据库技术,将各个业务系统的台账数据转换为电网网架拓扑图,使用各个业务系统的电网网架拓扑图生成融合网架图,对于这些电网网架拓扑图进行核查,其具体步骤是:
步骤一,对各系统的台账数据进行采集,并识别提取相应的数据信息;
步骤二,以文本相似度、共有属性一致性、图结构特征作为模型分析规则,并通过随机森林、支持向量机和神经网络算法,分别对提取的数据信息进行逻辑核查,并得出核查分析结果;
步骤三,通过数据清洗去除核查后台账数据中的过时数据、无效数据,重复数据;
步骤四,基于国网sg-cim3.0数据标准,运用图数据库技术,将清洗后的台账数据转换为电网网架拓扑图,存储在图数据库中;
步骤五,通过电网网架拓扑图中的连接关系存在的错误及数据质量问题,使用台区线损反推,找出户变关系中存在的错误问题。
进一步的,所述步骤二中,逻辑核查包括:(1)、标准的电网网架核查;(2)、营销、gis、pms图核查;(3)、一致性核查;(4)、图融合核查。
进一步的,所述步骤三中,数据清洗的步骤是:(1)、对数据中所包含的不相关及冗余字段进行剔除操作;其次筛选出符合条件的数据,对不满足要求的数据进行剔除;(2)、在数据筛选步骤完成之后,数据中所含缺失值数量较少,对后续分析结果影响不大,故对于缺失值采用删除处理;(3)、针对数据量纲不统一影响后续数据分析的问题,对数据进行归一化处理。
进一步的,所述步骤四中,将各单系统网架图重叠,各图中相同的节点和关系合并为一个,各个图中独有的节点和关系全部添加到融合图。
进一步的,所述步骤五中,各个图的相同节点合并成一个时,节点的属性值也将进行合并,如果待合并的节点的属性值都相同,那么合并后的属性值可以确定;否则,合并后的属性值为”有歧义”,并对相关的业务系统进行排查,找出出现错误的业务系统台账。
本发明的有益效果是:
本发明基于国网sg-cim3.0数据标准,运用图数据库技术,将各个业务系统的台账数据转换为电网网架拓扑图,使用各个业务系统的电网网架拓扑图生成融合网架图,对于这些电网网架拓扑图进行核查;提出一套标准的、全面的、可信的数据核查逻辑算法,适用于任何存储有配网台账数据的业务系统进行数据核查,避免以往人工数据核查方式各个业务系统需要编写专用的数据核查逻辑算法的问题。
对于各个系统的台账数据分别进行逻辑核查,可以发现属性不完整、数据不规范、明显的数据不准确、数据关系违反业务规则的问题。但是无法发现数据不完整、数据值与实际情况不符、数据关系与实际情况不符的问题。通过系统间数据横向对比可以发现这些遗留的数据问题。
电网台账数据在各个业务系统都有存储,某个业务系统缺失的台账数据可能在其他的业务系统中存在有记录;某个业务系统错误的台账数据、数据关系可能在其他的业务系统存在正确的台账记录、正确的数据关系记录。
通过横向比较多个业务系统中的台账数据,发现各个系统之间不一致的数据、数据属性、数据关系,这些不一致的内容就是可疑的数据问题。对这些不一致的内容进行进一步确认,就可以发现错误的数据。
横向比较多个业务系统的台账数据需要依赖营配贯通成果,横向比较多个业务系统的台账数据时能够发现营配贯通存在的错误。因此,横向比较多个业务系统的台账数据还可以起到核查营配贯通成果的作用。
附图说明:
图1为本发明的理论流程框图。
图2为本发明的系统架构框图。
图3为电网网架元模型设计图。
图4为数据清洗过程框图。
图5为依据电网网架元模型生成的电网拓扑图。
图6为单系统网架图融合为融合图的过程图。
图7为逻辑核查执行过程框图。
具体实施方式:
实施例:参见图1、图2、图3、图4、图5、图6和图7。
基于图数据库技术的电网动态拓扑结构智能识别方法,其步骤是:步骤一:对各系统的台账数据进行采集,并识别提取相应的数据信息;步骤二:以文本相似度、共有属性一致性、图结构特征作为模型分析规则,并通过随机森林、支持向量机和神经网络算法,分别对提取的数据信息进行逻辑核查,并得出核查分析结果;步骤三:通过数据清洗去除核查后台账数据中的过时数据、无效数据,重复数据;步骤四:基于国网sg-cim3.0数据标准,运用图数据库技术,将清洗后的台账数据转换为电网网架拓扑图,存储在图数据库中;步骤五:通过电网网架拓扑图中的连接关系存在的错误及数据质量问题,使用台区线损反推,找出户变关系中存在的错误问题。
下面结合附图和实施例对本申请进行详细描述。
步骤一:对各系统的台账数据进行采集,并识别提取相应的数据信息;
对于电子台账通过数据线或者u盘进行传输,对于纸质台账通过图形识别技术进行自动识别输入或者人工手动输入。
步骤二:以文本相似度、共有属性一致性、图结构特征作为模型分析规则,并通过随机森林、支持向量机和神经网络算法,分别对提取的数据信息进行逻辑核查,并得出核查分析结果;
逻辑核查包括:(1)、标准的电网网架核查:由于不同业务系统的台账数据转换成了标准的电网网架拓扑图进行核查,因此,核查逻辑是唯一的、标准的。核查的方式是检查电网网架拓扑图是否有不符合电网网架逻辑的拓扑关系。
(2)、营销、gis、pms图核查:单业务系统内的数据核查可以发现属性不完整问题、数据不规范问题、明显的数据不准确问题、数据关系违反业务规则的问题。这些问题举例说明如下:
属性不完整问题。例如,用电客户缺少用户类别值。
属性值不规范问题。例如,用户联系人电话是1376654342,少了一位;用户身份证号码是y10111197210246576。
明显的数据不准确问题。例如,用电客户的送电日期是1933年7月23日。
数据关系违反业务规则。例如,一个10kv馈线关联了两个变电站(规则是一个10kv馈线只能关联一个变电站)。
单业务系统内的数据核查无法发现数据不完整、数据值与实际情况不符、数据关系与实际情况不符的问题。这些问题举例说明如下:
数据不完整问题,例如,实际电网有杨金变杨金5板贺柳线,但是营销系统馈线台账中没有此线路。
数据值与实际不相符的问题。例如,新华北路27号用户用电类型是居民,实际上应该是商业用户。
(3)、一致性核查;一致性核查的目的是横向比较各个业务系统的台账数据,发现相对于其他系统缺失的台账数据,解决业务系统数据不完整的问题。一致性核查的基础是营配贯通成果。
(4)、图融合核查:单业务系统拓扑图核查无法发现某些拓扑关系符合业务逻辑,但是却和实际电网情况不符的问题。同样的拓扑关系可能在其他业务系统中有正确的记录。通过图融合就能发现这样的问题。
步骤三:通过数据清洗去除核查后台账数据中的过时数据、无效数据,重复数据;
数据清洗的步骤是:(1)、对数据中所包含的不相关及冗余字段进行剔除操作;其次筛选出符合条件的数据,对不满足要求的数据进行剔除;(2)、在数据筛选步骤完成之后,数据中所含缺失值数量较少,对后续分析结果影响不大,故对于缺失值采用删除处理;(3)、针对数据量纲不统一影响后续数据分析的问题,对数据进行归一化处理。
步骤四:基于国网sg-cim3.0数据标准,运用图数据库技术,将清洗后的台账数据转换为电网网架拓扑图,存储在图数据库中;
这个数据标准被称为电网网架元模型。电网网架元模型依据国网sg-cim3.0设计,定义了真实电网中各类实体以及实体之间的关系。
图数据库中的图是由顶点(vertex),边(edge)组成的,顶点和边都可以设置属性,顶点也称作节点,边也称作关系,每个节点和关系都可以由一个或多个属性。
融合电网网架拓扑图的生成方式是,将各单系统网架图重叠,各图中相同的节点和关系合并为一个,各个图中独有的节点和关系全部添加到融合图。
步骤五:通过电网网架拓扑图中的连接关系存在的错误及数据质量问题,使用台区线损反推,找出户变关系中存在的错误问题。
各个图的相同节点合并成一个时,节点的属性值也将进行合并,如果待合并的节点的属性值都相同,那么合并后的属性值可以确定;否则,合并后的属性值为”有歧义”,并对相关的业务系统进行排查,找出出现错误的业务系统台账。
以上所述,仅是本发明的较佳实施例而已,并非对本发明作任何形式上的限制,凡是依据本发明的技术实质对以上实施例所作的任何简单修改、等同变化与修饰,均仍属于本发明技术方案的范围内。
1.一种基于图数据库技术的电网动态拓扑结构智能识别方法,基于电网网架模型,运用图数据库技术,将各个业务系统的台账数据转换为电网网架拓扑图,使用各个业务系统的电网网架拓扑图生成融合网架图,对于这些电网网架拓扑图进行核查,其具体步骤是:
步骤一、对各系统的台账数据进行采集,并识别提取相应的数据信息;
步骤二、以文本相似度、共有属性一致性、图结构特征作为模型分析规则,并通过随机森林、支持向量机和神经网络算法,分别对提取的数据信息进行逻辑核查,并得出核查分析结果;
步骤三、通过数据清洗去除核查后台账数据中的过时数据、无效数据,重复数据;
步骤四、基于国网sg-cim3.0数据标准,运用图数据库技术,将清洗后的台账数据转换为电网网架拓扑图,存储在图数据库中;
步骤五、通过电网网架拓扑图中的连接关系存在的错误及数据质量问题,使用台区线损反推,找出户变关系中存在的错误问题。
2.根据权利要求1所述的基于图数据库技术的电网动态拓扑结构智能识别方法,其特征是:所述步骤二中,逻辑核查包括:(1)、标准的电网网架核查;(2)、营销、gis、pms图核查;(3)、一致性核查;(4)、图融合核查。
3.根据权利要求1所述的基于图数据库技术的电网动态拓扑结构智能识别方法,其特征是:所述步骤三中,数据清洗的步骤是:(1)、对数据中所包含的不相关及冗余字段进行剔除操作;其次筛选出符合条件的数据,对不满足要求的数据进行剔除;(2)、在数据筛选步骤完成之后,数据中所含缺失值数量较少,对后续分析结果影响不大,故对于缺失值采用删除处理;(3)、针对数据量纲不统一影响后续数据分析的问题,对数据进行归一化处理。
4.根据权利要求1所述的基于图数据库技术的电网动态拓扑结构智能识别方法,其特征是:所述步骤四中,将各单系统网架图重叠,各图中相同的节点和关系合并为一个,各个图中独有的节点和关系全部添加到融合图。
5.根据权利要求1所述的基于图数据库技术的电网动态拓扑结构智能识别方法,其特征是:所述步骤五中,各个图的相同节点合并成一个时,节点的属性值也将进行合并,如果待合并的节点的属性值都相同,那么合并后的属性值可以确定;否则,合并后的属性值为”有歧义”,并对相关的业务系统进行排查,找出出现错误的业务系统台账。
技术总结