一种基于进化聚类的告警簇划分方法、系统及设备

    专利2025-04-02  11


    本发明属于电力系统告警日志关联分析领域,特别涉及一种基于进化聚类的告警簇划分方法、系统及设备。


    背景技术:

    1、随着信息技术的不断发展,新电力系统的安全稳定运行需要依赖于高度信息化的网络通信和安全防护。然而,随着电力系统的规模和构成日益复杂,相关电力系统信息网络攻击的研究表明,新型元件、设备和结构的引入给新型电力系统带来了更多的不确定因素和风险。目前电力系统多通过部署安全监测与防护设备,并通过网络安全态势感知平台汇聚海量告警,然而在安全运营保障过程中,存在以下难点问题:

    2、(1)告警数量巨大:规模庞大、结构复杂、网络行为频繁的电力系统信息网络在日常生产中会产生海量的网络安全日志。

    3、(2)告警误报:网络安全日志中大部分为常规业务或配置错误导致的低危告警和误报,严重影响安全分析人员的处理效率。

    4、(3)告警漏报:现有网络安全检测设备基于规则库对单条流量进行分析,由于规则设置不全面,可能遗漏大量高危事件。

    5、因此,如何有效地应对告警流量不断增长所带来的实时性和告警处理有效性降低的难题,成为了电力系统面临的重大挑战。

    6、针对以上问题,已有大量基于聚类方法的技术被提出,然而现有的聚类方法仅基于网路的拓扑特征挖掘网络中的密集连接区域,可解释性差,难以解释特定业务场景,并且随着新型设备的接入、新补丁和协议的采用、网络环境的变化以及攻击手段的发展,网络告警日志的状态空间不断演变,现有的静态聚类方法用于实时演化网络的分析处理时具有划分不稳定的缺陷,而动态聚类方法难以满足大型网络的实时性处理要求。


    技术实现思路

    1、本发明的目的在于提供一种基于进化聚类的告警簇划分方法、系统及设备,解决了新电力系统安全稳定运行产生的告警数量在进行分析时存在的划分不稳定、实时性不足的缺陷。

    2、为了达到上述目的,本发明采用的技术方案是:

    3、本发明提供的一种基于进化聚类的告警簇划分方法,包括以下步骤:

    4、步骤1,将获取的原始告警日志表征为告警网络;

    5、步骤2,对得到的告警网络进行时间切片处理,得到按时序排列的多个子告警网络;

    6、步骤3,将初始时间切片对应的子告警网络划分为告警簇;

    7、步骤4,结合初始时间切片对应的子告警网络对应的划分结果,利用短时记忆、长时记忆和选择性遗忘策略对剩余的子告警网络进行初始化划分,得到初始化划分结果;

    8、步骤5,在得到的初始化划分结果基础上,将剩余的子告警网络划分为告警簇。

    9、优选地,步骤3中,将初始时间切片对应的子告警网络划分为告警簇,具体方法是:

    10、采用社团划分算法或人工赋值方法为初始时间切片对应的子告警网络中每个节点赋予告警簇标签,完成初始时间切片对应的子告警网络告警簇的划分。

    11、优选地,步骤4中,结合初始时间切片对应的子告警网络对应的划分结果,利用短时记忆、长时记忆和选择性遗忘策略对剩余的子告警网络进行初始化划分,得到初始化划分结果:

    12、按时序关系,获取当前时间切片对应的子告警网络和前一时间切片对应的子告警网络之间共存的节点,形成共存节点集合;

    13、利用短时记忆获取共存节点集合中每个节点在前一时间切片的社团标签,形成共存节点社团标签集合;

    14、利用长时记忆获取共存节点集合中每个节点在当前时间切片的留存时间,形成共存节点留存时间集合;

    15、利用选择性遗忘策略获取共存节点集合中每个节点中的度数变化情况,形成共存节点度数变化集合;

    16、基于共存节点留存时间集合和共存节点度数变化集合,在共存节点集合中选择满足设定条件的共存节点,组成共存节点子集合;

    17、利用共存节点社团标签集合,将共存节点子集合中每个节点在当前时间切片的告警簇初始化为其对应的历史告警簇标签;

    18、共存节点集合中剩余的每个节点的告警簇初始化为仅包含其自身的告警簇标签。

    19、优选地,在共存节点集合中选择满足设定条件的共存节点,具体方法是:

    20、在共存节点集合中选择留存时间较长且度数变化较小的节点。

    21、优选地,在共存节点集合中选择满足设定条件的共存节点,具体方法是:

    22、计算共存节点集合中每个节点的评价指标;

    23、计算共存节点数占当前时间切片对应的子告警网络中所有节点比例的sigmod函数值,作为保存节点比例;

    24、将评价指标升序排列后,按保存节点比例从前到后选取节点,得到共存节点子集合。

    25、优选地,步骤5中,在得到的初始化划分结果基础上,将剩余的子告警网络划分为告警簇,具体方法是:

    26、在得到的初始化划分结果基础上,利用模块度优化算法将剩余的子告警网络再次划分为告警簇。

    27、一种基于进化聚类的告警簇划分系统,包括:

    28、告警网络表征单元,用于将获取的原始告警日志表征为告警网络;

    29、时间切片单元,用于对得到的告警网络进行时间切片处理,得到按时序排列的多个子告警网络;

    30、告警簇划分单元,用于将初始时间切片对应的子告警网络划分为告警簇;

    31、结合初始时间切片对应的子告警网络对应的划分结果,利用短时记忆、长时记忆和选择性遗忘策略对剩余的子告警网络进行初始化划分,得到初始化划分结果;

    32、告警簇再次划分单元,用于在得到的初始化划分结果基础上,将剩余的子告警网络划分为告警簇。

    33、一种基于进化聚类的告警簇划分设备,包括处理器、以及能够在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现所述方法的步骤。

    34、与现有技术相比,本发明的有益效果是:

    35、本发明提供的一种基于进化聚类的告警簇划分方法,基于进化聚类框架,通过引入历史经验,结合长时记忆、短时记忆和选择性遗忘策略改进了louvain算法基于贪心策略的不稳定性,能够更加充分的挖掘不断演化的告警网络中长期存在的稳定结构以及告警网络短期发生的波动;同时,本发明能够通过改变初始化社团划分算法或通过人工给定标签,得到更加适用于特征业务场景的告警簇划分结果,增强了告警簇划分的可解释性。

    36、综上,本发明的算法时间复杂度较低,能够实现对工业互联网全年海量告警数据实时关联分析处理,极大的提高了告警分析处理的效率。



    技术特征:

    1.一种基于进化聚类的告警簇划分方法,其特征在于,包括以下步骤:

    2.根据权利要求1所述的一种基于进化聚类的告警簇划分方法,其特征在于,步骤3中,将初始时间切片对应的子告警网络划分为告警簇,具体方法是:

    3.根据权利要求1所述的一种基于进化聚类的告警簇划分方法,其特征在于,步骤4中,结合初始时间切片对应的子告警网络对应的划分结果,利用短时记忆、长时记忆和选择性遗忘策略对剩余的子告警网络进行初始化划分,得到初始化划分结果:

    4.根据权利要求3所述的一种基于进化聚类的告警簇划分方法,其特征在于,在共存节点集合中选择满足设定条件的共存节点,具体方法是:

    5.根据权利要求3所述的一种基于进化聚类的告警簇划分方法,其特征在于,在共存节点集合中选择满足设定条件的共存节点,具体方法是:

    6.根据权利要求1所述的一种基于进化聚类的告警簇划分方法,其特征在于,步骤5中,在得到的初始化划分结果基础上,将剩余的子告警网络划分为告警簇,具体方法是:

    7.一种基于进化聚类的告警簇划分系统,其特征在于,包括:

    8.一种基于进化聚类的告警簇划分设备,包括处理器、以及能够在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1-6中任一项所述方法的步骤。


    技术总结
    本发明提供的一种基于进化聚类的告警簇划分方法、系统及设备,包括以下步骤:步骤1,将获取的原始告警日志表征为告警网络;步骤2,对得到的告警网络进行时间切片处理,得到按时序排列的多个子告警网络;步骤3,将初始时间切片对应的子告警网络划分为告警簇;步骤4,结合初始时间切片对应的子告警网络对应的划分结果,利用短时记忆、长时记忆和选择性遗忘策略对剩余的子告警网络进行初始化划分,得到初始化划分结果;步骤5,在得到的初始化划分结果基础上,将剩余的子告警网络划分为告警簇;本发明的算法时间复杂度较低,能够实现对工业互联网全年海量告警数据实时关联分析处理,极大的提高了告警分析处理的效率。

    技术研发人员:刘杨,张世龙,王云,罗合,陈鸿祥,吴美琪,徐子森,阮高飞,鲍远义
    受保护的技术使用者:西安交通大学
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-84910.html

    最新回复(0)