一种基于近似依赖规则的无线通信网络异常检测方法

    专利2026-02-27  11


    本发明涉及智慧运维,具体提出了一种基于近似依赖规则的无线通信网络异常检测方法。


    背景技术:

    1、无线通信网络异常检测,旨在从网络监控工具采集到的参数数据中及时准确地发现状态异常的无线通信网络,帮助网络管理及运维人员准确定位并解决网络故障,为无线通信网络稳定运行提供技术保障。然而,无线通信网络的特征指标众多、且指标间存在复杂的关联,正常网络状态和异常网络状态下指标间的规则也不相同。传统的无线通信网络异常检测,主要基于网络运维人员的工作经验,对人工认定重要的网络特征指标设定门限值,根据数据是否超过门限值进行异常检测,当面对数量多且存在复杂关联的网络特征指标时,其准确性和人工成本已无法满足当前新基建快速推进的需求,也无法满足网络维护人员精准发现网络异常并快速定位异常原因的需要。如何通过数据分析和规则挖掘方法,对网络运行的参数数据进行异常检测,成为了目前亟待解决的问题,具有重要的现实意义。

    2、基于关联规则的方法根据待检测数据是否违反关联规则进行异常检测,网络维护人员可通过规则推断网络异常原因,从而更好地解决网络故障。例如,马帅等(专利<(一种面向控制过程的异常检测系统)202011276874.1>,2020)通过无监督的方式从正常数据中挖掘非冗余的关联规则,对违背关联规则的测试数据,根据数据连续违背规则的时长和容忍度,判断数据是否异常,能有效减少误报并提高检测效率。杜嘉伟等(<智能计算机与应用(基于改进模糊fp-growth的异常检测算法)>,2022)构建两层频繁模式树来挖掘关联规则,第一层通过随机采样挖掘长频繁项集,第二层根据长频繁项集挖掘强关联规则集,使用该方法挖掘的关联规则对黑箱数据异常检测有较高的准确率和召回率。然而,此类方法不适用于有监督的异常检测,难以有效利用网络运行日志中网络状态异常的样本,只对网络异常数据挖掘敏感关联规则,导致异常检测准确率较低,且此类方法只能对训练数据中存在的属性值挖掘关联规则,对新数据会出现规则缺失的问题,导致异常检测召回率较低。

    3、基于深度神经网络的异常检测方法,使用深度神经网络可学习到复杂的数据特征,从而具有较高的准确率和召回率。例如,尚文利等(<电子学报(基于sae-lstm的工艺数据异常检测方法)>,2021)对工艺数据进行相关性分析和向量映射等处理,采用堆叠自编码神经网络对工艺数据特征进行降维,并基于长短期记忆神经网络设计异常检测模型,有效提高了工艺数据异常检测的准确率。周业瀚等(<南京大学学报(基于生成式对抗网络的自监督多元时间序列异常检测方法)>,2023)首先使用对比学习方法得到多元时序数据的表示向量,再将具有先验信息的表示向量作为输入来训练生成对抗网络,通过生成对抗网络的重构误差来确定异常,该方法针对异常点和异常段两种不同类型的异常检测具有良好的表现。然而,此类方法存可解释性差、且无法推断产生异常的原因。

    4、基于关联规则的异常检测方法,由于关联规则描述的是属性值之间的依赖关系,导致规则缺失、不适用于有监督的异常检测,针对无线通信网络异常检测任务的准确率和召回率都较低。近似函数依赖(approximate functional dependency,afd)描述了属性之间的依赖关系,可解决上述关联规则在无线通信网络异常检测任务中存在的问题,然而现有的afd挖掘方法效率较低,难以处理具有较多网络特征指标的运维数据的分析及相应的异常检测任务。

    5、为克服上述公知方法准确率和召回率较低、无法推断无线通信网络异常原因,以及现有afd挖掘方法效率低的问题,本发明公开了一种基于近似依赖规则(approximatedependency rule, adr)的无线通信网络异常检测方法。


    技术实现思路

    1、针对基于关联规则的异常检测方法准确率和召回率较低、基于深度神经网络的异常检测方法无法推断网络异常原因的问题,本发明提出了一种基于近似依赖规则的无线通信网络异常检测方法,结合概率图模型、条件独立性分析及可信互信息,高效地挖掘近似依赖规则,并利用近似依赖规则对无线通信网络运行日志的参数数据进行异常检测,为网络运维人员精准发现状态异常的网络并推断异常原因提供科学依据。

    2、为实现以上目的,本发明通过以下技术方案予以实现:一种基于近似依赖规则的无线通信网络异常检测方法,该方法包括以下步骤:

    3、step1、运维概率图的构建:从网络监控工具采集的网络参数和故障日志构建网络运维数据集,从网络特征指标中选出与网络状态强相关的关键特征指标集,对连续型关键特征指标的数据进行离散化处理,得到关键运维数据集,并根据关键特征指标的类别信息及关键运维数据集中网络状态为“正常”的样本,分别构建区域内和区域间概率图(probabilistic graph, pg),得到描述关键特征指标依赖关系及其不确定性的运维概率图(operation pg, opg);

    4、step2、近似函数依赖搜索:先根据opg的结构,将关键特征指标间afd的搜索限制在各个相关指标组中,基于条件独立性分析方法对冗余afd进行剪枝并生成候选afd集,根据关键运维数据集中的正常样本计算候选afd的可信互信息(believablemutualinformation, bmi)评分,并使用评分上界对低评分的候选afd进行剪枝,最后为每个关键特征指标选择评分最高的k个候选afd;

    5、step3、近似依赖规则筛选:根据关键运维数据集中网络状态为“异常”的样本对afd的影响度,筛选step2中的afd,得到对异常样本敏感的adr;

    6、step4、无线通信网络异常检测:使用待检测的网络参数样本和运维数据中的正常样本构造测试数据集,根据step3中的adr,在正常样本中挖掘核心元组、在测试数据集中挖掘高频元组,对违反核心元组的样本判断其网络状态为异常,对违反高频元组的样本使用异常代价判断其网络状态是否异常。

    7、优选的,step1具体包括,关键特征指标筛选、连续型关键特征指标数据离散化和运维概率图的构建;

    8、step1.1关键特征指标筛选

    9、无线通信网络运行过程中,多种平台的网络监控工具定时采集网络参数数据,包括采集时间、网络标识、网络所在地区等公共字段及反映网络运行状况的参数,当用户投诉或运维人员发现网络故障时,故障日志记录了故障网络的网络标识和故障发生时间等信息。基于网络参数和故障日志构建网络运维数据集,,,,,,为中任一网络参数样本,,,,为正常样本,,,,为异常样本,每条网络参数样本都记录了网络特征指标集,,,,,的取值,其中,表示第个网络特征指标,,,,中网络特征指标的取值为连续型数据,,,,中网络特征指标的取值为离散型数据。

    10、在网络特征指标集中只有部分网络特征指标与网络状态是否异常相关,不相关的网络特征指标对异常检测效果无益且会导致效率低下。因此,本发明使用relief算法筛选对网络状态具有重要影响的关键特征指标,具体步骤为:

    11、step1.11按照公式(1)计算所有网络特征指标,,…,与网络状态的相关统计量:

    12、(1)

    13、其中,表示中第条网络参数样本在上的取值,表示与网络状态相同且欧式距离最近的样本在上的取值,表示与网络状态不同且欧式距离最近的样本在上的取值,若,则,若,则时,否则为1,越大,网络特征指标对样本网络状态是否异常的分辨能力就越强。

    14、step1.12设定阈值,通过检索找到所有满足的网络特征指标,构建关键特征指标集,,,,,,其中,是第个关键特征指标,,,,中关键特征指标的取值为连续型数据,,,,中关键特征指标的取值为离散型数据。

    15、

    16、step1.2:连续型关键特征指标数据离散化

    17、为了方便构建opg结构并挖掘afd,本发明通过先分类再聚类的方式,将每个连续型关键特征指标,,…,对应数据,,…,进行离散化处理,其中,是上第个数据点的取值。由于离散化后数据点取值的类别数未知,无法预设聚类类别数,因此,先计算最小类间距,据此对数据点分类,为了避免大量的数据点被分到同一类,从而失去对它们的区分度,再对数据点过多的类别进行聚类,以保证各个类内的数据点数目分布合理,具体步骤如下:

    18、step1.21设定最大类别占比,最小类间距系数。

    19、step1.22将按照取值从小到大重新排序得到。

    20、step1.23使用公式(2)计算数据点间最小间距的平均值:

    21、(2)

    22、step1.24计算最小类间距,以及中所有数据点的间距,,…,,若,则将第个数据点前后的数据点分为不同的类别,重复该步骤次,得到分类结果,,,。

    23、step1.25从分类结果,,,中顺序选取类别,若中数据点的取值有多种且数据点数大于,则递归地使用k-means算法将中数据点聚为2类,直到每个类别数据点数均不超过或类中数据点只有一种取值。

    24、step1.26重复执行step1.25次。

    25、step1.27完成聚类后,中的数据点被划分为个类,按照取值由小到大对类别从1到编号,并将中数据点的值改为中对应数据点的类别编号。

    26、step1.3:运维概率图的构建

    27、经过step1.1和step1.2对网络特征指标进行筛选,得到关键特征指标集,并对连续型关键特征指标的数据离散化处理,得到关键运维数据集,,,,,,为中任一样本,使用其中的正常样本构造正常运维数据集,,,,根据业务专家对网络特征指标划分的类网络特征类别,将划分为,,,,其中,,,,表示第类网络特征类别的关键特征指标集,是中关键特征指标数。基于正常运维数据集和关键特征指标集构建opg,其中,opg的节点集为关键特征指标集,有向边描述了正常网络状态下关键特征指标之间的依赖关系。

    28、爬山法是用来学习以贝叶斯网为代表的具有有向无环图结构的概率图模型的经典方法,其搜索空间随节点数增加呈指数增长,而无线通信网络的关键特征指标数量较多,学习opg的时间复杂度也较高。针对该问题,本发明提出一种分区域构建opg的方法,由于同一网络特征类别中关键特征指标间的关联性强,不同网络特征类别中关键特征指标间的关联性弱,首先以类关键特征指标集,,,作为节点集构建个区域pg,描述每个网络特征类别中关键特征指标间的依赖关系,然后选取各区域pg的根节点和叶节点构建区域间pg,描述不同网络特征类别的关键特征指标间的依赖关系,最后根据区域间pg的边将个区域pg连接,就得到了描述正常网络状态下关键特征指标间依赖关系的opg。按照网络特征类别分区域构建opg,每个区域pg和区域间pg的节点数较少,降低了传统概率图模型学习的时间复杂度。

    29、step1.31:运维概率图结构评分

    30、本发明基于评分搜索(scoring & search)的方法构建opg,涉及模型与数据吻合度评分和候选结构搜索两个关键步骤。吻合度评分方面,贝叶斯信息准则(bayesianinformation criterion, bic)是一种常用的基于贝叶斯定理和信息论的评分函数,通过对模型与数据拟合的精确程度及模型自身的复杂程度进行权衡,来评估不同模型之间的优劣。然而,bic评分未考虑单条有向边的方向与对应关键特征指标之间依赖的方向是否吻合,即使得到的pg整体结构与正常运维数据集吻合,而部分边的方向与关键特征指标间的依赖关系方向可能相反,导致pg的根节点和叶节点错误,因此,本发明在bic评分的基础上引入依赖关系方向评分(dependent direction scoring,dds),评估单条有向边终点关键特征指标对起点关键特征指标的依赖程度,给出一种新的评分准则bic-dds,可保证整体模型与观测数据吻合,同时有向边方向与对应关键特征指标间依赖关系方向相吻合,使用公式(3)计算第类网络特征类别的某个候选区域pg的评分:

    31、(3)

    32、(4)

    33、其中,是节点父节点取值组合数,是节点取值数,表示中取值为第种状态、的父节点取值为第种状态时的样本数,,表示该结构边的依赖方向评分、是边起点给定情况下终点的信息熵的相反数,是该候选结构的边数,是边起点取值数,是边终点取值数,表示中终点取值为第种状态、起点取值为第种状态时的样本数,。

    34、的bic-dds评分是该候选结构对第类关键特征指标间依赖关系表达能力的量化评估,分数越高,说明该结构越符合观测数据中蕴含的第类关键特征指标之间的依赖关系。

    35、step1.32:最优区域概率图搜索

    36、本发明基于爬山法进行最优区域pg搜索,在搜索过程中依赖方向明显的关键特征指标间禁止使用边反转算子,避免搜索部分边定向错误的候选结构,提高搜索效率,对边添加和边删除算子不做限制,保证搜索足够多的候选结构、搜索结果准确,构建第类网络特征类别的区域pg,具体步骤如下:

    37、step1.321设定阈值。

    38、step1.322初始时,一个无边的区域pg代表第网络特征类别的关键特征指标之间没有任何依赖关系,该结构同时是初始最优结构。

    39、step1.323对于当前最优结构中的每一条边,,…,,使用公式(5)计算边的依赖方向确定度,若,则边在step1.324禁止使用边反转算子。

    40、(5)

    41、其中,表示将边方向反转得到的有向边。

    42、step1.324从当前最优结构开始,在每一步通过单次的边添加算子(即添加关键特征指标的依赖关系)、边删除算子(即删除关键特征指标的依赖关系)、边反转算子(即反转关键特征指标的依赖关系)生成一组结构,删除其中有环的结构,得到一组候选最优结构。

    43、step1.325按照公式(3)计算各候选结构的bic-dds评分,并找到其中评分最高者作为新的最优结构。

    44、step1.326重复执行上述step1.33-step1.35,直到评分不再增加,最终可得到第类网络特征类别的最优区域pg 。

    45、基于上述步骤分别对类网络特征类别搜索得到区域pg,记为,,…,,其中区域pg可描述正常网络状态下第类网络特征类别的关键特征指标间的依赖关系。

    46、step1.33:最优区域间概率图搜索

    47、经过step1.32已构建的个区域概率图,描述了各网络特征类别中关键特征指标间的依赖关系,由于不同网络特征类别的关键特征指标间的关联性弱,因此选取每个区域pg的部分节点构造区域间pg,描述不同网络特征类别的关键特征指标间的依赖关系。由于网络特征类别间存在依赖关系,即一类别大多关键特征指标都依赖于另一类别大多关键特征指标,为了使区域间pg涉及的节点数尽可能少,以降低pg构建的时间复杂度,本发明选取各区域pg的根节点和叶节点构建区域间pg,其中一个区域pg的叶节点指向另一个区域pg的根节点,表示两个网络特征类别间的依赖关系。将个区域pg的根节点和叶节点作为区域间pg的节点集,,,,,,其中,是区域间pg的节点数,,,,为各区域pg的根节点集合,,,,为各区域pg的叶节点集合。

    48、本发明采用爬山法构建区域间pg,以个区域pg作为固定的初始结构,限制边添加算子和边删除算子,只能添加或删除两区域pg根节点和叶节点间的边,并使用bic-dds评分确保区域间pg中有向边的方向与网络特征类别的依赖方向吻合,具体步骤如下:

    49、step1.331初始时,区域间pg包括个区域pg ,,…,,它们之间无边,代表网络特征类别之间没有任何依赖关系,该结构同时是初始最优结构。

    50、step1.332限制边添加算子和边删除算子只能添加或删除某区域pg的叶节点到另一区域pg的根节点的边。

    51、step1.333从当前最优结构开始,每一步通过单次的边添加算子(即添加网络特征类别间的依赖关系)、边删除算子(即删除网络特征类别间的依赖关系)生成一组结构,删除其中有环的结构,得到一组候选最优结构。

    52、step1.334按照公式(3)计算各候选结构的bic-dds评分,并找到其中评分最高者作为新的最优结构。

    53、step1.335重复执行上述step1.333-1.335,直到评分不再增加,最终可得到最优区域间pg 。

    54、基于上述步骤得到最优区域间pg,记为,可描述不同网络特征类别的关键特征指标间的依赖关系,根据中区域pg之间的边,将个区域pg,,…,连接,得到可用于描述正常网络状态下关键特征指标间依赖关系的opg。

    55、优选的,step2具体包括,近似函数依赖搜索空间剪枝和候选近似函数依赖评分计算;

    56、afd是在关系数据库中成立或几乎成立的函数依赖,无线通信网络关键特征指标间afd定义如下:成立,是指关键特征指标子集为任一取值时,关键特征指标取值为的概率,其中,,,其中,表示未知函数,说明关键特征指标子集和关键特征指标之间有函数关系,可作为规则对无线通信网络进行异常检测。因此,本发明从正常运维数据集中挖掘关键特征指标之间的afd集,反映正常网络状态下无线通信网络关键特征指标间的函数依赖关系,作为后续异常检测规则挖掘的基础。

    57、step2.1:近似函数依赖搜索空间剪枝

    58、step2.11:相关指标组划分

    59、无线通信网络关键特征指标间的afd定义如下:,其左部可能是关键特征指标集的任一子集,右部可能是中的任一关键特征指标,挖掘过程中要搜索关键特征指标间所有可能的afd并判断是否成立,数量为条,搜索空间过大,而opg中关键特征指标的马尔科夫覆盖有如下性质:

    60、(6)

    61、其中,表示关键特征指标的马尔科夫覆盖(包括的直接孩子节点、直接父亲节点、以及直接孩子节点的其他父亲节点)上的节点集合,表示的任一超集。

    62、按照公式(6),与等价,因此只需判断前者是否成立。本发明根据马尔科夫覆盖的以上性质,将关键特征指标集划分为多个相关指标组,仅在每个相关指标组中搜索无线通信网络关键特征指标间afd,从而避免了整个搜索空间的复杂度,具体步骤如下:

    63、step2.111初始化相关指标组集合为。

    64、step2.112对于所有关键特征指标,,…,,根据opg构建相关指标组,将添加到相关指标组集合中。

    65、step2.113对于,,,中的每个相关指标组,若中只有一个关键特征指标或中存在的超集,则从中移除,最终剩余组相关指标组,即,,,。

    66、step2.12:基于条件独立性的剪枝

    67、在opg中,若关键特征指标子集给定,关键特征指标条件独立于关键特征指标子集,则以下等式成立:

    68、(7)

    69、其中,,,,,。

    70、按照公式(7),与等价,因此只需判断前者是否成立,后者为冗余afd。本发明提出以下方法识别并剪枝搜索空间中的冗余afd,得到候选afd集,以提高挖掘效率:

    71、step2.121初始化为,为,其中,用于保存候选afd集,是当前已处理的相关指标组集合。

    72、step2.122从相关指标组集合,,,中顺序选取。

    73、step2.123生成的一个子集,,,,要求中关键特征指标数量大于等于2且不是中已处理相关指标组的子集。

    74、step2.124从opg中选取中的所有关键特征指标、的祖先节点、以及它们之间的有向边,得到图。

    75、step2.125在所有关键特征指标的父节点之间两两加无向边,并将其他有向边改为无向边,得到图。

    76、step2.126依次删除中的祖先节点,同时在被删节点的邻居节点间两两加无向边,得到图。

    77、step2.127中所有关键特征指标,若中与其他关键特征指标都直接相连,则为非冗余afd,将其添加到候选afd集中。

    78、step2.128重复执行以上step2.123-step2.12,直到中所有关键特征指标数量大于等于2的子集都被生成,将添加到。

    79、step2.129重复执行以上step2.122-step2.128,直到所有相关指标组都被添加到,得到候选afd集,,,,其中,为第条候选afd。

    80、step2.2:候选近似函数依赖评分计算

    81、step2.21:候选近似函依赖评分

    82、本发明对候选afd集中的候选,计算关键特征指标子集和关键特征指标之间的相关性评分,并据此挖掘无线通信网络关键特征指标之间的afd集。互信息(mutual information, mi)是一种用于信息论和统计学中的关联性度量,通常用来衡量随机变量之间的相关性,由于正常运维数据集的样本数量有限,而关键特征指标子集取值组合数量可能远大于正常运维数据集的样本数量,导致和之间的相关性估计过高,从而挖掘到虚假的afd,因此,本发明提出bmi评分,使用平滑技术对数据集中未出现的取值组合进行加1的平滑,按照公式(8)计算候选的bmi评分:

    83、(8)

    84、(9)

    85、其中,表示数据集(即)中出现过的任一取值组合,表示关键特征指标的取值数,是关键特征指标子集中的任一关键特征指标,是数据集中未出现的关键特征指标子集取值组合数,表示数据集中在上取值为的样本数,是数据集中的样本总数。使用bmi评分来衡量关键特征指标间的相关性,当关键特征指取值组合数过多时,bmi会对mi高估的部分进行修正,当取值组合数趋于时,bmi趋近于0。

    86、此外,bmi存在一个易于计算的上界,的上界按照公式(10)计算:

    87、(10)

    88、其中,表示根据计算关键特征指标子集给定的条件下关键特征指标的条件熵,是关键特征指标子集的任一子集;,该上界随关键特征指标子集中关键特征指标减少而递减。

    89、step2.22:高评分候选搜索

    90、计算候选afd的bmi评分,并为每个关键特征指标,,…,选出评分最高的个候选afd,作为无线通信网络关键特征指标间的afd集,用于后续异常检测规则挖掘,计算评分过程中,bmi评分上界的单调性用于对低评分的候选afd进行剪枝,提高了搜索效率,具体步骤如下:

    91、step2.221初始化所有,,…,为,用于保存右部为关键特征指标的afd集。

    92、step2.222在候选afd集中选择包含关键特征指标最多的候选,使用公式(8)计算,并从移除,其中,是关键特征指标。

    93、step2.223使用公式(10)计算的评分上界,若上界小于中第高的评分,则移除中所有,更新为中剩余候选afd的数量。

    94、step2.224若大于中第高的评分,则移除中第高评分的候选afd,将添加到。

    95、step2.225重复执行step2.222-step2.224,直到为空,将所有中的afd添加到中,得到无线通信网络关键特征指标间的afd集,,,,其中,为第条afd。

    96、优选的,step3具体为基于影响度的近似依赖规则筛。

    97、step3:近似依赖规则筛选

    98、step3.1:基于影响度的近似依赖规则筛选

    99、本发明根据待检测的网络参数样本是否违反异常检测规则而进行无线通信网络异常检测,由于异常样本和数据错误的样本都会违反afd,因此,需要从afd集中选出对异常样本敏感的afd,本发明计算关键运维数据集中网络状态异常的样本对afd集中每条afd:,,…,的影响度,该影响度越高,说明对网络状态异常的样本越敏感,应当作为异常检测规则,使用公式(11)计算的影响度:

    100、(11)

    101、其中,表示根据正常运维数据集计算的bmi评分,表示根据关键运维数据集计算的bmi评分,表示关键运维数据集中异常样本对bmi评分影响的大小。

    102、计算afd集中每条afd:的影响度,并设定阈值,通过检索找到所有满足的afd,构建用于无线通信网络异常检测的adr集,,,,其中,为第条adr。

    103、优选的,step4具体包括测试数据集构造、基于核心元组异常检测和基于高频元组异常检测。

    104、step4.1:测试数据集构造

    105、输入网络监控工具采集的网络参数样本集合,根据网络运维数据集中的正常样本集,,,和,构建测试数据集,使用step1.1中得到的关键特征指标集筛选中的网络特征指标,使用step1.2所述的方法对中连续型关键特征指标的数据离散化,得到,,,,,,其中,,,,为正常样本集,,,,为待检测样本集。

    106、step4.2:基于核心元组异常检测

    107、本发明将中出现频度较高的adr取值作为核心元组,标记中所有违反核心元组的样本为异常,具体步骤如下:

    108、step4.21设定核心元组频率。

    109、step4.22对于adr集中每条规则的任一取值,在中统计取值为的样本数,若大于,则记录为核心元组,最终得到核心元组集,,,,其中,为的第条核心元组,共有条核心元组。

    110、step4.23对于中所有待异常检测样本,,,,若在关键特征指标子集上取值为,而在关键特征指标上取值不为,则标记对应的无线通信网络状态异常,从中删除,并记录违反规则。

    111、step4.24对中剩余的样本更新标号,,,,,,,其中,,,为剩余的待检测样本。

    112、step4.3:基于高频元组异常检测

    113、本发明找到中高频出现的adr取值作为高频元组,对于中所有违反高频元组的样本,根据异常代价判断其网络状态异常,具体步骤如下:

    114、step4.31设定高频元组频率。

    115、step4.32对于adr集中每条规则的任一取值,在中统计取值为的样本数,若大于且非核心元组,则记录为高频元组,最终得到高频元组集,,,,其中,为的第条高频元组,共有条高频元组。

    116、step4.33对于中所有待异常检测样本,,,,若在关键特征指标子集上取值为,而在关键特征指标上取值为,使用公式(12)计算的异常代价,该异常代价小于0,则标记对应的无线通信网络状态异常,从中删除,并记录违反规则。

    117、(12)

    118、其中,为给定系数,表示中关键特征指标的个数,若是连续型关键特征指标,则,否则为1,异常代价衡量了样本取值违反高频元组程度和高频元组的可信度,越小,表明对应的无线通信网络状态越可能异常。

    119、本发明提供了一种基于近似依赖规则的无线通信网络异常检测方法,具备以下有益效果:

    120、(1) 本发明提出描述无线网络关键特征指标间依赖关系的概率图模型,以及一种分区域构建运维概率图的方法,解决了传统概率图模型学习方法时间复杂度较高的问题,并通过使用bic-dds评分,使得构建的运维概率图中边的方向的确定更符合无线通信网络关键指标间的依赖关系。

    121、(2) 本发明通过可信互信息评估关键特征指标间的相关性,据此挖掘关键特征指标间的近似函数依赖,使用运维概率图和条件独立性分析对冗余函数依赖剪枝,使用可信互信息上界对低评分近似函依赖剪枝,从而提高了无线通信网络关键指标间近似函数依赖挖掘的效率。

    122、(3) 本发明从网络运维数据中挖掘近似依赖规则并使用核心元组和高频元组两种策略进行异常检测,提高了无线通信网络异常检测的准确率和召回率,还可根据违反的近似依赖规则推断网络异常原因,为其他行业的同类异常检测和异常原因分析等任务的处理提供了新的解决方案。

    123、综上所述,本发明涉及智慧运维技术领域,具体提出一种基于近似依赖规则的无线通信网络异常检测方法,该方法包括以下步骤:基于网络运维数据及关键特征指标类别信息,高效构建描述关键特征指标间依赖关系及其不确定性的运维概率图;根据关键特征指标之间的可信互信息实现近似函数依赖挖掘,使用运维概率图结构对冗余依赖进行剪枝、使用评分上界对低评分依赖进行剪枝,以提升挖掘效率;选择对网络状态异常样本敏感的近似函数依赖作为近似依赖规则;使用核心元组和高频元组两种策略对网络监控工具采集的网络参数数据进行异常检测。本发明能准确检测出状态异常的网络,还可根据规则推断产生网络异常的原因。


    技术特征:

    1.一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:该方法包括以下步骤:

    2.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述step1具体包括,关键特征指标筛选、连续型关键特征指标数据离散化和运维概率图的构建;

    3.根据权利要求2所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

    4.根据权利要求3所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

    5.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述step2具体包括,近似函数依赖搜索空间剪枝和候选近似函数依赖评分计算;

    6.根据权利要求5所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

    7.根据权利要求6所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:

    8.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述step3具体为基于影响度的近似依赖规则筛选,按照公式(11)计算afd集中每条afd:的影响度,并设定阈值,通过检索找到所有满足的afd,构建用于无线通信网络异常检测的adr集,,,,其中,为第条adr;

    9.根据权利要求1所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:所述step4具体包括测试数据集构造、基于核心元组异常检测和基于高频元组异常检测。

    10.根据权利要求9所述的一种基于近似依赖规则的无线通信网络异常检测方法,其特征在于:


    技术总结
    本发明涉及智慧运维技术领域,具体提出一种基于近似依赖规则的无线通信网络异常检测方法,该方法包括以下步骤:基于网络运维数据及关键特征指标类别信息,高效构建描述关键特征指标间依赖关系及其不确定性的运维概率图;根据关键特征指标之间的可信互信息实现近似函数依赖挖掘,使用运维概率图结构对冗余依赖进行剪枝、使用评分上界对低评分依赖进行剪枝,以提升挖掘效率;选择对网络状态异常样本敏感的近似函数依赖作为近似依赖规则;使用核心元组和高频元组两种策略对网络监控工具采集的网络参数数据进行异常检测。本发明能准确检测出状态异常的网络,还可根据规则推断产生网络异常的原因。

    技术研发人员:姚子杰,段亮,陈睿杰,岳昆,普宏林,孙磊
    受保护的技术使用者:云南大学
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-95806.html

    最新回复(0)