一种基于MIDS-Tree的服务故障高响应匹配方法与流程

    专利2022-07-08  113


    本发明属于微服务领域;具体涉及一种基于mids-tree的服务故障高响应匹配方法。



    背景技术:

    微服务是当前软件系统架构的重要模式和典型技术,具有轻量级、迭代快、跨平台等特点,能够使系统的部属、管理和维护更加快速和便捷,逐渐成为系统架构技术发展的趋势。然而,由于其技术多样性和分布式复杂性,服务依赖、交互调用等贯穿整个过程,服务故障不可避免,甚至影响系统整体的性能,特别是在资源受限和负载高发背景下。服务故障具有多变、复杂、不确定等特性,常见的故障处理方法包括降级、隔离和限流等技术,通过设置一定时间阈值或失败调用次数,或者按照优先级等等不同策略对服务进行相应处理,但是往往是服务故障后的处理方式,无法提前按照更加合理策略提前预测和处理,在一定程度上降低了服务质量和资源利用率,如何快速高效的识别、处理和恢复服务至关重要。

    故障预测技术因其能够保证服务的有效性、可靠性以及高资源利用率成为主要方法之一,通过对历史日志数据的分析进行微服务故障预测是重要方式。服务运行过程中其产生的数据存在离散性、多样性,与服务故障之间存在相应的联系,通过数据挖掘等方法有效挖掘故障数据集与各类故障之间蕴含的关联关系具有较高的可行性。



    技术实现要素:

    本发明提供了一种基于mids-tree的服务故障高响应匹配方法,该方法是一个轻量级高响应架构模型,该模型为解决已有服务故障预测方法模型中模型过去庞杂、冗余等复合问题;同时该轻量级模型能够快速高响应的进行面向服务故障策略匹配,提高现有模型的低响应时间问题。;更好地满足的在资源受限和负载高并发背景下软件系统对服务故障处理时间和服务质量要求等问题。

    本发明通过以下技术方案实现:

    一种基于mids-tree的服务故障高响应匹配方法,所述匹配方法包括以下步骤:

    步骤1:对微服务监控平台智能汇聚的多元微服务数据集进行面向微服务故障的多元数据属性选取和去噪处理;

    步骤2:对步骤1多元数据属性选取和去噪处理的数据,进行面向服务故障的标签处理,得到去噪高可用的含标签的多元微服务故障数据集;

    步骤3:对步骤2中的多元微服务故障数据集进行基于标签的服务故障类型分类,形成面向服务故障类型的多元微服务故障数据集;

    步骤4:对步骤3已分类的多元微服务故障数据集进行面向多类型服务故障的apriori算法的特征属性提取,通过apriori算法以及自设定的最小支持度和置信度,对多元微服服务故障数据集进行挖掘,则最终得出微服务各类型的故障与样本属性特征间的关联性;

    步骤5:对步骤4的多元微服务故障数据集提取的特征属性进行面向特定类型故障和降级特征属性的敏感度计算,最终根据提取的特征属性和其自身的敏感度筛选出最优特征属性;

    步骤6:通过步骤5中的最优特征属性进行面向相关类型服务故障的态势分析,得到面向特征属性的服务故障波动范围;

    步骤7:基于步骤6中最优特征属性的态势分析,以及特征属性、服务故障降级策略进行多类型故障隔离或降级的mids-tree的建立;

    步骤8:依据步骤7建立的mids-tree对目标服务进行服务故障降级预测,并进行降级或故障隔离的策略匹配,以使得资源利用率最大化。

    进一步的,所述步骤1具体为:通过对微服务监控平台采集微服务运行监控过程中的服务负载数据,cpu利用率、失败数、时延或访问量多元微服务监控数据,进行面向故障隔离、降级的数据选取和去噪的数据预处理,最终得到低噪高可用性的面向故障隔离和降级的多元微服务数据集。

    进一步的,所述步骤2具体为,将预处理后的面向服务故障隔离和降级的多元数据集进行标签处理,以区分该数据集中每条数据记录所反映的具体服务故障。

    进一步的,所述步骤3具体为,将标签处理后的多元服务故障数据,进行面向多元微服务负载故障隔离和降级标签数据集的服务故障类型分类。

    进一步的,所述步骤4的基于apriori的特征属性提取中关联规则具体为,a—>b应满足:a,b均为分类后的多元微服务故障数据集d的真子集,且a与b无交集,a为服务故障数据集样本属性即为发生该多元服务故障数据集样本属性b的条件;其中通过自定义支持度和置信度,其中支持度说明该规则在所有事务中代表性是否显著即支持度越大,关联规则越重要。

    通过下列公式进行置信度和支持度的计算:

    置信度:s(a→b)=p(ab);

    支持度:c(a→b)=p(b|a)。

    进一步的,所述步骤4的还包括以下步骤,

    步骤4.1:首先进行多元服务故障数据集扫描;第一次扫描得到样本属性的频繁1-项集形成集合d1,依次循环直到集合为空时停止;其中,第n(n>1)次扫描的多元服务故障数据集为第(n-1)次扫描的结果集合dn-1,进而生成本次的候选集dn;

    步骤4.2:在步骤4.1的过程中确定候选集的支持度;

    步骤4.3:最终依据置信度和支持度挖掘出1-频繁项集的面向多类型服务故障的关联规则集。

    进一步的,所述步骤5具体为,根据自设定的最小支持和置信度,生成的面向多类型服务故样本属性特征的1-频繁项集关联规则集,根据该1-频繁项集合进行面向特定类型故障和降级的属性特征的敏感度计算,所述计算样本属性的敏感度公式为:

    其中,p(xi)代表随机事件xi的概率。

    进一步的,所述步骤6具体为,依据此最优1-频繁项集关联规则的进行服务故障的态势分析,然后将该特征属性的数据值进行排序,最终得到该服务故障样本属性的波动范围为:[vmin,vmax],其中vmin,vmax分别为该样本属性最小值与最大值。

    进一步的,所述步骤7具体为,根据各服务故障的特征属性,进行服务故障策略数的建立,其结构自上而下应为:根节点为输入的服务样本属性值;一层节点为服务故障特征属性;二层节点特征属性的波动范围;三层节点为所属具体服务故障类型;四层节点服务故障隔离降级策略。

    本发明的有益效果是:

    1.本发明将特征属性历史经验值分析结果与服务故障以及故障处理策略进行关联匹配形成mids-tree,可快速进行高响应匹配和预测,降低服务故障处理时间,以达到提高服务质量情况和服务资源利用率最大化。

    2.本发明相对于现有服务故障定位预测方法,具有高响应、轻量级结构且计算便捷等优势;相对于现有的apriori算法,引入信息熵计算使得其本发明的方法具有更精准的挖掘特征属性的能力,以及多角度的全面的判定;相对于传统的故障树建立,本发明的mdis-tree具有高清晰的结构,相对于传统故障树进行改进引入服务故障响应策略,是改进后的故障树成为一个更全面的故障处理树。

    附图说明

    附图1是本发明综合架构图。

    附图2是本发明基于apriori-信息熵的特征属性提取流程图。

    附图3是本发明mids-tree树架构图。

    具体实施方式

    下面将结合本发明实施例中的附图对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。

    实施例1

    主要通过构建mids-tree进行服务故障的高响应匹配,采用apriori-信息熵模型,通过apriori算法快速挖掘出反映该类型服务故障和降级的频繁项集,而该属性值往往蕴含的自身的重要度信息,利用信息熵模型将频繁项集中的特征属性进行量化处理,将特征属性态势分析后的范围与服务故障类型进行匹配,并根据相应的服务故障制定相应的处理策略,使得在预测服务故障后能够及时有效地处理服务故障,进而保障平台的高计算能力、高可用性以及高资源利用率。

    一种基于mids-tree的服务故障高响应匹配方法,所述匹配方法包括以下步骤:

    步骤1:对微服务监控平台智能汇聚的多元微服务数据集进行面向微服务故障的多元数据属性选取和去噪处理;

    步骤2:对步骤1多元数据属性选取和去噪处理的数据,进行面向服务故障的标签处理,得到去噪高可用的含标签的多元微服务故障数据集;

    步骤3:对步骤2中的多元微服务故障数据集进行基于标签的服务故障类型分类,形成面向服务故障类型的多元微服务故障数据集;

    步骤4:对步骤3已分类的多元微服务故障数据集进行面向多类型服务故障的apriori算法的特征属性提取,通过apriori算法以及自设定的最小支持度和置信度,对多元微服服务故障数据集进行挖掘,则最终得出微服务各类型的故障与样本属性特征间的关联性;

    步骤5:对步骤4的多元微服务故障数据集提取的特征属性进行面向特定类型故障和降级特征属性的敏感度计算,最终根据提取的特征属性和其自身的敏感度筛选出最优特征属性;

    步骤6:通过步骤5中的最优特征属性进行面向相关类型服务故障的态势分析,得到面向特征属性的服务故障波动范围;

    步骤7:基于步骤6中最优特征属性的态势分析,以及特征属性、服务故障降级策略进行多类型故障隔离或降级的mids-tree的建立;

    步骤8:依据步骤7建立的mids-tree对目标服务进行服务故障降级预测,并进行降级或故障隔离的策略匹配,以使得资源利用率最大化。

    进一步的,所述步骤1具体为:通过对微服务监控平台采集微服务运行监控过程中的服务负载数据,例如:cpu利用率、失败数、时延、访问量等多元微服务监控数据,进行面向故障隔离和降级的数据选取和去噪等数据预处理,最终得到低噪高可用性的面向故障隔离和降级的多元微服务数据集。

    进一步的,所述步骤2具体为,将预处理后的面向服务故障隔离和降级的多元数据集进行标签处理,以区分该数据集中每条数据记录所反映的具体服务故障。

    进一步的,所述步骤3具体为,将标签处理后的多元服务故障数据,进行面向多元微服务负载故障隔离和降级标签数据集的服务故障类型分类。

    进一步的,所述步骤4的基于apriori的特征属性提取中关联规则具体为,a—>b应满足:a,b均为分类后的多元微服务故障数据集d的真子集,且a与b无交集,a为服务故障数据集样本属性即为发生该多元服务故障数据集样本属性b的条件;其中通过自定义支持度和置信度,其中支持度说明该规则在所有事务中代表性是否显著即支持度越大,关联规则越重要。

    通过下列公式进行置信度和支持度的计算:

    置信度:s(a→b)=p(ab);

    支持度:c(a→b)=p(b|a)。

    进一步的,所述步骤4的还包括以下步骤,

    步骤4.1:首先进行多元服务故障数据集扫描;第一次扫描得到样本属性的频繁1-项集形成集合d1,依次循环直到集合为空时停止;其中,第n(n>1)次扫描的多元服务故障数据集为第(n-1)次扫描的结果集合dn-1,进而生成本次的候选集dn;

    步骤4.2:在步骤4.1的过程中确定候选集的支持度;

    步骤4.3:最终依据置信度和支持度挖掘出1-频繁项集的面向多类型服务故障的关联规则集。

    进一步的,所述步骤5具体为,根据自设定的最小支持和置信度,生成的面向多类型服务故样本属性特征的1-频繁项集关联规则集,根据该1-频繁项集合进行面向特定类型故障和降级的属性特征的敏感度计算,所述计算样本属性的敏感度公式为:

    其中,p(xi)代表随机事件xi的概率。

    进一步的,所述步骤6具体为,依据此最优1-频繁项集关联规则的进行服务故障的态势分析,然后将该特征属性的数据值进行排序,最终得到该服务故障样本属性的波动范围为:[vmin,vmax],其中vmin,vmax分别为该样本属性最小值与最大值。

    进一步的,所述步骤7具体为,根据各服务故障的特征属性,进行服务故障策略数的建立,其结构自上而下应为:根节点为输入的服务样本属性值;一层节点为服务故障特征属性;二层节点特征属性的波动范围;三层节点为所属具体服务故障类型;四层节点服务故障隔离降级策略。

    实施例2

    假定目标服务失败降级标准为5秒20次,在传统方法下需继续连接直到触发降级条件,进而触发失败降级策略。根据根据本发明建立的mids-tree的高响应服务故障策略匹配方法,首先依据对失败降级的特征属性进行提取,得到失败次数为其特征属性,依据失败次数的历史经验值进行面向失败降级的态势分析,假定分析发现在2秒内发生10-15次连接失败,则会发生连接失败。基于以上条件建立的mids-tree的面向失败降级的高响应匹配策略方法,当一个新的服务发起时,若在2秒内失败次数在10-15次内,则依据上述建立的mids-tree进行快速、准确、高响应的面向失败次数降级策略匹配,以使得资源利用率最大化且更高效。

    实施例3

    从图1可以看出,采用本发明给出的方法,将从历史数据进行面向特定类型服务故障的特征提取,并进行基于特征属性的历史经验值进行态势分析,最终建立一个轻量级、架构清晰、层次分明的mids-tree,首先通过对已有的微服务监控平台智能汇聚的多元微服务数据进行面向微服务故障的多元数据属性选取和去噪处理,并对其进行标签处理以及基于标签的服务故障类型分类处理,然后通过apriori算法和信息熵相结合对各类型服务故障和降级的多元数据进行1-频繁项集的特征属性提取,进而根据提取的各类型服务故障和降级的特征属性进行基于特征属性的态势分析,得出当出现该类型服务故障和降级时特征属性的波动范围,最后将服务故障类型、波动范围以及处理服务故障和降级的策略进行mids-tree建立,这与本发明预期目标一致。

    第一步、多元微服务数据集预处理。

    由于在对服务运行监控过程中产生大量的数据,其中包含一些数据噪声会影响本发明的预测精度,因此本发明首先选取本发明所需的相关服务负载属性即为:cpu利用率、内存利用率,失败次数、访问量、时延,再将选取的数据集中相关的噪声数据进行预处理,最终得到低噪高可用性的服务负载数据集,进而对去噪后的数据集进行标签处理,以用来映射相应服务故障类型。

    第二步、基于标签的粗粒度服务故障分类。

    利用第一步得到预处理后的多元数据集,进行基于标签类型的服务故障类型的分类。

    第三步、基于apriori-信息熵的特征提取。

    根据图2所示,首先利用第二步分类好的多元微服务故障数据集进行面向多类型服务故障的apriori算法的特征属性关联规则提取,通过多元服务故障数据集扫描,第一次扫描得到样本属性的频繁1-项集形成集合d1,依次循环直到集合为空时停止。其中,第n(n>1)次扫描的多元服务故障数据集为第(n-1)次扫描的结果集合dn-1,进而生成本次的候选集dn;然后在该过程中确定候选集的支持度。本发明最终依据置信度和支持度挖掘出1-频繁项集的面向多类型服务故障的特征属性关联规则集。其中支持度说明了这条规则在所有事务中有多大的代表性,显然支持度越大,关联规则越重要。通过下列公式进行置信度和支持度的计算:

    s(a→b)=p(ab);

    c(a→b)=p(b|a);

    s(a→b)表示支持度,c(a→b)表示置信度,p(ab)表示两个事件共同发生的概率,p(b|a)表示条件概率。

    最后根据自设定的最小支持和置信度,生成的面向多类型服务故样本属性特征的1-频繁项集关联规则集,根据该集合进行面向特定类型故障和降级的属性特征的敏感度计算,通过下列公式计算样本属性的敏感度:

    其中,p(xi)代表随机事件xi的概率。

    第四步、基于特征属性的态势分析。

    利用第三步提取的属性特征,进行基于特征属性历史值的经验分析。首先根据敏感度筛选出的最大敏感度则为最优特征和属性,依据此最优特征属性进行服务故障的态势分析,然后将对该特征属性的波动范围进行取值,最终得到该服务故障样本属性的波动范围为:[vmin,vmax],其中vmin,vmax分别为该样本属性最小值与最大值。

    第五步、建立mids-tree。

    利用第四步基于特征属性态势分析后的范围结果建立与服务故障类型、服务故障和降级策略的关联树,可快速预测服务质量情况,以达到服务资源利用率最大化。

    根据图3所示,将各服务故障的特征属性,进行服务故障策略数的建立,其结构自上而下应为:根节点为输入的服务样本属性值;一层节点为服务故障特征属性;二层节点特征属性的波动范围;三层节点为所属具体服务故障:服务故障隔离降级策略。

    由图1可知,本发明方法相对于传统的服务故障预测定为方法,具有轻量级、高响应、低误差、结构清晰的优势;相对于基于apriori特征提取方法,引入信息熵指标使其具有更全面的、更精准的特征提取结果,降低了挖掘过程中因数据致使的误差所引起的精度问题;相较于传统的混合属性态势分析方法,本发明的态势分析更具有针对性且依据历史经验数据使其更精准。


    技术特征:

    1.一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述匹配方法包括以下步骤:

    步骤1:对微服务监控平台智能汇聚的多元微服务数据集进行面向微服务故障的多元数据属性选取和去噪处理;

    步骤2:对步骤1多元数据属性选取和去噪处理的数据,进行面向服务故障的标签处理,得到去噪高可用的含标签的多元微服务故障数据集;

    步骤3:对步骤2中的多元微服务故障数据集进行基于标签的服务故障类型分类,形成面向服务故障类型的多元微服务故障数据集;

    步骤4:对步骤3已分类的多元微服务故障数据集进行面向多类型服务故障的apriori算法的特征属性提取,通过apriori算法以及自设定的最小支持度和置信度,对多元微服服务故障数据集进行挖掘,则最终得出微服务各类型的故障与样本属性特征间的关联性;

    步骤5:对步骤4的多元微服务故障数据集提取的特征属性进行面向特定类型故障和降级特征属性的敏感度计算,最终根据提取的特征属性和其自身的敏感度筛选出最优特征属性;

    步骤6:通过步骤5中的最优特征属性进行面向相关类型服务故障的态势分析,得到面向特征属性的服务故障波动范围;

    步骤7:基于步骤6中最优特征属性的态势分析,以及特征属性、服务故障降级策略进行多类型故障隔离或降级的mids-tree的建立;

    步骤8:依据步骤7建立的mids-tree对目标服务进行服务故障降级预测,并进行降级或故障隔离的策略匹配,以使得资源利用率最大化。

    2.根据权利要求1所述一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述步骤1具体为:通过对微服务监控平台采集微服务运行监控过程中的服务负载数据,cpu利用率、失败数、时延或访问量多元微服务监控数据,进行面向故障隔离、降级的数据选取和去噪的数据预处理,最终得到低噪高可用性的面向故障隔离和降级的多元微服务数据集。

    3.根据权利要求1所述一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述步骤2具体为,将预处理后的面向服务故障隔离和降级的多元数据集进行标签处理,以区分该数据集中每条数据记录所反映的具体服务故障。

    4.根据权利要求1所述一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述步骤3具体为,将标签处理后的多元服务故障数据,进行面向多元微服务负载故障隔离和降级标签数据集的服务故障类型分类。

    5.根据权利要求1所述一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述步骤4的基于apriori的特征属性提取中关联规则具体为,a->b应满足:a,b均为分类后的多元微服务故障数据集d的真子集,且a与b无交集,a为服务故障数据集样本属性即为发生该多元服务故障数据集样本属性b的条件;其中通过自定义支持度和置信度,其中支持度说明该规则在所有事务中代表性是否显著即支持度越大,关联规则越重要;

    通过下列公式进行置信度和支持度的计算:

    置信度:s(a→b)=p(ab);

    支持度:c(a→b)=p(b|a)。

    6.根据权利要求5所述一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述步骤4的还包括以下步骤,

    步骤4.1:首先进行多元服务故障数据集扫描;第一次扫描得到样本属性的频繁1-项集形成集合d1,依次循环直到集合为空时停止;其中,第n(n>1)次扫描的多元服务故障数据集为第(n-1)次扫描的结果集合dn-1,进而生成本次的候选集dn;

    步骤4.2:在步骤4.1的过程中确定候选集的支持度;

    步骤4.3:最终依据置信度和支持度挖掘出1-频繁项集的面向多类型服务故障的关联规则集。

    7.根据权利要求1所述一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述步骤5具体为,根据自设定的最小支持和置信度,生成的面向多类型服务故样本属性特征的1-频繁项集关联规则集,根据该1-频繁项集合进行面向特定类型故障和降级的属性特征的敏感度计算,所述计算样本属性的敏感度公式为:

    其中,p(xi)代表随机事件xi的概率。

    8.根据权利要求1所述一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述步骤6具体为,依据此最优1-频繁项集关联规则的进行服务故障的态势分析,然后将该特征属性的数据值进行排序,最终得到该服务故障样本属性的波动范围为:[vmin,vmax],其中vmin,vmax分别为该样本属性最小值与最大值。

    9.根据权利要求1所述一种基于mids-tree的服务故障高响应匹配方法,其特征在于,所述步骤7具体为,根据各服务故障的特征属性,进行服务故障策略数的建立,其结构自上而下应为:根节点为输入的服务样本属性值;一层节点为服务故障特征属性;二层节点特征属性的波动范围;三层节点为所属具体服务故障类型;四层节点服务故障隔离降级策略。

    技术总结
    本发明提供了一种基于MIDS‑Tree的服务故障高响应匹配方法。对多元融合数据集进行选取和去噪;进行面向特定服务故障和降级类型的标签处理,得到多元数据集;对数据集进行故障类型分类,形成多元微服务故障数据集;通过Apriori方法进行面向多类型服务故障的特征和属性提取;根据提取后的特征属性进行特征属性敏感度计算,得出最优特征属性并进行态势分析,得出服务故障特征属性的波动范围;根据态势分析以及服务故障类型信息,进行MIDS‑Tree的建立,并进行服务故障的预测,使得服务的资源利用率最大化。本发明提出的轻量级架构模型,为解决已有服务故障预测方法,存在的模型庞杂、冗余;同时该模型能够快速高响应的进行面向服务故障策略匹配,提高现有模型的响应时间。

    技术研发人员:王勇;曲连威;王昊;马宇良;张越;彭宇
    受保护的技术使用者:哈尔滨工程大学
    技术研发日:2020.11.26
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-19019.html

    最新回复(0)