本申请涉及计算机及通信,具体而言,涉及一种多维kpi数据异常检测模型的训练、识别方法及装置。
背景技术:
1、在计算机及通信技术领域中,随着信息技术的快速发展,越来越多的应用场景需要处理大规模、多维度的数据。其中,kpi(key performance indicator,关键绩效指标)作为一种用于衡量业务或系统绩效的指标,被广泛应用于各个领域。在目前的技术方案中,为检测kpi数据是否存在异常,常采用深度学习、聚类分析等方法,然而,上述方式通常仅适用单一kpi的异常检测,针对不同类型的kpi需要设计和训练不同的检测模型,不仅占用过多计算资源,且耗费时间较长。由此,如何提高多维kpi数据异常检测模型的训练效率,并保证检测结果的准确性成为了亟待解决的技术问题。
技术实现思路
1、本申请的实施例提供了一种多维kpi数据异常检测模型的训练、识别方法及装置,进而至少在一定程度上可以提高kpi数据异常检测模型的训练效率,并保证检测结果的准确性。
2、本申请的其他特性和优点将通过下面的详细描述变得显然,或部分地通过本申请的实践而习得。
3、根据本申请实施例的一个方面,提供了一种多维kpi数据异常检测模型的训练方法,该方法包括:
4、根据采集到的若干kpi的初始数据,确定若干所述kpi两两之间的相关性值;
5、根据若干所述kpi两两之间的相关性值对若干所述kpi进行聚类,得到至少一个kpi集群,并确定每一所述kpi集群的中心kpi;
6、对每一所述kpi的初始数据进行预处理,得到每一所述kpi对应的目标数据,所述预处理包括零均值归一化和/或数据重构;
7、针对于每一所述中心kpi,采用其对应的目标数据对预先构建的初始异常检测模型进行训练,得到与所述中心kpi对应的目标异常检测模型;
8、根据同一所述kpi集群中所述中心kpi与其他kpi之间的相关性值,将所述中心kpi对应的目标异常检测模型中的全部或部分参数进行迁移以得到与每一所述其他kpi对应的目标异常检测模型。
9、根据本申请实施例的一个方面,提供了一种多维kpi数据的异常检测方法,该方法包括:
10、获取待识别kpi数据;
11、将所述待识别kpi数据输入至与其对应的目标异常检测模型中,以得到所述待识别kpi数据对应的异常检测结果,所述目标异常检测模型由如上述实施例所述的多维kpi数据的异常检测模型的训练方法训练得到;
12、其中,所述目标异常检测模型通过计算所述待识别kpi数据在各时间点的重构误差进而得到异常分数,若所述异常分数大于预先设定的分数阈值,则将在该时间点的待识别kpi数据判定为异常。
13、根据本申请实施例的一个方面,提供了一种多维kpi数据异常检测模型的训练装置,该装置包括:
14、相关性确定模块,用于根据采集到的若干kpi的初始数据,确定若干所述kpi两两之间的相关性值;
15、聚类模块,用于根据若干所述kpi两两之间的相关性值对若干所述kpi进行聚类,得到至少一个kpi集群,并确定每一所述kpi集群的中心kpi;
16、预处理模块,用于对每一所述kpi的初始数据进行预处理,得到每一所述kpi对应的目标数据,所述预处理包括零均值归一化和/或数据重构;
17、训练模块,用于针对于每一所述中心kpi,采用其对应的目标数据对预先构建的初始异常检测模型进行训练,得到与所述中心kpi对应的目标异常检测模型;
18、迁移模块,用于根据同一所述kpi集群中所述中心kpi与其他kpi之间的相关性值,将所述中心kpi对应的目标异常检测模型中的全部或部分参数进行迁移以得到与每一所述其他kpi对应的目标异常检测模型。
19、根据本申请实施例的一个方面,提供了一种多维kpi数据的异常检测装置,该装置包括:
20、获取模块,用于获取待识别kpi数据;
21、识别模块,用于将所述待识别kpi数据输入至与其对应的目标异常检测模型中,以得到所述待识别kpi数据对应的异常检测结果,所述目标异常检测模型由如上述实施例所述的多维kpi数据的异常检测模型的训练方法训练得到;
22、其中,所述目标异常检测模型通过计算所述待识别kpi数据在各时间点的重构误差进而得到异常分数,若所述异常分数大于预先设定的分数阈值,则将在该时间点的待识别kpi数据判定为异常。
23、根据本申请实施例的一个方面,提供了一种计算机可读介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现如上述实施例中所述的方法。
24、根据本申请实施例的一个方面,提供了一种电子设备,包括:一个或多个处理器;存储装置,用于存储一个或多个程序,当所述一个或多个程序被所述一个或多个处理器执行时,使得所述一个或多个处理器实现如上述实施例中所述的方法。
25、根据本申请实施例的一个方面,提供了一种计算机程序产品或计算机程序,该计算机程序产品或计算机程序包括计算机指令,该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令,处理器执行该计算机指令,使得该计算机设备执行上述实施例中提供的方法。
26、在本申请的一些实施例所提供的技术方案中,根据采集到的若干kpi的初始数据,确定若干kpi两两之间的相关性值,进而对若干kpi进行聚类,得到至少一个kpi集群,并确定对应的中心kpi,对每一kpi的初始数据进行预处理得到每一kpi对应的目标数据,针对于每一中心kpi,采用其对应的目标数据对预先构建的初始异常检测模型进行训练,得到与该中心kpi对应的目标异常检测模型,再根据同一kpi集群的中心kpi与其他kpi之间的相关性值,将中心kpi对应的目标异常检测模型中的全部或部分参数进行迁移,以得到与每一其他kpi对应的目标异常检测模型。由此,针对于同一kpi集群中的kpi,无需对每一个kpi进行异常检测模型的构建和训练,提高了异常检测模型的训练效率,同时也保证了其检测结果的准确性。
27、应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本申请。
1.一种多维kpi数据异常检测模型的训练方法,其特征在于,包括:
2.根据权利要求1所述的方法,其特征在于,对每一所述kpi的初始数据进行预处理,包括:
3.根据权利要求2所述的方法,其特征在于,按照以下公式对所述重构数据中的数据进行迭代调整:
4.根据权利要求1-3中任一项所述的方法,其特征在于,根据同一所述kpi集群中所述中心kpi与其他kpi之间的相关性值,将所述中心kpi对应的目标异常检测模型中的全部或部分参数进行迁移以得到与每一所述其他kpi对应的目标异常检测模型,包括:
5.根据权利要求4所述的方法,其特征在于,所述方法还包括:
6.一种多维kpi数据的异常检测方法,其特征在于,包括:
7.一种多维kpi数据异常检测模型的训练装置,其特征在于,包括:
8.一种多维kpi数据的异常检测装置,其特征在于,包括:
9.一种计算机可读介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6中任一项所述的方法。
10.一种电子设备,其特征在于,包括: