基于文件的监控平台的问题排查方法、装置和系统与流程

    专利2022-07-08  110


    本发明涉及监控技术领域,具体涉及一种基于文件的监控平台的问题排查方法、装置和系统。



    背景技术:

    现有技术中,各种监控平台层出不穷,但现有技术中的监控平台仅能实现监控以及问题报警,但是并不能排查出问题的产生原因,主要是依赖经验丰富的工作人员进行问题分析与排查,而对于初入职场的新人或者不熟悉该监控平台应用的人,无法准确分析和排查问题。

    因此,如何实现监控平台对问题的排查工作,提高问题排查的准确性以及监控平台的实用性是本领域技术人员亟需解决的技术问题。



    技术实现要素:

    有鉴于此,本发明的目的在于提供一种基于文件的监控平台的问题排查方法、装置和系统,以解决现有技术中主要是依赖经验丰富的工作人员进行问题分析与排查,无法自动排查问题,问题排查的准确性较低,以至于监控平台的实用性较低的问题。

    为实现以上目的,本发明采用如下技术方案:

    一种基于文件的监控平台的问题排查方法,包括:

    获取预先存储的各应用对应的数据上报信息和查询应用信息;

    对所述数据上报信息和所述查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;

    根据各应用对应的分析结果信息,定位所述目标问题对应的目标问题应用;

    根据所述分析结果信息,确定所述目标问题应用中所述目标问题对应的目标问题主机数据和目标问题入口流量;

    根据所述分析结果信息,确定所述目标问题入口流量对应的目标问题出口流量,以及所述目标问题出口流量中所述目标问题对应的目标问题资源数据;

    利用所述目标问题对应的所述目标问题应用、所述目标问题主机数据、所述目标问题入口流量、所述目标问题出口流量和所述目标问题资源数据,对所述目标问题进行链路跟踪,确定所述目标问题对应的目标问题原因,并输出所述目标问题和所述目标问题原因。

    进一步地,上述基于文件的监控平台的问题排查方法中,所述对所述数据上报信息和所述查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息之后,还包括:

    对所述应用健康信息进行分析,判断所述应用健康信息中是否存在所述应用健康信息对应的应用的目标问题原因;

    若所述应用健康信息中存在所述应用健康信息对应的应用的目标问题原因,则输出所述应用对应的所述目标问题和所述目标问题原因;

    对应地,所述根据各应用对应的分析结果信息,定位所述目标问题对应的目标问题应用,包括:

    若所述应用健康信息中不存在所述应用健康信息对应的应用的目标问题原因,则根据各应用对应的分析结果信息,定位所述目标问题对应的所述目标问题应用。

    进一步地,上述基于文件的监控平台的问题排查方法中,所述获取预先存储的各应用对应的数据上报信息和查询应用信息之前,还包括:

    接收客户端发送的初始上报数据;

    将所述初始上报数据转换为标准协议的标准上报数据;

    将所述标准上报数据写入内存中的消息队列中,以使所述内存中的报表对所述标准上报数据进行消息消费,将所述标准上报数据存储到所述内存中的报表引擎中;

    对所述报表引擎中的所述标准上报数据进行数据持久化,生成数据上报信息,并将所述数据上报信息存储到文件存储引擎。

    进一步地,上述基于文件的监控平台的问题排查方法中,所述获取预先存储的各应用对应的数据上报信息和查询应用信息之前,还包括:

    接收所述客户端发送的初始查询信息;

    对所述初始查询信息进行sql语句翻译,生成所述初始查询信息对应的sql查询语句;

    利用sql引擎对所述sql查询语句进行解析,生成所述初始查询信息对应的目标查询信息;

    根据所述目标查询信息,从所述报表引擎或所述文件存储引擎中查询所述目标查询信息对应的目标查询结果;

    根据所述初始查询信息、所述目标查询信息和所述目标查询结果,生成所述查询应用信息。

    进一步地,上述基于文件的监控平台的问题排查方法中,所述将所述标准上报数据存储到所述内存中的报表引擎中,包括:

    按照预先设置的存储级别和分钟存储方式,将所述标准上报数据存储到所述内存中的报表引擎中。

    本发明还提供了一种基于文件的监控平台的问题排查装置,包括:

    获取模块,用于获取预先存储的各应用对应的数据上报信息和查询应用信息;

    分析模块,用于对所述数据上报信息和所述查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;

    定位模块,用于根据各应用对应的分析结果信息,定位所述目标问题对应的目标问题应用;

    第一确定模块,用于根据所述分析结果信息,确定所述目标问题应用中所述目标问题对应的目标问题主机数据和目标问题入口流量;

    第二确定模块,用于根据所述分析结果信息,确定所述目标问题入口流量对应的目标问题出口流量,以及所述目标问题出口流量中所述目标问题对应的目标问题资源数据;

    链路跟踪模块,用于利用所述目标问题对应的所述目标问题应用、所述目标问题主机数据、所述目标问题入口流量、所述目标问题出口流量和所述目标问题资源数据,对所述目标问题进行链路跟踪,确定所述目标问题对应的目标问题原因,并输出所述目标问题和所述目标问题原因。

    进一步地,上述基于文件的监控平台的问题排查装置,还包括:判断模块和输出模块;

    所述判断模块,用于对所述应用健康信息进行分析,判断所述应用健康信息中是否存在所述应用健康信息对应的应用的目标问题原因;

    所述输出模块,用于若所述应用健康信息中存在所述应用健康信息对应的应用的目标问题原因,则输出所述应用对应的所述目标问题和所述目标问题原因;

    所述定位模块,具体用于若所述应用健康信息中不存在所述应用健康信息对应的应用的目标问题原因,则根据各应用对应的分析结果信息,定位所述目标问题对应的所述目标问题应用。

    进一步地,上述基于文件的监控平台的问题排查装置,还包括:接收模块、转换模块、写入模块和数据持久化模块;

    所述接收模块,用于接收客户端发送的初始上报数据;

    所述转换模块,用于将所述初始上报数据转换为标准协议的标准上报数据;

    所述写入模块,用于将所述标准上报数据写入内存中的消息队列中,以使所述内存中的报表对所述标准上报数据进行消息消费,将所述标准上报数据存储到所述内存中的报表引擎中;

    所述数据持久化模块,用于对所述报表引擎中的所述标准上报数据进行数据持久化,生成数据上报信息,并将所述数据上报信息存储到文件存储引擎。

    进一步地,上述基于文件的监控平台的问题排查装置,还包括:翻译模块、解析模块、查询模块和生成模块;

    所述接收模块,还用于接收所述客户端发送的初始查询信息;

    所述解析模块,用于对所述初始查询信息进行sql语句翻译,生成所述初始查询信息对应的sql查询语句;

    所述翻译模块,用于利用sql引擎对所述sql查询语句进行解析,生成所述初始查询信息对应的目标查询信息;

    所述查询模块,用于根据所述目标查询信息,从所述报表引擎或所述文件存储引擎中查询所述目标查询信息对应的目标查询结果;

    所述生成模块,用于根据所述初始查询信息、所述目标查询信息和所述目标查询结果,生成所述查询应用信息。

    本发明还提供了一种基于文件的监控平台的问题排查系统,包括:处理器以及与所述处理器相连的存储器;

    所述存储器用于存储计算机程序,所述计算机程序至少用于执行上述基于文件的监控平台的问题排查方法;

    所述处理器用于调用并执行所述计算机程序。

    一种基于文件的监控平台的问题排查方法、装置和系统,获取预先存储的各应用对应的数据上报信息和查询应用信息;对数据上报信息和查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;根据各应用对应的分析结果信息,定位目标问题对应的目标问题应用;根据分析结果信息,确定目标问题应用中目标问题对应的目标问题主机数据和目标问题入口流量;根据分析结果信息,确定目标问题入口流量对应的目标问题出口流量,以及目标问题出口流量中目标问题对应的目标问题资源数据;利用目标问题对应的目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据,对目标问题进行链路跟踪,确定目标问题对应的目标问题原因,并输出目标问题和目标问题原因。采用本发明的技术方案,监控平台不仅可以监控问题,还可以自动排查出问题产生的原因,无需工作人员根据经验进行分析排查,对于新人或者不熟悉监控平台的人,也可及时确定问题产生的原因,提高了问题排查的准确性和监控平台的实用性。

    应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本发明。

    附图说明

    为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

    图1是本发明的基于文件的监控平台的问题排查方法一种实施例提供的流程图;

    图2是本发明的基于文件的监控平台的问题排查方法另一种实施例提供的流程图;

    图3是本发明的基于文件的监控平台的问题排查方法另一种实施例提供的流程图;

    图4是本发明的基于文件的监控平台的问题排查装置一种实施例提供的结构示意图;

    图5是本发明的基于文件的监控平台的问题排查系统一种实施例提供的结构示意图。

    具体实施方式

    为使本发明的目的、技术方案和优点更加清楚,下面将对本发明的技术方案进行详细的描述。显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所得到的所有其它实施方式,都属于本发明所保护的范围。

    图1是本发明的基于文件的监控平台的问题排查方法一种实施例提供的流程图,如图1所示,本实施例的基于文件的监控平台的问题排查方法具体包括如下步骤:

    s101、获取预先存储的各应用对应的数据上报信息和查询应用信息;

    本实施例会预先存储有各应用对应的数据上报信息和查询应用信息,因此,首先需要获取上述各应用对应的数据上报信息和查询应用信息,其中,对数据上报信息和查询应用信息的存储优选为本地存储。采用本地存储,在监控过程中无需依赖大数据中间件,从而提高了数据传输效率,降低了监控平台的开销,具有明显的实时优势和成本优势。

    s102、对数据上报信息和查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;

    获取到各应用的数据上报信息和查询应用信息后,需要对数据上报信息和查询应用信息进行分析,从而确定各应用对应的目标问题、各应用对应的应用健康信息以及各应用对应的分析结果信息。其中,各应用对应的分析结果信息包括:整体应用对应的异常数、流量波动、请求数,以及各个应用对应的应用总览数据、应用核心数据和ip核心数据等。

    s103、根据各应用对应的分析结果信息,定位目标问题对应的目标问题应用;

    根据上述确定的各应用对应的分析结果信息,对产生目标问题的应用进行定位,确定目标问题对应的目标问题应用。本实施例中,可能会确定出多个目标问题,需要对每个目标问题对应的目标问题应用进行定位。

    s104、根据分析结果信息,确定目标问题应用中目标问题对应的目标问题主机数据和目标问题入口流量;

    根据上述确定的各应用对应的分析结果信息,例如分析结果信息中各个应用对应的应用总览数据、应用核心数据和ip核心数据等,确定目标问题应用中目标问题对应的目标问题主机数据和目标问题入口流量。其中,入口流量包括接口调用数据、调用正态分布和调用方数据。目标问题入口流量是从上述入口流量中查询出来的目标问题对应的入口流量。

    s105、根据分析结果信息,确定目标问题入口流量对应的目标问题出口流量,以及目标问题出口流量中目标问题对应的目标问题资源数据;

    出口流量包括:下游服务资源、mysql资源、es资源、mq资源、hbase资源和自定义资源等。根据上述分析结果信息,确定目标问题入口流量对应的目标问题出口流量,即从上述目标问题入口流量对应的下游服务资源、mysql资源、es资源、mq资源、hbase资源和自定义资源等出口流量中定位出目标问题对应的目标问题出口流量。确定了目标问题出口流量后,便甭管确定该目标问题出口流量对应的目标问题资源数据。

    s106、利用目标问题对应的目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据,对目标问题进行链路跟踪,确定目标问题对应的目标问题原因,并输出目标问题和目标问题原因。

    通过上述步骤可以获取到目标问题对应的目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据,利用目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据能够实现对目标问题的链路跟踪,从而实现目标问题对应的场景复原,这样便能够通过目标问题的链路追踪确定该目标问题对应的目标问题原因。其中,链路跟踪需要调用链路、消息采样和问题采样,从而完成目标问题的链路跟踪。确定了目标问题对应的目标问题原因后,将目标问题和目标问题原因输出,以使工作人员查看,并及时根据目标问题原因对目标问题进行修正。

    本实施例的各应用中可能会确定出多个目标问题,因此需要对每个目标问题均定位目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据,从而对每个目标问题均进行链路追踪,从未确定各个目标问题对应的目标问题原因。

    本实施例的基于文件的监控平台的问题排查方法,获取预先存储的各应用对应的数据上报信息和查询应用信息;对数据上报信息和查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;根据各应用对应的分析结果信息,定位目标问题对应的目标问题应用;根据分析结果信息,确定目标问题应用中目标问题对应的目标问题主机数据和目标问题入口流量;根据分析结果信息,确定目标问题入口流量对应的目标问题出口流量,以及目标问题出口流量中目标问题对应的目标问题资源数据;利用目标问题对应的目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据,对目标问题进行链路跟踪,确定目标问题对应的目标问题原因,并输出目标问题和目标问题原因。采用本实施例的技术方案,监控平台不仅可以监控问题,还可以自动排查出问题产生的原因,无需工作人员根据经验进行分析排查,对于新人或者不熟悉监控平台的人,也可及时确定问题产生的原因,提高了问题排查的准确性和监控平台的实用性。

    进一步地,本实施例的基于文件的监控平台的问题排查方法,在执行步骤s102之后,还包括如下步骤:

    第一,对应用健康信息进行分析,判断应用健康信息中是否存在应用健康信息对应的应用的目标问题原因;

    通过上述步骤确定出的应用健康信息中有可能直接显示出目标问题对应的目标问题原因,因此,在进行目标问题原因定位之前,需要判断应用健康信息中是否存在该应用健康信息对应的应用的目标问题原因。

    第二,若应用健康信息中存在应用健康信息对应的应用的目标问题原因,则输出应用对应的目标问题和目标问题原因;

    如果通过上述判断,确定了应用健康信息中存在应用健康信息对应的应用的目标问题原因,则直接将该应用的目标问题和目标问题原因输出,以使工作人员查看,并及时根据目标问题原因对目标问题进行修正。

    对应地,步骤s103具体包括:若应用健康信息中不存在应用健康信息对应的应用的目标问题原因,则根据各应用对应的分析结果信息,定位目标问题对应的目标问题应用。

    进一步地,图2是本发明的基于文件的监控平台的问题排查方法另一种实施例提供的流程图,如图2所示,本实施例的基于文件的监控平台的问题排查方法,在执行步骤s101之前还包括如下步骤:

    s201、接收客户端发送的初始上报数据;

    客户端可以通过http协议或者性能更好的tcp协议上报数据,因此,本实施例需要接收客户端发送的初始上报数据。

    s202、将初始上报数据转换为标准协议的标准上报数据;

    s203、将标准上报数据写入内存中的消息队列中,以使内存中的报表对标准上报数据进行消息消费,将标准上报数据存储到内存中的报表引擎中;

    生成了标准上报数据后,需要将该标准上报数据写入内存中的消息队列中,以使内存中的报表对标准上报数据进行消息消费,并将处理后的标准上报数据存储到内存中的报表引擎中。其中,内存优选为本地磁盘的内存。本实施例中对标准上报数据进行消息消费的报表包括心跳报表、指标报表、事件报表、链路报表、问题报表和其他报表等。

    进一步地,将标准上报数据存储到内存中的报表引擎中具体需要按照预先设置的存储级别和分钟存储方式进行存储。其中,存储级别包括应用、ip、指标组和指标名四个级别,且每个级别有独立的汇总数据。并且按照分钟存储方式存储,可以支持任意时间的分钟级查询粒度。

    s204、对报表引擎中的标准上报数据进行数据持久化,生成数据上报信息,并将数据上报信息存储到文件存储引擎。

    进一步地,图3是本发明的基于文件的监控平台的问题排查方法另一种实施例提供的流程图,如图3所示,本实施例的基于文件的监控平台的问题排查方法,在执行步骤s101之前还包括如下步骤:

    s301、接收客户端发送的初始查询信息;

    用户需要查询某些信息时,会利用客户端发送包含查询条件的初始查询信息,因此,本实施例需要接收客户端发送的初始查询信息。

    s302、对初始查询信息进行sql语句翻译,生成初始查询信息对应的sql查询语句;

    接收到初始查询信息后,需要将初始查询信息翻译为sql语句作为初始查询信息对应的sql查询语句。

    s303、利用sql引擎对sql查询语句进行解析,生成初始查询信息对应的目标查询信息;

    利用sql引擎对上述生成的sql查询语句进行解析,生成初始查询信息对应的目标查询信息,例如翻译为需要查询哪张报表,筛选条件是什么,需要按照什么维度聚合,如查询rpc请求次数,并按照ip聚合。

    s304、根据目标查询信息,从报表引擎或文件存储引擎中查询目标查询信息对应的目标查询结果;

    s305、根据初始查询信息、目标查询信息和目标查询结果,生成查询应用信息。

    根据上述步骤,确定了初始查询信息、目标查询信息和目标查询结果后,可以将初始查询信息、目标查询信息和目标查询结果集合,并将集合后的信息作为查询应用信息。

    采用本实施例的技术方案的监控平台,与skywalking相比,不依赖大数据中间件,不依赖es存储引擎,所有数据实时计算、存储到本地磁盘中,投入生产具备成本优势;与cat相比,有较好的读写性能,且使用方式更为友好,sdk无侵入性,用户可以无感知接入;与业界常规监控系统相比,提出了较为明确的排错思路,并具现化到了系统功能中,用户可以根据页面导向,来逐步判断问题原因,分析应用健康状况。

    为了更全面,对应于本发明实施例提供的基于文件的监控平台的问题排查方法,本申请还提供了基于文件的监控平台的问题排查装置。

    图4是本发明的基于文件的监控平台的问题排查装置一种实施例提供的结构示意图,如图4所示,本实施例的基于文件的监控平台的问题排查装置包括:获取模块101、分析模块102、定位模块103、第一确定模块104、第二确定模块105和链路跟踪模块106。

    获取模块101,用于获取预先存储的各应用对应的数据上报信息和查询应用信息;

    分析模块102,用于对数据上报信息和查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;

    定位模块103,用于根据各应用对应的分析结果信息,定位目标问题对应的目标问题应用;

    第一确定模块104,用于根据分析结果信息,确定目标问题应用中目标问题对应的目标问题主机数据和目标问题入口流量;

    第二确定模块105,用于根据分析结果信息,确定目标问题入口流量对应的目标问题出口流量,以及目标问题出口流量中目标问题对应的目标问题资源数据;

    链路跟踪模块106,用于利用目标问题对应的目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据,对目标问题进行链路跟踪,确定目标问题对应的目标问题原因,并输出目标问题和目标问题原因。

    本实施例的基于文件的监控平台的问题排查装置,获取模块101获取预先存储的各应用对应的数据上报信息和查询应用信息;分析模块102对数据上报信息和查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;定位模块103根据各应用对应的分析结果信息,定位目标问题对应的目标问题应用;第一确定模块104根据分析结果信息,确定目标问题应用中目标问题对应的目标问题主机数据和目标问题入口流量;第二确定模块105根据分析结果信息,确定目标问题入口流量对应的目标问题出口流量,以及目标问题出口流量中目标问题对应的目标问题资源数据;链路跟踪模块106利用目标问题对应的目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据,对目标问题进行链路跟踪,确定目标问题对应的目标问题原因,并输出目标问题和目标问题原因。采用本实施例的技术方案,监控平台不仅可以监控问题,还可以自动排查出问题产生的原因,无需工作人员根据经验进行分析排查,对于新人或者不熟悉监控平台的人,也可及时确定问题产生的原因,提高了问题排查的准确性和监控平台的实用性。

    进一步地,本实施例的基于文件的监控平台的问题排查装置还包括判断模块和输出模块。

    判断模块,用于对应用健康信息进行分析,判断应用健康信息中是否存在应用健康信息对应的应用的目标问题原因;

    输出模块,用于若应用健康信息中存在应用健康信息对应的应用的目标问题原因,则输出应用对应的目标问题和目标问题原因;

    定位模块103,具体用于若应用健康信息中不存在应用健康信息对应的应用的目标问题原因,则根据各应用对应的分析结果信息,定位目标问题对应的目标问题应用。

    进一步地,本实施例的基于文件的监控平台的问题排查装置还包括:接收模块、转换模块、写入模块和数据持久化模块。

    接收模块,用于接收客户端发送的初始上报数据;

    转换模块,用于将初始上报数据转换为标准协议的标准上报数据;

    写入模块,用于将标准上报数据写入内存中的消息队列中,以使内存中的报表对标准上报数据进行消息消费,将标准上报数据存储到内存中的报表引擎中;其中,将标准上报数据存储到内存中的报表引擎中,包括:按照预先设置的存储级别和分钟存储方式,将标准上报数据存储到内存中的报表引擎中。

    数据持久化模块,用于对报表引擎中的标准上报数据进行数据持久化,生成数据上报信息,并将数据上报信息存储到文件存储引擎。

    进一步地,本实施例的基于文件的监控平台的问题排查装置还包括:翻译模块、解析模块、查询模块和生成模块。

    接收模块,还用于接收客户端发送的初始查询信息;

    解析模块,用于对初始查询信息进行sql语句翻译,生成初始查询信息对应的sql查询语句;

    翻译模块,用于利用sql引擎对sql查询语句进行解析,生成初始查询信息对应的目标查询信息;

    查询模块,用于根据目标查询信息,从报表引擎或文件存储引擎中查询目标查询信息对应的目标查询结果;

    生成模块,用于根据初始查询信息、目标查询信息和目标查询结果,生成查询应用信息。

    关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

    图5是本发明的基于文件的监控平台的问题排查系统一种实施例提供的结构示意图。如图5所示,本实施例的基于文件的监控平台的问题排查系统包括处理器21以及与处理器21相连的存储器22;

    存储器22用于存储计算机程序,所述计算机程序至少用于执行上述实施例的基于文件的监控平台的问题排查方法;

    处理器21用于调用并执行所述计算机程序。

    本实施例的基于文件的监控平台的问题排查系统,监控平台不仅可以监控问题,还可以自动排查出问题产生的原因,无需工作人员根据经验进行分析排查,对于新人或者不熟悉监控平台的人,也可及时确定问题产生的原因,提高了问题排查的准确性和监控平台的实用性。

    可以理解的是,上述各实施例中相同或相似部分可以相互参考,在一些实施例中未详细说明的内容可以参见其他实施例中相同或相似的内容。

    需要说明的是,在本发明的描述中,术语“第一”、“第二”等仅用于描述目的,而不能理解为指示或暗示相对重要性。此外,在本发明的描述中,除非另有说明,“多个”的含义是指至少两个。

    流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为,表示包括一个或更多个用于实现特定逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分,并且本发明的优选实施方式的范围包括另外的实现,其中可以不按所示出或讨论的顺序,包括根据所涉及的功能按基本同时的方式或按相反的顺序,来执行功能,这应被本发明的实施例所属技术领域的技术人员所理解。

    应当理解,本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中,多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如,如果用硬件来实现,和在另一实施方式中一样,可用本领域公知的下列技术中的任一项或他们的组合来实现:具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路,具有合适的组合逻辑门电路的专用集成电路,可编程门阵列(pga),现场可编程门阵列(fpga)等。

    本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成,所述程序可以存储于一种计算机可读存储介质中,该程序在执行时,包括方法实施例的步骤之一或其组合。

    此外,在本发明各个实施例中的各功能单元可以集成在一个处理模块中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现,也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时,也可以存储在一个计算机可读取存储介质中。

    上述提到的存储介质可以是只读存储器,磁盘或光盘等。

    在本说明书的描述中,参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中,对上述术语的示意性表述不一定指的是相同的实施例或示例。而且,描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

    尽管上面已经示出和描述了本发明的实施例,可以理解的是,上述实施例是示例性的,不能理解为对本发明的限制,本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。


    技术特征:

    1.一种基于文件的监控平台的问题排查方法,其特征在于,包括:

    获取预先存储的各应用对应的数据上报信息和查询应用信息;

    对所述数据上报信息和所述查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;

    根据各应用对应的分析结果信息,定位所述目标问题对应的目标问题应用;

    根据所述分析结果信息,确定所述目标问题应用中所述目标问题对应的目标问题主机数据和目标问题入口流量;

    根据所述分析结果信息,确定所述目标问题入口流量对应的目标问题出口流量,以及所述目标问题出口流量中所述目标问题对应的目标问题资源数据;

    利用所述目标问题对应的所述目标问题应用、所述目标问题主机数据、所述目标问题入口流量、所述目标问题出口流量和所述目标问题资源数据,对所述目标问题进行链路跟踪,确定所述目标问题对应的目标问题原因,并输出所述目标问题和所述目标问题原因。

    2.根据权利要求1所述的基于文件的监控平台的问题排查方法,其特征在于,所述对所述数据上报信息和所述查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息之后,还包括:

    对所述应用健康信息进行分析,判断所述应用健康信息中是否存在所述应用健康信息对应的应用的目标问题原因;

    若所述应用健康信息中存在所述应用健康信息对应的应用的目标问题原因,则输出所述应用对应的所述目标问题和所述目标问题原因;

    对应地,所述根据各应用对应的分析结果信息,定位所述目标问题对应的目标问题应用,包括:

    若所述应用健康信息中不存在所述应用健康信息对应的应用的目标问题原因,则根据各应用对应的分析结果信息,定位所述目标问题对应的所述目标问题应用。

    3.根据权利要求1所述的基于文件的监控平台的问题排查方法,其特征在于,所述获取预先存储的各应用对应的数据上报信息和查询应用信息之前,还包括:

    接收客户端发送的初始上报数据;

    将所述初始上报数据转换为标准协议的标准上报数据;

    将所述标准上报数据写入内存中的消息队列中,以使所述内存中的报表对所述标准上报数据进行消息消费,将所述标准上报数据存储到所述内存中的报表引擎中;

    对所述报表引擎中的所述标准上报数据进行数据持久化,生成数据上报信息,并将所述数据上报信息存储到文件存储引擎。

    4.根据权利要求3所述的基于文件的监控平台的问题排查方法,其特征在于,所述获取预先存储的各应用对应的数据上报信息和查询应用信息之前,还包括:

    接收所述客户端发送的初始查询信息;

    对所述初始查询信息进行sql语句翻译,生成所述初始查询信息对应的sql查询语句;

    利用sql引擎对所述sql查询语句进行解析,生成所述初始查询信息对应的目标查询信息;

    根据所述目标查询信息,从所述报表引擎或所述文件存储引擎中查询所述目标查询信息对应的目标查询结果;

    根据所述初始查询信息、所述目标查询信息和所述目标查询结果,生成所述查询应用信息。

    5.根据权利要求3所述的基于文件的监控平台的问题排查方法,其特征在于,所述将所述标准上报数据存储到所述内存中的报表引擎中,包括:

    按照预先设置的存储级别和分钟存储方式,将所述标准上报数据存储到所述内存中的报表引擎中。

    6.一种基于文件的监控平台的问题排查装置,其特征在于,包括:

    获取模块,用于获取预先存储的各应用对应的数据上报信息和查询应用信息;

    分析模块,用于对所述数据上报信息和所述查询应用信息进行分析,确定各应用对应的目标问题、各应用对应的应用健康信息和各应用对应的分析结果信息;

    定位模块,用于根据各应用对应的分析结果信息,定位所述目标问题对应的目标问题应用;

    第一确定模块,用于根据所述分析结果信息,确定所述目标问题应用中所述目标问题对应的目标问题主机数据和目标问题入口流量;

    第二确定模块,用于根据所述分析结果信息,确定所述目标问题入口流量对应的目标问题出口流量,以及所述目标问题出口流量中所述目标问题对应的目标问题资源数据;

    链路跟踪模块,用于利用所述目标问题对应的所述目标问题应用、所述目标问题主机数据、所述目标问题入口流量、所述目标问题出口流量和所述目标问题资源数据,对所述目标问题进行链路跟踪,确定所述目标问题对应的目标问题原因,并输出所述目标问题和所述目标问题原因。

    7.根据权利要求6所述的基于文件的监控平台的问题排查装置,其特征在于,还包括:判断模块和输出模块;

    所述判断模块,用于对所述应用健康信息进行分析,判断所述应用健康信息中是否存在所述应用健康信息对应的应用的目标问题原因;

    所述输出模块,用于若所述应用健康信息中存在所述应用健康信息对应的应用的目标问题原因,则输出所述应用对应的所述目标问题和所述目标问题原因;

    所述定位模块,具体用于若所述应用健康信息中不存在所述应用健康信息对应的应用的目标问题原因,则根据各应用对应的分析结果信息,定位所述目标问题对应的所述目标问题应用。

    8.根据权利要求6所述的基于文件的监控平台的问题排查装置,其特征在于,还包括:接收模块、转换模块、写入模块和数据持久化模块;

    所述接收模块,用于接收客户端发送的初始上报数据;

    所述转换模块,用于将所述初始上报数据转换为标准协议的标准上报数据;

    所述写入模块,用于将所述标准上报数据写入内存中的消息队列中,以使所述内存中的报表对所述标准上报数据进行消息消费,将所述标准上报数据存储到所述内存中的报表引擎中;

    所述数据持久化模块,用于对所述报表引擎中的所述标准上报数据进行数据持久化,生成数据上报信息,并将所述数据上报信息存储到文件存储引擎。

    9.根据权利要求8所述的基于文件的监控平台的问题排查装置,其特征在于,还包括:翻译模块、解析模块、查询模块和生成模块;

    所述接收模块,还用于接收所述客户端发送的初始查询信息;

    所述解析模块,用于对所述初始查询信息进行sql语句翻译,生成所述初始查询信息对应的sql查询语句;

    所述翻译模块,用于利用sql引擎对所述sql查询语句进行解析,生成所述初始查询信息对应的目标查询信息;

    所述查询模块,用于根据所述目标查询信息,从所述报表引擎或所述文件存储引擎中查询所述目标查询信息对应的目标查询结果;

    所述生成模块,用于根据所述初始查询信息、所述目标查询信息和所述目标查询结果,生成所述查询应用信息。

    10.一种基于文件的监控平台的问题排查系统,其特征在于,包括:处理器以及与所述处理器相连的存储器;

    所述存储器用于存储计算机程序,所述计算机程序至少用于执行权利要求1-5任一项所述的基于文件的监控平台的问题排查方法;

    所述处理器用于调用并执行所述计算机程序。

    技术总结
    本发明涉及一种基于文件的监控平台的问题排查方法、装置和系统,分析预存的各应用对应的数据上报信息和查询应用信息,确定各应用对应的目标问题、应用健康信息和分析结果信息;根据分析结果信息,定位目标问题对应的目标问题应用,确定目标问题应用中的目标问题主机数据和目标问题入口流量,确定目标问题入口流量对应的目标问题出口流量,以及目标问题出口流量中的目标问题资源数据;利用目标问题应用、目标问题主机数据、目标问题入口流量、目标问题出口流量和目标问题资源数据,对目标问题进行链路跟踪,确定并输出目标问题原因。本方案,监控平台可以监控问题,还可以自动排查出问题产生的原因,提高了问题排查的准确性和监控平台的实用性。

    技术研发人员:杨忠儒
    受保护的技术使用者:上海中通吉网络技术有限公司
    技术研发日:2020.11.25
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-22719.html

    最新回复(0)