计算机系统的日志数据处理方法与流程

    专利2022-07-08  126


    本发明属于计算机技术领域,特别是涉及一种计算机系统的日志数据处理方法。



    背景技术:

    在现代分布式系统中,为了保护系统运行安全,发现数据异常波动,对产生的日志数据进行监控十分必要。

    现有技术中,通常由管理员定期对各个服务器下的日志数据进行查看分析,但是随着服务器节点规模呈几何指数增加,逐一对散落在各个服务器下的大量日志数据进行人工分析将耗费大量人力且效率极低,难以及时准确发现日志数据异常。



    技术实现要素:

    本发明主要解决的技术问题是提供一种计算机系统的日志数据处理方法,以解决上述问题。

    为解决上述技术问题,本发明采用的一个技术方案是:一种计算机系统的日志数据处理方法,所述日志数据的分析系统包括:依次连接的日志获取模块、日志确定模块、日志统计模块、日志判断模块、日志重组模块、日志转储模块和日志检索展现模块;

    所述日志判断模块包括日志输出模块和告警模块;

    所述日志数据的处理方法包括以下步骤:

    s1:获取各分布式节点的日志数据;

    s2:根据所述日志数据和预先生成的基线数据,进行分布式日志数据监控,其中所述基线数据根据历史日志数据预先生成。

    进一步地说,所述日志获取模块采集的日志数据包括系统日志、安全日志、应用日志、交易日志、网络日志、用户数据和其他接口数据。

    进一步地说,所述日志输出模块输出符合日志输出规则的日志被用于的其他系统包括监控系统、流程系统和机器学习系统。

    进一步地说,所述告警模块中用于进行告警的消息系统包括邮件系统、短信系统和微信系统。

    进一步地说,所述其他系统包括监控系统、流程系统和机器学习系统。

    进一步地说,所述消息系统包括邮件系统、短信系统和微信系统。

    进一步地说,对所述日志数据进行预处理,其中所述预处理包括:过滤处理、转换处理和结构化处理。

    本发明的有益效果:本发明通过在原始日志数据中对待监控关键词进行监控,以提高日志数据的准确性。

    附图说明

    图1是本发明的整体结构示意图。

    具体实施方式

    下面结合附图对本发明的较佳实施例进行详细阐述,以使本发明的优点和特征能更易于被本领域技术人员理解,从而对本发明的保护范围做出更为清楚明确的界定。

    实施例:一种计算机系统的日志数据处理方法,如图1所示,所述日志数据的分析系统包括:依次连接的日志获取模块1、日志确定模块2、日志统计模块3、日志判断模块4、日志重组模块5、日志转储模块6和日志检索展现模块7;

    所述日志判断模块包括日志输出模块8和告警模块9;

    所述日志数据的处理方法包括以下步骤:

    s1:获取各分布式节点的日志数据;

    s2:根据所述日志数据和预先生成的基线数据,进行分布式日志数据监控,其中所述基线数据根据历史日志数据预先生成。

    所述日志获取模块采集的日志数据包括系统日志、安全日志、应用日志、交易日志、网络日志、用户数据和其他接口数据。

    所述日志输出模块输出符合日志输出规则的日志被用于的其他系统包括监控系统、流程系统和机器学习系统。

    所述告警模块中用于进行告警的消息系统包括邮件系统、短信系统和微信系统。

    所述其他系统包括监控系统、流程系统和机器学习系统。

    所述消息系统包括邮件系统、短信系统和微信系统。

    对所述日志数据进行预处理,其中所述预处理包括:过滤处理、转换处理和结构化处理。

    以上所述仅为本发明的实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。


    技术特征:

    1.一种计算机系统的日志数据处理方法,其特征在于:所述日志数据的分析系统包括:依次连接的日志获取模块(1)、日志确定模块(2)、日志统计模块(3)、日志判断模块(4)、日志重组模块(5)、日志转储模块(6)和日志检索展现模块(7);

    所述日志判断模块包括日志输出模块(8)和告警模块(9);

    所述日志数据的处理方法包括以下步骤:

    s1:获取各分布式节点的日志数据;

    s2:根据所述日志数据和预先生成的基线数据,进行分布式日志数据监控,其中所述基线数据根据历史日志数据预先生成。

    2.根据权利要求1所述的计算机系统的日志数据处理方法,其特征在于:所述日志获取模块采集的日志数据包括系统日志、安全日志、应用日志、交易日志、网络日志、用户数据和其他接口数据。

    3.根据权利要求1所述的计算机系统的日志数据处理方法,其特征在于:所述日志输出模块输出符合日志输出规则的日志被用于的其他系统包括监控系统、流程系统和机器学习系统。

    4.根据权利要求1所述的计算机系统的日志数据处理方法,其特征在于:所述告警模块中用于进行告警的消息系统包括邮件系统、短信系统和微信系统。

    5.根据权利要求1所述的计算机系统的日志数据处理方法,其特征在于:所述其他系统包括监控系统、流程系统和机器学习系统。

    6.根据权利要求1所述的计算机系统的日志数据处理方法,其特征在于:所述消息系统包括邮件系统、短信系统和微信系统。

    7.根据权利要求1所述的计算机系统的日志数据处理方法,其特征在于:对所述日志数据进行预处理,其中所述预处理包括:过滤处理、转换处理和结构化处理。

    技术总结
    本发明公开了一种计算机系统的日志数据处理方法,所述日志数据的分析系统包括:依次连接的日志获取模块、日志确定模块、日志统计模块、日志判断模块、日志重组模块、日志转储模块和日志检索展现模块;所述日志判断模块包括日志输出模块和告警模块;所述日志数据的处理方法包括以下步骤:S1:获取各分布式节点的日志数据;S2:根据所述日志数据和预先生成的基线数据,进行分布式日志数据监控,其中所述基线数据根据历史日志数据预先生成。本发明通过在原始日志数据中对待监控关键词进行监控,以提高日志数据的准确性。

    技术研发人员:汤湘雯
    受保护的技术使用者:苏州云首软件科技有限公司
    技术研发日:2020.12.02
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-22279.html

    最新回复(0)