一种对象存储网络预警方法、系统、终端及存储介质与流程

    专利2022-07-07  159


    本发明涉及对象存储系统技术领域,具体涉及一种对象存储网络预警方法、系统、终端及存储介质。



    背景技术:

    分布式对象存储系统,指的是面向非结构化数据的分布式存储。现阶段,越来越多的业务场景需要使用分布式对象存储系统;随着信息化的发展,越来愈多的用户,选择将原来保存到自己的数码设备上转移到云端存储上,家庭成员之间相互分享等;科技以人为本信息化的发展,工业4.0、智能制造、企业上云、大数据、电子政务、nasa卫星中心,大型的射电望远镜等,越来越多企业和政府单位将数据放在存储集群集中管理。随着用户的数据量越来越大,对象存储的使用场景越来越复杂,网络交互速度成为用户使用的重要体验。

    网络中各种交换机、网元设备、hub等设备,以及使用过程中,用户不断的切换场景、不同场景下,用户与对象存储集群的差距很大。



    技术实现要素:

    针对现有技术的上述不足,本发明提供一种对象存储网络预警方法、系统、终端及存储介质,以解决上述技术问题。

    第一方面,本发明提供一种对象存储网络预警方法,包括:

    解析用户请求,获取请求参数;

    监控所述用户请求处理流程,获取请求网络接收数据时间;

    在所述用户请求完成之后将所述请求参数、网络接收数据时间和对象存储系统生成的所述用户请求的总处理时间,作为一个请求事件保存至队列;

    读取所述队列中的请求事件,根据所述请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件;

    统计所述队列中的异常事件,并根据统计结果生成网络预警。

    进一步的,所述解析用户请求获取请求参数,包括:

    解析所述用户请求的客户端ip地址、文件名、文件大小和权限验证信息。

    进一步的,所述监控所述用户请求处理流程获取请求网络接收数据时间,包括:

    设置请求处理流程的关键点,所述关键点包括用户合法性校验、权限校验、请求上传前期处理、请求业务处理、返回消息;

    在各关键点通过性能打点获取关键点的消耗时间;

    将所有关键点的消耗时间之和作为请求网络接收数据时间输出。

    进一步的,所述根据请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件,包括:

    设置时间系数、文件系数和网络系数;

    判断所述请求事件的网络接收数据时间是否大于总处理时间与所述时间系数之积:

    若是,则判断文件大小与总处理时间的商是否小于所述文件系数与网络系数之积:

    若是,则判定所述请求事件为异常事件。

    进一步的,所述统计队列中的异常事件并根据统计结果生成网络预警,包括:

    若多个异常事件属于同一个用户ip,则判定所述用户ip存在网络异常;

    若同一多个局域网内多个用户ip连续出现异常,则生成所述局域网链路的网络预警。

    第二方面,本发明提供一种对象存储网络预警系统,包括:

    请求解析单元,配置用于解析用户请求,获取请求参数;

    流程监控单元,配置用于监控所述用户请求处理流程,获取请求网络接收数据时间;

    事件保存单元,配置用于在所述用户请求完成之后将所述请求参数、网络接收数据时间和对象存储系统生成的所述用户请求的总处理时间,作为一个请求事件保存至队列;

    异常检测单元,配置用于读取所述队列中的请求事件,根据所述请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件;

    预警生成单元,配置用于统计所述队列中的异常事件,并根据统计结果生成网络预警。

    进一步的,所述流程监控单元包括:

    节点设置模块,配置用于设置请求处理流程的关键点,所述关键点包括用户合法性校验、权限校验、请求上传前期处理、请求业务处理、返回消息;

    时间获取模块,配置用于在各关键点通过性能打点获取关键点的消耗时间;

    时间计算模块,配置用于将所有关键点的消耗时间之和作为请求网络接收数据时间输出。

    进一步的,所述预警生成单元包括:

    第一预警模块,配置用于若多个异常事件属于同一个用户ip,则生成所述用户ip存在网络异常的预警;

    第二预警模块,配置用于若同一多个局域网内多个用户ip连续出现异常,则生成所述局域网链路的网络预警。

    第三方面,提供一种终端,包括:

    处理器、存储器,其中,

    该存储器用于存储计算机程序,

    该处理器用于从存储器中调用并运行该计算机程序,使得终端执行上述的终端的方法。

    第四方面,提供了一种计算机存储介质,所述计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述各方面所述的方法。

    本发明的有益效果在于,

    本发明提供的对象存储网络预警方法、系统、终端及存储介质,根据用户请求处理的文件大小,处理时间、以及文件大小的评估用户网络是否可能存在故障或不足的检测方法,如何根据均衡网络接收时间与总处理时间,以及不同io模型的带宽关系来初步判断是否网络正常。本发明能够实时感知用户复杂网路中是否可能存在异常,且可以评估局域网是否存在异常。

    此外,本发明设计原理可靠,结构简单,具有非常广泛的应用前景。

    附图说明

    为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。

    图1是本发明一个实施例的方法的示意性流程图。

    图2是本发明一个实施例的方法的另一示意性流程图。

    图3是本发明一个实施例的系统的示意性框图。

    图4为本发明实施例提供的一种终端的结构示意图。

    具体实施方式

    为了使本技术领域的人员更好地理解本发明中的技术方案,下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都应当属于本发明保护的范围。

    下面对本发明中出现的关键术语进行解释。

    分布式对象存储系统:指的是针对非结构化数据对象的分布式存储系统;

    性能打点:软件性能分析时,在整个流程中各个重要节点计算时间消耗,寻找瓶颈的方法。

    图1是本发明一个实施例的方法的示意性流程图。其中,图1执行主体可以为一种对象存储网络预警系统。

    如图1所示,该方法100包括:

    步骤110,解析用户请求,获取请求参数;

    步骤120,监控所述用户请求处理流程,获取请求网络接收数据时间;

    步骤130,在所述用户请求完成之后将所述请求参数、网络接收数据时间和对象存储系统生成的所述用户请求的总处理时间,作为一个请求事件保存至队列;

    步骤140,读取所述队列中的请求事件,根据所述请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件;

    步骤150,统计所述队列中的异常事件,并根据统计结果生成网络预警。

    具体的,请参考图2,所述对象存储网络预警方法包括:

    (1)从ceph对象存储集群接收客户端发起的文件操作请求,解析请求参数。

    (2)请求业务处理。获取业务处理过程中各个io栈的消耗时间

    在请求的用户合法性、权限、请求上传前期处理、请求业务处理、返回消息各个关键点性能打点,获取关键io节点的时间的消耗。将所有关键点的消耗时间之和作为请求网络接收数据时间输出。

    (3)在处理完请求时,获取请求中的相关参数与性能打点的数据,封装成消息,发送给消息队列。

    在请求完成时,记录本次网络请求的客户端ip地址、文件名、请求状态、收到的数据大小、文件大小、本次请求对应ceph对象存储内部的操作类型名称、操作的桶,完成本次交互的所消耗的总时间。然后将这些信息作为一条事务记录,加入到消息队列。

    (4)从消息队列中逐条读取记录,消费记录,根据该用户id与相同操作类型的平均处理时间、最小的处理时间、与最大的处理时间,以及平均带宽、最大带宽、最小带宽,如果需要更新上面的某项值,则更新上面的值。然后根据性能打点数据网络接收时间t接收>k1tsum且s/tsum<k2n1,则认为请求处理相对正常值偏大,事件异常,其中t接收网络接收数据时间,k1为一个时间系数,tsum为本次请求处理总时间,s为文件大小,k2为一个文件大小系数,n1为一个网络系数。

    (5)获取一段时间内异常的记录,如果该ip存在多次,则提醒管理员,该用户存在网络异常,如果同一多个局域网内,多个ip连续出现异常、提醒管理员该局域网链路可能存在异常

    如图3所示,该系统300包括:

    请求解析单元310,配置用于解析用户请求,获取请求参数;

    流程监控单元320,配置用于监控所述用户请求处理流程,获取请求网络接收数据时间;

    事件保存单元330,配置用于在所述用户请求完成之后将所述请求参数、网络接收数据时间和对象存储系统生成的所述用户请求的总处理时间,作为一个请求事件保存至队列;

    异常检测单元340,配置用于读取所述队列中的请求事件,根据所述请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件;

    预警生成单元350,配置用于统计所述队列中的异常事件,并根据统计结果生成网络预警。

    可选地,作为本发明一个实施例,所述流程监控单元包括:

    节点设置模块,配置用于设置请求处理流程的关键点,所述关键点包括用户合法性校验、权限校验、请求上传前期处理、请求业务处理、返回消息;

    时间获取模块,配置用于在各关键点通过性能打点获取关键点的消耗时间;

    时间计算模块,配置用于将所有关键点的消耗时间之和作为请求网络接收数据时间输出。

    可选地,作为本发明一个实施例,所述预警生成单元包括:

    第一预警模块,配置用于若多个异常事件属于同一个用户ip,则生成所述用户ip存在网络异常的预警;

    第二预警模块,配置用于若同一多个局域网内多个用户ip连续出现异常,则生成所述局域网链路的网络预警。

    图3为本发明实施例提供的一种终端400的结构示意图,该终端400可以用于执行本发明实施例提供的对象存储网络预警方法。

    其中,该终端400可以包括:处理器410、存储器420及通信单元430。这些组件通过一条或多条总线进行通信,本领域技术人员可以理解,图中示出的服务器的结构并不构成对本发明的限定,它既可以是总线形结构,也可以是星型结构,还可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件布置。

    其中,该存储器420可以用于存储处理器410的执行指令,存储器420可以由任何类型的易失性或非易失性存储终端或者它们的组合实现,如静态随机存取存储器(sram),电可擦除可编程只读存储器(eeprom),可擦除可编程只读存储器(eprom),可编程只读存储器(prom),只读存储器(rom),磁存储器,快闪存储器,磁盘或光盘。当存储器420中的执行指令由处理器410执行时,使得终端400能够执行以下上述方法实施例中的部分或全部步骤。

    处理器410为存储终端的控制中心,利用各种接口和线路连接整个电子终端的各个部分,通过运行或执行存储在存储器420内的软件程序和/或模块,以及调用存储在存储器内的数据,以执行电子终端的各种功能和/或处理数据。所述处理器可以由集成电路(integratedcircuit,简称ic)组成,例如可以由单颗封装的ic所组成,也可以由连接多颗相同功能或不同功能的封装ic而组成。举例来说,处理器410可以仅包括中央处理器(centralprocessingunit,简称cpu)。在本发明实施方式中,cpu可以是单运算核心,也可以包括多运算核心。

    通信单元430,用于建立通信信道,从而使所述存储终端可以与其它终端进行通信。接收其他终端发送的用户数据或者向其他终端发送用户数据。

    本发明还提供一种计算机存储介质,其中,该计算机存储介质可存储有程序,该程序执行时可包括本发明提供的各实施例中的部分或全部步骤。所述的存储介质可为磁碟、光盘、只读存储记忆体(英文:read-onlymemory,简称:rom)或随机存储记忆体(英文:randomaccessmemory,简称:ram)等。

    因此,本发明根据用户请求处理的文件大小,处理时间、以及文件大小的评估用户网络是否可能存在故障或不足的检测方法,如何根据均衡网络接收时间与总处理时间,以及不同io模型的带宽关系来初步判断是否网络正常。本发明能够实时感知用户复杂网路中是否可能存在异常,且可以评估局域网是否存在异常,本实施例所能达到的技术效果可以参见上文中的描述,此处不再赘述。

    本领域的技术人员可以清楚地了解到本发明实施例中的技术可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解,本发明实施例中的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中如u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质,包括若干指令用以使得一台计算机终端(可以是个人计算机,服务器,或者第二终端、网络终端等)执行本发明各个实施例所述方法的全部或部分步骤。

    本说明书中各个实施例之间相同相似的部分互相参见即可。尤其,对于终端实施例而言,由于其基本相似于方法实施例,所以描述的比较简单,相关之处参见方法实施例中的说明即可。

    在本发明所提供的几个实施例中,应该理解到,所揭露的系统和方法,可以通过其它的方式实现。例如,以上所描述的系统实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口,系统或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。

    所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

    另外,在本发明各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。

    尽管通过参考附图并结合优选实施例的方式对本发明进行了详细描述,但本发明并不限于此。在不脱离本发明的精神和实质的前提下,本领域普通技术人员可以对本发明的实施例进行各种等效的修改或替换,而这些修改或替换都应在本发明的涵盖范围内/任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本发明的保护范围之内。因此,本发明的保护范围应所述以权利要求的保护范围为准。


    技术特征:

    1.一种对象存储网络预警方法,其特征在于,包括:

    解析用户请求,获取请求参数;

    监控所述用户请求处理流程,获取请求网络接收数据时间;

    在所述用户请求完成之后将所述请求参数、网络接收数据时间和对象存储系统生成的所述用户请求的总处理时间,作为一个请求事件保存至队列;

    读取所述队列中的请求事件,根据所述请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件;

    统计所述队列中的异常事件,并根据统计结果生成网络预警。

    2.根据权利要求1所述的方法,其特征在于,所述解析用户请求获取请求参数,包括:

    解析所述用户请求的客户端ip地址、文件名、文件大小和权限验证信息。

    3.根据权利要求1所述的方法,其特征在于,所述监控所述用户请求处理流程获取请求网络接收数据时间,包括:

    设置请求处理流程的关键点,所述关键点包括用户合法性校验、权限校验、请求上传前期处理、请求业务处理、返回消息;

    在各关键点通过性能打点获取关键点的消耗时间;

    将所有关键点的消耗时间之和作为请求网络接收数据时间输出。

    4.根据权利要求1所述的方法,其特征在于,所述根据请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件,包括:

    设置时间系数、文件系数和网络系数;

    判断所述请求事件的网络接收数据时间是否大于总处理时间与所述时间系数之积:

    若是,则判断文件大小与总处理时间的商是否小于所述文件系数与网络系数之积:

    若是,则判定所述请求事件为异常事件。

    5.根据权利要求1所述的方法,其特征在于,所述统计队列中的异常事件并根据统计结果生成网络预警,包括:

    若多个异常事件属于同一个用户ip,则判定所述用户ip存在网络异常;

    若同一多个局域网内多个用户ip连续出现异常,则生成所述局域网链路的网络预警。

    6.一种对象存储网络预警系统,其特征在于,包括:

    请求解析单元,配置用于解析用户请求,获取请求参数;

    流程监控单元,配置用于监控所述用户请求处理流程,获取请求网络接收数据时间;

    事件保存单元,配置用于在所述用户请求完成之后将所述请求参数、网络接收数据时间和对象存储系统生成的所述用户请求的总处理时间,作为一个请求事件保存至队列;

    异常检测单元,配置用于读取所述队列中的请求事件,根据所述请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件;

    预警生成单元,配置用于统计所述队列中的异常事件,并根据统计结果生成网络预警。

    7.根据权利要求6所述的系统,其特征在于,所述流程监控单元包括:

    节点设置模块,配置用于设置请求处理流程的关键点,所述关键点包括用户合法性校验、权限校验、请求上传前期处理、请求业务处理、返回消息;

    时间获取模块,配置用于在各关键点通过性能打点获取关键点的消耗时间;

    时间计算模块,配置用于将所有关键点的消耗时间之和作为请求网络接收数据时间输出。

    8.根据权利要求6所述的系统,其特征在于,所述预警生成单元包括:

    第一预警模块,配置用于若多个异常事件属于同一个用户ip,则生成所述用户ip存在网络异常的预警;

    第二预警模块,配置用于若同一多个局域网内多个用户ip连续出现异常,则生成所述局域网链路的网络预警。

    9.一种终端,其特征在于,包括:

    处理器;

    用于存储处理器的执行指令的存储器;

    其中,所述处理器被配置为执行权利要求1-5任一项所述的方法。

    10.一种存储有计算机程序的计算机可读存储介质,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的方法。

    技术总结
    本发明提供一种对象存储网络预警方法、系统、终端及存储介质,包括:解析用户请求,获取请求参数;监控所述用户请求处理流程,获取请求网络接收数据时间;在所述用户请求完成之后将所述请求参数、网络接收数据时间和对象存储系统生成的所述用户请求的总处理时间,作为一个请求事件保存至队列;读取所述队列中的请求事件,根据所述请求事件的请求参数、网络接收数据时间和总处理时间检测所述请求事件是否为异常事件;统计所述队列中的异常事件,并根据统计结果生成网络预警。本发明能够实时感知用户复杂网路中是否可能存在异常,且可以评估局域网是否存在异常。

    技术研发人员:李治鹏;胡永刚;苏楠
    受保护的技术使用者:苏州浪潮智能科技有限公司
    技术研发日:2020.11.09
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-8729.html

    最新回复(0)