边缘侧事件存储方法、系统、存储介质及计算机与流程

    专利2025-10-21  22


    本发明涉及数据存储,具体涉及一种边缘侧事件存储方法、系统、存储介质及计算机。


    背景技术:

    1、在面向新一代信息基础设施的物联网体系架构中,云边端是一个流行的架构,大量的边缘设备存在可用于计算和存储的资源。受益于算法、算力和数据集等方面的发展,人工智能技术得到了突飞猛进的发展,在安防、交通、工业、农业等行业得到广泛应用,人工智能技术逐步从中心云向边缘下沉。

    2、边缘设备通过ai计算分析会产生大量有价值的事件数据,这些边缘侧事件数据可能由图片、视频等信息组成。比如边缘侧产生一个区域入侵的告警事件,那么这个告警事件数据可能包含告警图片、告警说明、告警视频等;目前,大量的边缘侧数据主要通过外置硬盘进行存储,采用外置硬盘进行存储虽然扩大了数据存储的量,但大大增加了读取数据的效率和时间,影响了检索对应事件的效率。


    技术实现思路

    1、基于此,本发明的目的是提供一种边缘侧事件存储方法、系统、存储介质及计算机,以解决现有技术中存在的技术问题。

    2、本发明提出一种边缘侧事件存储方法,包括;

    3、对存储磁盘进行初始化划分,得到若干逻辑卷文件,对若干所述逻辑卷文件依次进行文件编号,每一所述逻辑卷文件至少包括逻辑索引和存储文档;

    4、构建事件索引库,所述事件索引库中包含若干与所述逻辑卷文件对应的事件索引,所述事件索引至少包含有写入序列号和通道id;

    5、获取某边缘侧事件的通道id和写入序列号,根据所述通道id遍历所述事件索引库,获取所述事件索引库中通道id与所述边缘侧事件的通道id相同的事件索引,并构建事件索引列表;

    6、根据预设条件在所述事件索引列表中选取目标事件索引,根据所述目标事件索引的写入序列号确定对应的目标逻辑卷文件,将所述边缘侧事件写入所述目标逻辑卷文件并对应更新所述事件索引和所述逻辑索引。

    7、优选地,所述对存储磁盘进行初始化划分,得到若干逻辑卷文件,对若干所述逻辑卷文件依次进行文件编号的步骤包括:

    8、获取所述存储磁盘的存储空间,根据所述存储空间的大小将所述存储磁盘等量划分为若干个逻辑卷文件,每个所述逻辑卷文件的存储空间大小相同;

    9、按数字顺序依次对若干所述逻辑卷文件进行编号,以使得每一个所述逻辑卷文件都有对应的文件编号,其中,每个逻辑卷文件对应的文件编号为固定不变的。

    10、优选地,所述构建事件索引库,所述事件索引库中包含若干与所述逻辑卷文件对应的事件索引的步骤包括:

    11、根据预设要求确定所述事件索引需要反映的事件基本信息,并根据所述基本信息进行类别划分;

    12、根据划分的类别确定每一类基本信息需要占据的存储空间,将各类基本信息占据的存储空间求和得到单一所述事件索引需要占据的存储空间,其中,每个所述事件索引占据的存储空间相同;

    13、根据每个所述事件索引需要占据的存储空间和所述逻辑卷文件的个数计算所述事件索引库占据的存储空间。

    14、优选地,所述事件索引列表中的所有事件索引对应的写入序列号按照大小顺序排列,所述根据预设条件在所述事件索引列表中选取目标事件索引,根据所述目标事件索引的写入序列号确定对应的目标逻辑卷文件的步骤包括:

    15、获取所述事件索引列表中所有事件索引对应的写入序列号,选取写入序列号最大的序列号对应的事件索引,标记为待定事件索引;

    16、判断所述待定事件索引对应的逻辑卷文件的剩余存储空间与待存储的所述边缘侧事件所需要的存储空间的存储差值;

    17、若所述存储差值不小于零,则判定所述待定事件索引合格,将其作为目标事件索引;

    18、若所述存储差值小于零,则判定所述待定事件索引不合格后将其进行存满标记,在剩余的事件索引查找目标事件索引。

    19、优选地,在判定所述差值不小于零之后,所述存储方法还包括:

    20、判定所述待定事件索引的写入序列号与待存储的边缘侧事件对应的写入序列号之间的写入序列号差值;

    21、若所述写入序列号差值小于预设差值,则判定所述待定事件索引合格,将其作为目标事件索引;

    22、若所述写入序列号差值不小于预设差值,则判定所述待定事件索引不合格后将其进行存满标记,并在剩余的事件索引查找目标事件索引。

    23、优选地,在剩余的事件索引查找目标事件索引的步骤包括:

    24、遍历剩余的事件索引,判断剩余的事件索引中是否存在通道id未编辑的空白事件索引;

    25、若存在空白事件索引,根据所述空白事件索引确定对应的空白逻辑卷文件,并将文件编号最小的空白逻辑卷文件对应的空白事件索引作为所述目标事件索引。

    26、若不存在空白事件索引,则对剩余的事件索引进行事件索引覆盖操作,以在剩余的事件索引查找目标事件索引。

    27、优选地,所述事件索引覆盖操作包括:

    28、遍历所述事件索引库,获取所述事件索引库中所有事件索引对应的写入序列号并进行排序;

    29、选取写入序列号最小的事件索引,并将写入序号最小的事件索引以及对应的逻辑卷文件初始化,释放该逻辑卷文件的内存,将初始化后的事件索引作为所述目标事件索引。

    30、本发明还提出一种边缘侧事件存储系统,包括:

    31、划分模块,用于对存储磁盘进行初始化划分,得到若干逻辑卷文件,对若干所述逻辑卷文件依次进行文件编号,每一所述逻辑卷文件至少包括逻辑索引和存储文档;

    32、构建模块,用于构建事件索引库,所述事件索引库中包含若干与所述逻辑卷文件对应的事件索引,所述事件索引至少包含有写入序列号和通道id;

    33、遍历模块,用于获取某边缘侧事件的通道id和写入序列号,根据所述通道id遍历所述事件索引库,获取所述事件索引库中通道id与所述边缘侧事件的通道id相同的事件索引,并构建事件索引列表;

    34、写入模块,用于根据预设条件在所述事件索引列表中选取目标事件索引,根据所述目标事件索引的写入序列号确定对应的目标逻辑卷文件,将所述边缘侧事件写入所述目标逻辑卷文件并对应更新所述事件索引和所述逻辑索引。

    35、本发明还提出一种存储介质,其上存储有计算机程序,该程序被处理器执行时上述边缘侧事件存储方法。

    36、本发明还提出一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述边缘侧事件存储方法。

    37、本发明相比于现有技术的有益效果为:本技术提供的边缘侧事件存储方法,首先对存储磁盘进行初始化划分,得到若干逻辑卷文件,逻辑卷那文件用存储大量的事件数据;构建事件索引库,事件索引库中包含若干与所述逻辑卷文件对应的事件索引,通过事件索引即可快速定位到对应的逻辑卷文件,获取某边缘侧事件的通道id和写入序列号,根据通道id遍历事件索引库,并根据预设条件选取目标事件索引,根据目标事件索引的写入序列号确定对应的目标逻辑卷文件,并将当前事件存储至目标逻辑卷文件中,逻辑卷文件采用本技术提供的边缘侧事件存储方法,通过对存储磁盘进行划分,并构建与磁盘相对应的事件索引库,根据通道id选择逻辑卷文件进行存储;整个磁盘数据由事件索引、逻辑索引、逻辑卷文件组成,通过事件索引和逻辑索引的联动进行事件的存储和读取,逻辑卷文件的存储空间大,满足大量数据存储的要求,事件索引库占用存储空间小,可以全部缓存在内存里,写入和检索效率快。

    38、本发明的附加方面和优点将在下面的描述中部分给出,部分将从下面的描述中变得明显,或通过本发明的实践了解到。


    技术特征:

    1.一种边缘侧事件存储方法,其特征在于,包括;

    2.根据权利要求1所述的边缘侧事件存储方法,其特征在于,所述对存储磁盘进行初始化划分,得到若干逻辑卷文件,对若干所述逻辑卷文件依次进行文件编号的步骤包括:

    3.根据权利要求2所述的边缘侧事件存储方法,其特征在于,所述构建事件索引库,所述事件索引库中包含若干与所述逻辑卷文件对应的事件索引的步骤包括:

    4.根据权利要求1所述的边缘侧事件存储方法,其特征在于,在判定所述差值不小于零之后,所述存储方法还包括:

    5.根据权利要求4所述的边缘侧事件存储方法,其特征在于,在剩余的事件索引查找目标事件索引的步骤包括:

    6.根据权利要求5所述的边缘侧事件存储方法,其特征在于,所述事件索引覆盖操作包括:

    7.一种边缘侧事件存储系统,其特征在于,包括:

    8.一种存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1至6任一所述的边缘侧事件存储方法。

    9.一种计算机,包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一所述的边缘侧事件存储方法。


    技术总结
    本发明提供一种边缘侧事件存储方法、系统、存储介质及计算机,存储方法包括;对存储磁盘进行初始化划分,得到若干逻辑卷文件,对若干逻辑卷文件依次进行文件编号;构建事件索引库,事件索引库中包含若干与逻辑卷文件对应的事件索引;获取某边缘侧事件的通道ID和写入序列号,根据通道ID遍历事件索引库,获取事件索引库中通道ID与边缘侧事件的通道ID相同的事件索引,并构建事件索引列表;根据预设条件在事件索引列表中选取目标事件索引,根据目标事件索引的写入序列号确定对应的目标逻辑卷文件,本申请提供存储方法,存储空间大、效率高。

    技术研发人员:苏伟,黄东业,卢潮树,朱杰,张志辉,李静思
    受保护的技术使用者:江西云眼视界科技股份有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-91167.html

    最新回复(0)