一种分布式存储方法及装置与流程

    专利2022-07-08  68


    本发明涉及计算机技术领域,具体而言,涉及一种分布式存储方法及装置。



    背景技术:

    当前,分布式存储虽然厂家较多,但其使用的数据存储流动原理包括存储介质流动型、存储池流动型、存储副本流动型三大类。存储介质流动型是将等级较高的介质使用软件或算法绑定至等级较低的介质,形成一个混合介质,然后将数据存储在这个虚拟的混合介质中,利用固定的算法在物理的两种不同的介质中进行较为高效的流动和交换,但在这种存储方式中存在扩容管理不便的缺陷。存储池流动型是使数据在不同的存储池之间进行流动和交换,不同的存储池一般使用不同的存储介质,在一定程度上提高对介质进行扩容的便利,但其在数据流动和交换时,在从低等级存储池向高等级存储池转移数据时存在放大读的问题。而存储副本流动型是指允许分布式存储的多个副本存放在不同的介质上,比如分布式存储采用三副本的保护方式,系统将前两个副本存放到高等级的介质中,将最后一个副本存放到较低等级的介质中,前两个副本写入完成后即可向客户端返回。这种方式很大程度上解决了固定介质模型的问题,基本上可以实现介质无相关式的扩容,但对于略高性能要求的情况下,较低性能的介质完全不能承受时,性能影响较大;另外还一定程度上牺牲了数据的安全性;最关键的是这种方式在获得的可用容量方面收益并不高。使用不同的介质在同一个存储中主要目的是降本增效,因为不同的数据对介质的性能要求也是不一样的。上述传统的三种方式还有一个较为严重的缺陷,就是存储异构能力比较差,也就是说,其要求使用的不同介质之间不管是数量还是容量都要基本保持一致,介质的种类一般也只能支持两种,然而现在市场上介质更新非常快,导致在出现扩容之后,就很难采购到之前一样的介质硬件了,从而导致维护难度和成本较大。



    技术实现要素:

    本发明的目的在于提供一种分布式存储方法及装置,用以改善现有技术中存储异构能力较差的问题。

    第一方面,本申请实施例提供一种分布式存储方法,方法包括:

    获取存储介质当前时刻具备的介质能力及存储介质中所存储的数据块的数据价值;

    比对介质能力及数据价值以得到比对结果;

    根据比对结果对数据块进行存储管理。

    上述实现过程中,先获取存储介质当前时刻所具备的介质能力以及其中存储的数据块的数据价值,并将介质能力及数据价值进行比对,以判断在当前时刻数据块存储于该存储介质中是否实现了利益最大化。然后根据比对结果对该数据块进行存储管理,若介质能力与数据价值不匹配,则重新为数据块分配合适的存储介质进行存储,也就是说,通过存储介质的介质能力和数据块的数据价值之间进行对比,最终达到数据块在分布式存储中的存储和流动达到较高的效率及准确性,让数据块在最必要的时候去到它最应当去的地方,实现介质利益最大化,从而实现准确且高效的流动存储。

    在本发明的一些实施例中,获取存储介质当前时刻具备的介质能力的步骤包括:

    获取存储介质的属性参数、健康程度、容量空间及繁忙程度;

    分别对属性参数、健康程度、容量空间及繁忙程度进行加权,以计算得到存储介质当前时刻所具备的介质能力。

    在上述实施方式中,根据介质的固有属性能力、健康程度、容量空间、繁忙程度加权计算介质能力评估值,可以实时掌握存储介质性能变化情况,对存储介质的介质能力进行准确的获取。

    在本发明的一些实施例中,获取存储介质中所存储的数据块的数据价值的步骤包括:

    获取数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值;

    根据数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值。

    在本发明的一些实施例中,数据获取模块包括:

    i/o模型价值影响值获取单元,用于根据下述第一关系函数获取i/o模型价值影响值:

    ,其中,表示i/o模型价值影响值,表示数据块读取类型,表示数据块的大小;

    获取在分配存储空间时指定的常量参数作为业务重要性价值影响值;其中,

    根据下述第二关系函数获取读写命中率价值影响值:

    ,其中,表示读写命中率价值影响值,表示数据块被再次使用的频率,表示时间;

    根据下述数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值:

    ,其中,表示数据价值,表示i/o模型价值影响值所占的权重,表示业务重要性价值影响值所占的权重,表示所占的权重,表示读写命中率价值影响值。

    通过上述过程,根据数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值三项指标,综合构建数据块价值计算模型,能够客观全面的评价数据价值。

    在本发明的一些实施例中,根据比对结果对数据块进行存储管理的步骤包括:

    若比对结果表示数据价值降低,则将数据块存储至介质能力低于当前存储介质的介质能力的新存储介质中;

    若比对结果表示数据价值增长,则记录当前存储介质的负债情况,并根据负债情况对数据块进行存储管理。

    在本发明的一些实施例中,记录当前存储介质的负债情况,并根据负债情况对数据块进行存储管理的步骤包括:

    在对数据块进行操作的过程中当前存储介质响应不及时时,增加当前存储介质的负债值;

    在负债值大于预设阈值时,将数据块存储至介质能力高于当前存储介质的介质能力的新存储介质中。

    上述实现过程中,存储介质中的数据块出现贬值,则可以将其流动至更低等级的存储介质中,但若存储介质中的数据块获得了较多的读写频率,热度变高,数据价值变高,按照存储介质利益最大化的逻辑,该存储介质仍会抓住这部分数据块以扩大自身利益,但如果数据块在增值过程中出现响应不及时的情况时,存储介质会因此而负债,为了消除负债,存储介质则需将高价值数据块转出并存至高等级的其他存储介质中来消除自身的负债,从而有效的避免了存储介质无法承担具备较高的数据价值的数据块的读写操作,进而保证了数据存储的高效性。

    在本发明的一些实施例中,方法还包括:

    获取待写入的所有数据块的数据价值,并将所有数据块按照每个数据块对应的数据价值从高到低排列生成待写入数据块队列;

    获取所有存储介质的介质能力,并将所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列;

    将数据块队列中数据价值最高的数据块写入介质队列中能力最高的存储介质中;

    将已写入的数据块从待写入数据块队列中删除,并转至获取所有存储介质的介质能力,并将所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列的步骤,直至待写入数据块队列中不存在待写入数据块。

    第二方面,本申请实施例提供一种分布式存储装置,装置包括:

    数据获取模块,用于获取存储介质当前时刻具备的介质能力及存储介质中所存储的数据块的数据价值;

    比对模块,用于比对介质能力及数据价值以得到比对结果;

    存储管理模块,用于根据比对结果对数据块进行存储管理。

    在本发明的一些实施例中,数据获取模块包括:

    存储介质参数获取单元,用于获取存储介质的属性参数、健康程度、容量空间及繁忙程度;

    介质能力计算单元,用于分别对属性参数、健康程度、容量空间及繁忙程度进行加权,以计算得到存储介质当前时刻所具备的介质能力。

    在本发明的一些实施例中,数据获取模块包括:

    数据块参数获取单元,用于获取数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值;

    数据价值计算单元,用于根据数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值。

    在本发明的一些实施例中,数据获取模块包括:

    i/o模型价值影响值获取单元,用于根据下述第一关系函数获取i/o模型价值影响值:

    ,其中,表示i/o模型价值影响值,表示数据块读取类型,表示数据块的大小;

    业务重要性价值影响值获取单元,用于获取在分配存储空间时指定的常量参数作为业务重要性价值影响值;其中,

    读写命中率价值影响值获取单元,用于根据下述第二关系函数获取读写命中率价值影响值:

    ,其中,表示读写命中率价值影响值,表示数据块被再次使用的频率,表示时间;

    数据价值获取单元,用于根据下述数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值:

    ,其中,表示数据价值,表示i/o模型价值影响值所占的权重,表示业务重要性价值影响值所占的权重,表示所占的权重,表示读写命中率价值影响值。

    在本发明的一些实施例中,存储管理模块包括:

    第一存储管理单元,用于若比对结果表示数据价值降低,则将数据块存储至介质能力低于当前存储介质的介质能力的新存储介质中;

    第二存储管理单元,用于若比对结果表示数据价值增长,则记录当前存储介质的负债情况,并根据负债情况对数据块进行存储管理。

    在本发明的一些实施例中,第二存储管理单元包括:

    负债值增加子单元,用于在对数据块进行操作的过程中当前存储介质响应不及时时,增加当前存储介质的负债值;

    数据块移动子单元,用于在负债值大于预设阈值时,将数据块存储至介质能力高于当前存储介质的介质能力的新存储介质中。

    在本发明的一些实施例中,装置还包括:

    待写入数据块队列生成模块,用于获取待写入的所有数据块的数据价值,并将所有数据块按照每个数据块对应的数据价值从高到低排列生成待写入数据块队列;

    介质队列生成模块,用于获取所有存储介质的介质能力,并将所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列;

    数据块写入模块,用于将数据块队列中数据价值最高的数据块写入介质队列中能力最高的存储介质中;

    介质队列更新模块,用于将已写入的数据块从待写入数据块队列中删除,并转至获取所有存储介质的介质能力,并将所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列的步骤,直至待写入数据块队列中不存在待写入数据块。

    第三方面,本申请实施例提供一种电子设备,其包括存储器,用于存储一个或多个程序;处理器。当一个或多个程序被处理器执行时,实现如上述第一方面中任一项的方法。

    第四方面,本申请实施例提供一种计算机可读存储介质,其上存储有计算机程序,该计算机程序被处理器执行时实现如上述第一方面中任一项的方法。

    附图说明

    为了更清楚地说明本发明实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,应当理解,以下附图仅示出了本发明的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。

    图1为本发明实施例提供的一种分布式存储方法的流程图;

    图2为本发明实施例提供的一种分布式存储装置的结构框图;

    图3为本发明实施例提供的一种电子设备的结构框图。

    图标:100-分布式存储装置;110-数据获取模块;120-比对模块;130-存储管理模块;101-存储器;102-处理器;103-通信接口。

    具体实施方式

    为使本申请实施例的目的、技术方案和优点更加清楚,下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本申请一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本申请实施例的组件可以以各种不同的配置来布置和设计。

    因此,以下对在附图中提供的本申请的实施例的详细描述并非旨在限制要求保护的本申请的范围,而是仅仅表示本申请的选定实施例。基于本申请中的实施例,本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

    应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。同时,在本申请的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。

    需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括要素的过程、方法、物品或者设备中还存在另外的相同要素。

    下面结合附图,对本申请的一些实施方式作详细说明。在不冲突的情况下,下述的各个实施例及实施例中的各个特征可以相互组合。

    现有技术中的存储介质流动型存储方式是将等级较高的介质使用软件或算法绑定至等级较低的介质,形成一个混合介质,数据存储在这个虚拟的混合介质中,利用固定的算法在物理的两种不同的介质中进行流动和交换。这种方式可以较为高效的进行数据的流动和交换,但在多种存储介质管理方面存在较为严重的缺陷,比如无法随意的单独扩容某一种介质,或者新的介质类型,扩容过程仍然需要基本的按比例扩容混合介质。存储池流动型存储方式相对于上一种方式存储池流动型在介质的更换和扩容方面取得一定的进步,这种方式是使数据在不同的存储池之间进行流动和交换,不同的存储池一般使用不同的存储介质。目前主流方法是在两个存储池之间进行数据流动,也有部分产品设计为多个存储池。存储池流动型的方式在数据流动和交换时机方面普遍存在缺陷,如ceph在从低等级存储池向高等级存储池转移数据时存在放大读的问题,不管真实需要的数据块有多小,分布式存储都需要从低等级的存储池中读出一个最小逻辑块的数据到高等级的存储池中。存储副本流动型存储方式是指允许分布式存储的多个副本存放在不同的介质上。比如分布式存储采用三副本的保护方式,系统将前两个副本存放到高等级的介质中,将最后一个副本存放到较低等级的介质中,前两个副本写入完成后即可向客户端返回。这种方式很大程度上解决了固定介质模型的问题,基本上可以实现介质无相关式的扩容,但对于略高性能要求的情况下,较低性能的介质完全不能承受时,性能影响较大;另外还一定程度上牺牲了数据的安全性;最关键的是这种方式在获得的可用容量方面收益并不高。

    因此我们提出一种分布式存储方法,其对于磁盘介质完全没有固定模式的要求,而且对于不同的数据系统会自动安排不同的磁盘介质进行存储,并让数据在这些磁盘介质中可以进行准确、高效流动的存储方式。

    请参看图1,图1为本发明实施例提供的一种分布式存储方法的流程图,该分布式存储方法包括以下步骤:

    步骤s110:获取存储介质当前时刻具备的介质能力及存储介质中所存储的数据块的数据价值。

    存储介质的介质能力可以包括该存储介质的自身性能参数、寿命、存储状态、空间大小等至少一种数据进行表示。而存储介质中所存储的数据块的数据价值则可以根据数据块的利用率、数据重要程度等中的至少一种进行表示。

    步骤s120:比对介质能力及数据价值以得到比对结果。

    获取该存储介质在当前时刻具备的介质能力及存储于该存储介质中的数据块的数据价值后,可以将介质能力及数据价值进行比对,以得到表示存储介质的介质能力与数据块的数据价值是否匹配的比对结果。

    步骤s130:根据比对结果对数据块进行存储管理。

    最后根据比对结果再对数据块进行存储管理,以实现数据块的数据价值与存储介质的介质能力相匹配的存储管理,从而保证存储介质有足够的能力支撑存储于其中的数据块,进而保证对存储介质进行有效的管理,以使存储介质发挥最大的存储性能。

    上述实现过程中,先获取存储介质当前时刻所具备的介质能力以及其中存储的数据块的数据价值,并将介质能力及数据价值进行比对,以判断在当前时刻数据块存储于该存储介质中是否实现了利益最大化。然后根据比对结果对该数据块进行存储管理,若介质能力与数据价值不匹配,则重新为数据块分配合适的存储介质进行存储,从而实现准确且高效的流动存储。

    在本发明的一些实施例中,在获取存储介质当前时刻具备的介质能力时,可以先获取存储介质的属性参数、健康程度、容量空间及繁忙程度,然后分别对属性参数、健康程度、容量空间及繁忙程度进行加权,以计算得到存储介质当前时刻所具备的介质能力。

    介质能力可以取决于存储介质的固有属性能力(attributes)、健康程度(health)、容量空间(capacity)、繁忙程度(busy)四个数据。其中,存储介质的固有属性能力取决于磁盘类型与接口。例如,磁盘类型主要有机械硬盘(hdd)、固态硬盘(ssd)以及混合硬盘(sshd),接口主要有ide、sata、scsi、sas、m.2、u.2、pcie,hhd盘配以ide、sata、scsi、sas、m.2、u.2、pcie接口时固有属性能力分别为1、2、3、4、5、6、7,ssd盘配以ide、sata、scsi、sas、m.2、u.2、pcie接口时固有属性能力分别为12、13、14、15、16、17、18,ssd盘配以ide、sata、scsi、sas、m.2、u.2、pcie接口时固有属性能力分别为12、13、14、15、16、17、18,sshd盘配以接口ide、sata、scsi、sas、m.2、u.2、pcie时固有属性能力分别为5、6、7、8、9、10、11。而健康程度(health)、容量空间(capacity)和繁忙程度(busy)则可以通过抓取存储介质的实时状态获取。然后综合介质的固有属性能力、健康程度、容量空间和繁忙程度这四种因素,加权计算即可得到磁盘当前时刻具备的介质能力ability。可以理解地,上述方案仅为一种可行的实施方式,可以根据具体的需求选取不同类型的与存储介质的介质能力相关的参数。

    在本发明的一些实施例中,获取存储介质中所存储的数据块的数据价值时,可以先获取数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值;然后根据数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值。

    具体地,可以先根据下述第一关系函数获取i/o模型价值影响值:

    ,其中,表示i/o模型价值影响值,表示数据块读取类型,表示数据块的大小;

    然后,获取在分配存储空间时指定的常量参数作为业务重要性价值影响值;其中,

    接着,根据下述第二关系函数获取读写命中率价值影响值:

    ,其中,表示读写命中率价值影响值,表示数据块被再次使用的频率,表示时间;

    最后,根据下述数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值:

    ,其中,表示数据价值,表示i/o模型价值影响值所占的权重,表示业务重要性价值影响值所占的权重,表示所占的权重,表示读写命中率价值影响值。

    其中,i/o模型从不同的纬度上主要表现为i/o的块大小、随机i/o或顺序i/o。一般在生产环境中小块i/o重要性优于大块i/o,随机i/o重要性优于顺序i/o,且当i/o足够大时,等级较低的磁盘的性能在随机和顺序上会越来越接近。因此可以通过第一关系函数计算i/o模型价值影响值,例如,表示数据块的大小,表示数据块读取类型,如果数据块为随机i/o,则,如果数据块为顺序i/o,则。可以理解地,取值还可以根据其他方式进行设定和获取。

    数据块被再次使用的频率越高,则可以理解为其价值就越高,一般情况下数据被初次写入存储时其价值量是其最高点,随着时间的推移,数据块的使用频率相对于初次写入时的使用频率减少,因而价值量也会随之减少,因此可以通过第二关系函数定义数据块价值与写入时间和使用频率之间的关系函数。

    在获取到与数据块的价值有关的参数后,综合建立数据块价值量计算模型以计算数据价值。在数据块价值量计算模型中,表示i/o模型价值影响值所占的权重,表示业务重要性价值影响值所占的权重,表示所占的权重,表示读写命中率价值影响值。可以认为这三项指标对数据块的价值影响力度相等,即取,也可按实际的需求定义各项指标对应的权重,此处不作具体限定。

    在得到比对结果后,根据比对结果对数据块进行存储管理可以包括以下过程。若比对结果表示数据价值降低,则将数据块存储至介质能力低于当前存储介质的介质能力的新存储介质中,比对结果表示数据价值降低时,数据价值低于介质能力,则存储介质的介质能力与数据块的数据价值不匹配,此时数据块存储与该存储介质中会导致存储介质性能的浪费,因此可以将该数据块存储与价值能力更低的存储介质中,也就是说,将该数据块存储与其当前数据价值相匹配的存储介质中。若比对结果表示数据价值增长,也就是说存储介质中的数据块获得了较多的读写频率、热度变高或数据价值变高,那么按照存储介质利益最大化的逻辑,存储介质不会主动放弃该数据块,存储介质会抓住该数据块以扩大自身利益,则记录当前存储介质的负债情况,并根据负债情况对数据块进行存储管理。

    在本发明的一些实施例中,记录当前存储介质的负债情况,并根据负债情况对数据块进行存储管理的步骤包括:在对数据块进行操作的过程中当前存储介质响应不及时时,增加当前存储介质的负债值;在负债值大于预设阈值时,将数据块存储至介质能力高于当前存储介质的介质能力的新存储介质中。

    存储介质中的数据块出现贬值,则可以将其流动至更低等级的存储介质中,但若存储介质中的数据块获得了较多的读写频率,热度变高,数据价值变高,按照存储介质利益最大化的逻辑,该存储介质仍会抓住这部分数据块以扩大自身利益,但如果数据块在增值过程中出现响应不及时的情况时,存储介质会因此而负债,为了消除负债,存储介质则需将高价值数据块转出并存至高等级的其他存储介质中来消除自身的负债,从而有效的避免了存储介质无法承担具备较高的数据价值的数据块的读写操作,进而保证了数据存储的高效性。

    当数据市场接收到客户端数据写入请求时,需要进行数据块的分配写入过程,则可以先获取待写入的所有数据块的数据价值,并将所有数据块按照每个数据块对应的数据价值从高到低排列生成待写入数据块队列;然后,获取所有存储介质的介质能力,并将所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列;再将数据块队列中数据价值最高的数据块写入介质队列中能力最高的存储介质中;接着将已写入的数据块从待写入数据块队列中删除,并转至获取所有存储介质的介质能力,并将所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列的步骤,直至待写入数据块队列中不存在待写入数据块。

    此外,根据比对结果对数据块进行存储管理时,也可以是先根据比对结果将数据块的数据价值与存储介质的介质能力不匹配的数据块发送至数据市场中,然后再通过上述过程重新对该数据块进行重新写入的存储管理操作。通过以上方案,可以定期监控介质能力与存储介质内数据块的数据价值匹配情况,筛选不匹配的数据块将其重新发布至数据市场;通过数据价值计算和介质能力评估,实时将数据市场重新流通或新接收到的数据块写入最合适的存储介质中,从而保证了数据以及存储介质之间的利益最大化。

    通过上述方法,根据数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值三项指标综合构建数据块价值计算模型,根据介质的固有属性能力、健康程度、容量空间、繁忙程度四项因素加权评估介质能力,利用数据块价值计算模型计算介质上已存储数据块的价值,筛选与介质能力不匹配的数据块将其重新发布到数据市场进行流通,基于介质利益最大化这一原则,将数据市场接收到的新数据块写入请求以及重新发布到数据市场的数据块,按数据价值从高到低的顺序依次写入系统中实时更新评估后介质能力最高的存储介质中;通过上述价值流通型分布式存储的方式,数据块能够自动优先选择性能最好的存储介质进行存储,从而可以有效管理任意存储介质,并最大化发挥其存储性能,实现介质利益最大化,同时还能将客户从以往的配置和维护工作中解放出来,实现智能化。

    基于同样的发明构思,本发明还提出一种分布式存储装置100,请参看图2,图2为本发明实施例提供的一种分布式存储装置100的结构框图。

    该分布式存储装置100包括:

    数据获取模块110,用于获取存储介质当前时刻具备的介质能力及存储介质中所存储的数据块的数据价值;

    比对模块120,用于比对介质能力及数据价值以得到比对结果;

    存储管理模块130,用于根据比对结果对数据块进行存储管理。

    在本发明的一些实施例中,数据获取模块110包括:

    存储介质参数获取单元,用于获取存储介质的属性参数、健康程度、容量空间及繁忙程度;

    介质能力计算单元,用于分别对属性参数、健康程度、容量空间及繁忙程度进行加权,以计算得到存储介质当前时刻所具备的介质能力。

    在本发明的一些实施例中,数据获取模块110包括:

    数据块参数获取单元,用于获取数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值;

    数据价值计算单元,用于根据数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值。

    在本发明的一些实施例中,数据获取模块110包括:

    i/o模型价值影响值获取单元,用于根据下述第一关系函数获取i/o模型价值影响值:

    ,其中,表示i/o模型价值影响值,表示数据块读取类型,表示数据块的大小;

    业务重要性价值影响值获取单元,用于获取在分配存储空间时指定的常量参数作为业务重要性价值影响值;其中,

    读写命中率价值影响值获取单元,用于根据下述第二关系函数获取读写命中率价值影响值:

    ,其中,表示读写命中率价值影响值,表示数据块被再次使用的频率,表示时间;

    数据价值获取单元,用于根据下述数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值:

    ,其中,表示数据价值,表示i/o模型价值影响值所占的权重,表示业务重要性价值影响值所占的权重,表示所占的权重,表示读写命中率价值影响值。

    在本发明的一些实施例中,存储管理模块130包括:

    第一存储管理单元,用于若比对结果表示数据价值降低,则将数据块存储至介质能力低于当前存储介质的介质能力的新存储介质中;

    第二存储管理单元,用于若比对结果表示数据价值增长,则记录当前存储介质的负债情况,并根据负债情况对数据块进行存储管理。

    在本发明的一些实施例中,第二存储管理单元包括:

    负债值增加子单元,用于在对数据块进行操作的过程中当前存储介质响应不及时时,增加当前存储介质的负债值;

    数据块移动子单元,用于在负债值大于预设阈值时,将数据块存储至介质能力高于当前存储介质的介质能力的新存储介质中。

    在本发明的一些实施例中,装置还包括:

    待写入数据块队列生成模块,用于获取待写入的所有数据块的数据价值,并将所有数据块按照每个数据块对应的数据价值从高到低排列生成待写入数据块队列;

    介质队列生成模块,用于获取所有存储介质的介质能力,并将所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列;

    数据块写入模块,用于将数据块队列中数据价值最高的数据块写入介质队列中能力最高的存储介质中;

    介质队列更新模块,用于将已写入的数据块从待写入数据块队列中删除,并转至获取所有存储介质的介质能力,并将所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列的步骤,直至待写入数据块队列中不存在待写入数据块。

    请参阅图3,图3为本申请实施例提供的电子设备的一种示意性结构框图。电子设备包括存储器101、处理器102和通信接口103,该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接,以实现数据的传输或交互。例如,这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块,如本申请实施例所提供的分布式存储装置100对应的程序指令/模块,处理器102通过执行存储在存储器101内的软件程序及模块,从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。

    其中,存储器101可以是但不限于,随机存取存储器(randomaccessmemory,ram),只读存储器(readonlymemory,rom),可编程只读存储器(programmableread-onlymemory,prom),可擦除只读存储器(erasableprogrammableread-onlymemory,eprom),电可擦除只读存储器(electricerasableprogrammableread-onlymemory,eeprom)等。

    处理器102可以是一种集成电路芯片,具有信号处理能力。该处理器102可以是通用处理器,包括中央处理器(centralprocessingunit,cpu)、网络处理器(networkprocessor,np)等;还可以是数字信号处理器(digitalsignalprocessing,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。

    可以理解,图3所示的结构仅为示意,电子设备还可包括比图3中所示更多或者更少的组件,或者具有与图3所示不同的配置。图3中所示的各组件可以采用硬件、软件或其组合实现。

    在本申请所提供的实施例中,应该理解到,所揭露的装置和方法,也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,附图中的流程图和框图显示了根据本申请的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上,流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分,模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意,在有些作为替换的实现方式中,方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如,两个连续的方框实际上可以基本并行地执行,它们有时也可以按相反的顺序执行,这依所涉及的功能而定。也要注意的是,框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合,可以用执行规定的功能或动作的专用的基于硬件的系统来实现,或者可以用专用硬件与计算机指令的组合来实现。

    另外,在本申请各个实施例中的各功能模块可以集成在一起形成一个独立的部分,也可以是各个模块单独存在,也可以两个或两个以上模块集成形成一个独立的部分。

    功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本申请的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本申请各个实施例方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质。

    综上,本申请实施例提供的一种分布式存储方法及装置,该方法包括:获取存储介质当前时刻具备的介质能力及存储介质中所存储的数据块的数据价值;比对介质能力及数据价值以得到比对结果;根据比对结果对数据块进行存储管理。先获取存储介质当前时刻所具备的介质能力以及其中存储的数据块的数据价值,并将介质能力及数据价值进行比对,以判断在当前时刻数据块存储于该存储介质中是否实现了利益最大化。然后根据比对结果对该数据块进行存储管理,若介质能力与数据价值不匹配,则重新为数据块分配合适的存储介质进行存储,也就是说,通过存储介质的介质能力和数据块的数据价值之间进行对比,最终达到数据块在分布式存储中的存储和流动达到较高的效率及准确性,让数据块在最必要的时候去到它最应当去的地方,实现介质利益最大化,从而实现准确且高效的流动存储。

    以上仅为本申请的优选实施例而已,并不用于限制本申请,对于本领域的技术人员来说,本申请可以有各种更改和变化。凡在本申请的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本申请的保护范围之内。

    对于本领域技术人员而言,显然本申请不限于上述示范性实施例的细节,而且在不背离本申请的精神或基本特征的情况下,能够以其它的具体形式实现本申请。因此,无论从哪一点来看,均应将实施例看作是示范性的,而且是非限制性的,本申请的范围由所附权利要求而不是上述说明限定,因此旨在将落在权利要求的等同要件的含义和范围内的所有变化囊括在本申请内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。


    技术特征:

    1.一种分布式存储方法,其特征在于,所述方法包括:

    获取存储介质当前时刻具备的介质能力及所述存储介质中所存储的数据块的数据价值;

    比对所述介质能力及所述数据价值以得到比对结果;

    根据所述比对结果对所述数据块进行存储管理。

    2.如权利要求1所述的方法,其特征在于,获取存储介质当前时刻具备的介质能力的步骤包括:

    获取所述存储介质的属性参数、健康程度、容量空间及繁忙程度;

    分别对所述属性参数、健康程度、容量空间及繁忙程度进行加权,以计算得到所述存储介质当前时刻所具备的介质能力。

    3.如权利要求1所述的方法,其特征在于,获取所述存储介质中所存储的数据块的数据价值的步骤包括:

    获取所述数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值;

    根据数据块价值量计算模型及所述数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算所述数据块的数据价值。

    4.如权利要求1所述的方法,其特征在于,获取所述存储介质中所存储的数据块的数据价值的步骤包括:

    根据下述第一关系函数获取i/o模型价值影响值:

    ,其中,表示i/o模型价值影响值,表示数据块读取类型,表示数据块的大小;

    获取在分配存储空间时指定的常量参数作为业务重要性价值影响值;其中,

    根据下述第二关系函数获取读写命中率价值影响值:

    ,其中,表示读写命中率价值影响值,表示数据块被再次使用的频率,表示时间;

    根据下述数据块价值量计算模型及数据块的i/o模型价值影响值、业务重要性价值影响值以及读写命中率价值影响值计算数据块的数据价值:

    ,其中,表示数据价值,表示i/o模型价值影响值所占的权重,表示业务重要性价值影响值所占的权重,表示所占的权重,表示读写命中率价值影响值。

    5.如权利要求1所述的方法,其特征在于,根据所述比对结果对所述数据块进行存储管理的步骤包括:

    若所述比对结果表示所述数据价值降低,则将所述数据块存储至介质能力低于当前存储介质的介质能力的新存储介质中;

    若所述比对结果表示所述数据价值增长,则记录所述当前存储介质的负债情况,并根据所述负债情况对所述数据块进行存储管理。

    6.如权利要求5所述的方法,其特征在于,记录所述当前存储介质的负债情况,并根据所述负债情况对所述数据块进行存储管理的步骤包括:

    在对所述数据块进行操作的过程中所述当前存储介质响应不及时时,增加所述当前存储介质的负债值;

    在所述负债值大于预设阈值时,将所述数据块存储至介质能力高于当前存储介质的介质能力的新存储介质中。

    7.如权利要求1所述的方法,其特征在于,所述方法还包括:

    获取待写入的所有数据块的数据价值,并将所述所有数据块按照每个数据块对应的数据价值从高到低排列生成待写入数据块队列;

    获取所有存储介质的介质能力,并将所述所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列;

    将所述数据块队列中数据价值最高的数据块写入介质队列中能力最高的存储介质中;

    将所述已写入的所述数据块从所述待写入数据块队列中删除,并转至所述获取所有存储介质的介质能力,并将所述所有存储介质按照每个存储介质对应的介质能力从高到低排列生成介质队列的步骤,直至所述待写入数据块队列中不存在待写入数据块。

    8.一种分布式存储装置,其特征在于,所述装置包括:

    数据获取模块,用于获取存储介质当前时刻具备的介质能力及所述存储介质中所存储的数据块的数据价值;

    比对模块,用于比对所述介质能力及所述数据价值以得到比对结果;

    存储管理模块,用于根据所述比对结果对所述数据块进行存储管理。

    9.一种电子设备,其特征在于,包括:

    存储器,用于存储一个或多个程序;

    处理器;

    当所述一个或多个程序被所述处理器执行时,实现如权利要求1-7中任一项所述的方法。

    10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该计算机程序被处理器执行时实现如权利要求1-7中任一项所述的方法。

    技术总结
    本发明提出了一种分布式存储方法及装置,涉及计算机技术领域。该方法包括:获取存储介质当前时刻具备的介质能力及存储介质中所存储的数据块的数据价值;比对介质能力及数据价值以得到比对结果;根据比对结果对数据块进行存储管理。将介质能力及数据价值进行比对,以判断在当前时刻数据块存储于该存储介质中是否实现了利益最大化。通过存储介质的介质能力和数据块的数据价值之间进行对比,最终达到数据块在分布式存储中的存储和流动达到较高的效率及准确性,让数据块在最必要的时候去到它最应当去的地方,实现介质利益最大化,从而实现准确且高效的流动存储。

    技术研发人员:杨鹏;杨波
    受保护的技术使用者:南京群顶科技有限公司
    技术研发日:2021.02.05
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-23588.html

    最新回复(0)