基于多目标最优副本管理策略的混合云数据备份管理方法与流程

    专利2026-02-05  1


    本发明属于云计算灾备领域,特别是涉及一种基于多目标最优副本管理策略的混合云数据备份管理方法。


    背景技术:

    1、随着大数据时代的发展,数据的重要性上升到关键资源的层次。云数据备份恢复在政府/企业上云过程中具有重要意义。它涉及将数据从本地机房备份到云端,或者将数据从云上备份到云端,以便在数据丢失、损坏或遭受攻击时进行恢复。对于确保数据安全、提高数据可访问性、降低成本、简化数据管理具有重要意义。但是海量数据的备份和恢复让传统的数据保护方法显得维护成本高和恢复时间长,数据安全性降低。

    2、数据副本管理策略(cdm)是云上一种高效的备份数据保护解决方案,是政府、企业和个人保护关键信息的重要组成部分。一个优秀的备份副本管理策略能够应对故障或自然灾害导致的数据丢失、保护业务连续性、应对网络安全威胁、提高数据恢复速度等。数据备份管理是确保数据安全和业务连续性的关键。通过实施有效的数据备份策略,可以降低数据丢失的风险,保护政府、企业和客户的利益,对于整个管理系统的数据稳定性、可靠性和相应速度等具有重大的影响。

    3、在副本管理策略中,备份数据的可靠性是至关重要的。可靠性是指备份的数据应该是可靠的,能够在发生任何问题时都能被恢复。此外,在备份和恢复的过程中,还需要确保备份数据能够在出现错误时通过修复数据文件而得到恢复。

    4、在副本管理策略中,备份系统的时延是其重要特性之一。云存储系统往往将文件以副本的形式存储多份并放在不同的节点上,以保证其存储信息的安全性和降低用户访问的延迟。在云存储系统中,当一个文件访问量较少,且该文件的副本数目过多时会增加系统不必要存储开销和存储成本;而当一个文件的访问量很高,且该文件的副本较少时,则会增加用户访问该文件的访问时延,无法满足用户需求。

    5、在副本管理策略中,备份系统的负载均衡也是需要考虑的重要因素。服务器的负载均衡率不仅影响了服务器的资源利用率,并对整个系统都有较大的影响。

    6、然而,在实际的副本管理策略中,备份系统在三个方面的追求可能是潜在冲突的,无法同时达到最优。


    技术实现思路

    1、本发明的目的是提供一种基于多目标最优副本管理策略的混合云数据备份管理方法,用于弥补上述技术方案的不足。在备份恢复管理系统上,能够通过一个平台实现对不同类型数据的备份与恢复。在备份模块中,同时考虑备份数据的可靠性、系统整体时延和负载均衡问题,建立多目标优化模型,获取三种问题pareto平衡的最优副本管理策略,基于最优策略将备份副本备份到系统底层存储空间中。实现了在简化用户操作提高业务效率的同时,提高备份数据的可靠性和备份系统的稳定性,降低备份系统时延,保证业务系统运行稳定。

    2、一方面为实现上述目的,本发明提供了一种基于多目标最优副本管理策略的混合云数据备份管理方法,包括以下步骤:

    3、分别对数据在若干个存储节点中进行完整备份的可靠性目标函数、发送时延目标函数、负载均衡目标函数进行定义;

    4、基于所述可靠性目标函数、发送时延目标函数、负载均衡目标函数获取数据备份管理的优化目标函数;

    5、采用基于分解的多目标进化算法获取满足所述优化目标函数的最优放置方案矩阵;

    6、基于所述最优放置方案矩阵对数据进行各个存储节点上的备份放置分配。

    7、可选地,所述可靠性目标函数如下所示:

    8、

    9、其中,表示第i个数据文件ki的可靠性,χj为存储集群t中第j个存储节点tj的故障率,u存储节点的使用时间,为存储节点tj的失效率函数,k表示数据文件,m为存储节点数量,t表示m个存储节点组成的集群,tkij表示节点tj上的副本。

    10、可选地,所述发送时延目标函数如下所示:

    11、

    12、其中,vj为备份节点tj的数据发送速率;ci为数据文件ki的大小,表示ki在节点tj上的总访问量;表示ki的备份副本在存储节点tj上的第a个访问的发送时延。

    13、可选地,所述负载均衡目标函数如下所示:

    14、

    15、其中,σj为每个备份节点tj的权重,且

    16、可选地,所述优化目标函数如下所示:

    17、max s(x)=[f1(x),f2(x),f3(x)]t

    18、

    19、

    20、

    21、其中,x为决策变量,此处为放置方案矩阵tk,f1(x)=s1(tk),ρ(ki)表示第i个数据文件ki的大小,γ(tj)表示第j个存储节点tj的容量大小。

    22、可选地,采用基于分解的多目标进化算法获取满足所述优化目标函数的最优放置方案矩阵的过程包括:

    23、初始化种群数量并随机生成与种群数量相同的权重向量;

    24、基于tchebycheff分解算法将所述优化目标函数进行分解为与种群数量相同的若干个子问题;

    25、初始化进化次数,随机生成种群数量相同的放置方案矩阵;

    26、初始化前沿解集以及优化目标函数对应的参考点;

    27、初始化邻域向量,获取距离最后一个权重向量最近的若干个权重向量,并基于若干个权重向量构建索引集;

    28、设置最大迭代次数并进行迭代,基于迭代次数对最后一个权重向量和对应的放置方案矩阵进行迭代更新,当达到最大迭代次数时停止迭代,获取所述最优放置方案矩阵。

    29、可选地,基于迭代次数对每个权重向量和对应的放置方案矩阵进行更新的过程包括:

    30、基于所述索引集随机获取索引号,获取所述索引号对应的放置方案矩阵;

    31、基于对应的放置方案矩阵获取新放置方案矩阵,基于所述新放置方案矩阵分别对参考点、种群以及非支配解集进行迭代更新;

    32、当达到最大迭代次数时,获取更新后的非支配解集并作为最优前沿解集,在所述最优前沿解集中选择一个权衡解,将所述权衡解作为最优放置方案矩阵。

    33、可选地,所述参考点的更新过程中,若则表示子问题fk的参考点,表示新放置方案矩阵;所述种群的更新过程中,对于索引集中的每一个邻域个体若则其中gte表示基于tchebycheff分解算法得到的子问题,λ表示邻域个体的权重向量。

    34、可选地,所述非支配解集的更新过程中,保留inl(h-1)中支配的解,舍弃inl(h-1)中所有被支配的解,若所有inl(h-1)的解都不支配将加入inl(h),其中,inl(h-1)表示上一次更新后的非支配解集,表示新放置方案矩阵,inl(h)表示当前的非支配解集。

    35、另一方面为实现上述目的,本发明提供了一种基于多目标最优副本管理策略的混合云数据备份管理系统,其特征在于,所述系统包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述基于多目标最优副本管理策略的混合云数据备份管理方法。

    36、与现有技术相比,本发明的有益效果在于,本发明的基于多目标最优副本管理策略的混合云数据备份恢复管理方法,综合考虑备份数据的可靠性、备份系统的时延和备份系统的稳定性,通过基于分解的多目标优化算法,得到黄金副本的备份副本最优放置方案,降低数据丢失和损坏的风险。用户通过本发明可以对备份恢复策略进行设置,能够灵活、快速的进行数据备份与恢复,帮助管理员快速定位故障,最大程度地提高系统的效率和性能。


    技术特征:

    1.一种基于多目标最优副本管理策略的数据备份管理方法,其特征在于,包括以下步骤:

    2.根据权利要求1所述的基于多目标最优副本管理策略的数据备份管理方法,其特征在于,所述可靠性目标函数如下所示:

    3.根据权利要求1所述的基于多目标最优副本管理策略的数据备份管理方法,其特征在于,所述发送时延目标函数如下所示:

    4.根据权利要求1所述的基于多目标最优副本管理策略的数据备份管理方法,其特征在于,所述负载均衡目标函数如下所示:

    5.根据权利要求1所述的基于多目标最优副本管理策略的数据备份管理方法,其特征在于,所述优化目标函数如下所示:

    6.根据权利要求1所述的基于多目标最优副本管理策略的数据备份管理方法,其特征在于,采用基于分解的多目标进化算法获取满足所述优化目标函数的最优放置方案矩阵的过程包括:

    7.根据权利要求6所述的基于多目标最优副本管理策略的数据备份管理方法,其特征在于,基于迭代次数对每个权重向量和对应的放置方案矩阵进行更新的过程包括:

    8.根据权利要求7所述的基于多目标最优副本管理策略的混合云数据备份管理方法,其特征在于,所述参考点的更新过程中,若则表示子问题fk的参考点,表示新放置方案矩阵;

    9.根据权利要求7所述的基于多目标最优副本管理策略的混合云数据备份管理方法,其特征在于,所述非支配解集的更新过程中,保留inl(h-1)中支配的解,舍弃inl(h-1)中所有被支配的解,若所有inl(h-1)的解都不支配将加入inl(h),其中,inl(h-1)表示上一次更新后的非支配解集,表示新放置方案矩阵,inl(h)表示当前的非支配解集。

    10.一种基于多目标最优副本管理策略的混合云数据备份管理系统,其特征在于,所述系统包括存储器、处理器及存储在存储器上并能够在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述权利要求1至9任一一项所述的方法。


    技术总结
    本发明提供了一种基于多目标最优副本管理策略的数据备份管理方法与系统,包括:分别对数据进行完整备份的可靠性目标函数、发送时延目标函数、负载均衡目标函数进行定义;基于可靠性目标函数、发送时延目标函数、负载均衡目标函数获取数据备份管理的优化目标函数;采用基于分解的多目标进化算法获取满足优化目标函数的最优放置方案矩阵,基于最优放置方案矩阵对数据进行各个节点上的备份放置分配。本发明的综合考虑备份数据的可靠性、备份系统的时延和备份系统的稳定性,通过基于分解的多目标优化算法,得到黄金副本的备份副本最优放置方案,降低数据丢失和损坏的风险。

    技术研发人员:雷光钰
    受保护的技术使用者:天翼云科技有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-94729.html

    最新回复(0)