一种数据备份方法、装置及计算设备集群与流程

    专利2025-04-28  22


    本技术涉及数据存储,尤其涉及一种数据备份方法、装置及计算设备集群。


    背景技术:

    1、数据管理从单个数据节点(如单个计算设备或单个数据中心)的集中式管理逐渐过渡为多个数据节点的联邦式管理。相应的,数据从集中存储在单个数据节点的方式转换为分布式存储在多个数据节点的方式。在多个数据节点的联邦式管理模式下,数据分布在多个数据节点中,数据节点之间允许进行数据迁移,也即多个数据节点之间存在数据流动。

    2、数据备份是数据保护的一种主要手段。对主数据进行数据备份,产生备份数据,当主数据丢失或者损坏时,可以用备份数据恢复主数据。但在多个数据节点的联邦式管理模式下,数据迁移所涉及的两个数据节点的备份过程相对独立,其中任一数据节点需要自行触发一次备份,以保证数据节点的数据及时备份。通常多个数据节点的联邦式管理模式下,存在大量的数据流动,这将造成多个数据节点需要各自频繁地触发备份,这种备份的方式增加了备份的工作量。


    技术实现思路

    1、本技术提供一种数据备份方法、装置及计算设备集群,用以保证降低由数据迁移导致的数据备份的工作量。

    2、第一方面,本技术提供了一种数据备份方法,该方法可以由备份装置(备份装置对应于实施例中提及的备份子系统)执行。在该方法中,备份装置能够对第一数据节点与第二数据节点进行数据备份,生成并保存第一数据节点的数据副本以及第二数据节点的数据副本。在保存了第一数据节点的数据副本以及第二数据节点的数据副本之后,当第一数据节点与第二数据节点之间发生数据迁移,备份装置能够确定被迁移数据,被迁移数据为从第一数据节点迁移到第二数据节点的数据。该备份装置根据被迁移数据对第一数据节点的数据副本和第二数据节点的数据副本进行更新。

    3、通过上述方法,在第一数据节点与第二数据节点之间发生数据迁移的情况下,备份装置在确定了被迁移数据之后,能够一次性的对第一数据节点的数据副本和第二数据节点的数据副本进行更新。第一数据节点的数据备份以及第二数据节点的数据备份并非是独立进行的。也就是说,第一数据节点以及第二数据节点不再需要针对被迁移数据分别进行一次备份。避免了重复性的对一些数据进行备份,减少数据备份的工作量。另外,备份装置能够在发生数据迁移的情况下,完成对第一数据节点以及第二数据节点的数据备份,保证了数据迁移与数据备份的同步性,有效地保证了主数据以及备份数据的一致性。

    4、在一种可能的实现方式中,备份装置在根据被迁移数据对第一数据节点的数据副本和第二数据节点的数据副本进行更新时,从第一数据节点的数据副本删除被迁移数据,将被迁移数据更新到第二数据节点的数据副本。

    5、通过上述方法,备份装置只需利用被迁移数据即可一同完成对第一数据节点以及第二数据节点的数据备份,第一数据节点的数据备份以及第二数据节点的数据备份不再是相对独立的过程,保证了在数据迁移的情况下同步完成数据备份。

    6、在一种可能的实现方式中,备份装置能够感知第一数据节点与第二数据节点之间发生数据迁移。本技术并不限定备份装置感知第一数据节点与第二数据节点之间发生数据迁移的方式。例如,备份装置能够从第一数据节点或第二数据节点获取数据迁移信息,数据迁移信息指示发生数据迁移的第一数据节点以及第二数据节点。又例如,备份装置能够从管理第一数据节点的数据以及第二数据节点的数据的模块(如下文中提及的全局数据管理模块)获取数据迁移信息,该数据迁移信息指示发生数据迁移的第一数据节点以及第二数据节点。

    7、通过上述方法,备份装置能够感知第一数据节点与第二数据节点之间发生数据迁移,保证备份装置能够在第一数据节点与第二数据节点之间发生数据迁移的情况下,及时更新第一数据节点的数据副本、以及第二数据节点的数据副本,保证数据迁移以及数据备份的同步性。

    8、在一种可能的实现方式中,数据迁移信息可以指示被迁移数据,备份装置在可以根据数据迁移信息确定被迁移数据。

    9、通过上述方法,数据迁移信息指示了被迁移数据,使得备份装置能够快速的确定被迁移数据。

    10、在一种可能的实现方式中,为了确定被迁移数据时,备份装置可以获取第一数据节点的元数据快照以及第二数据节点的元数据快照,其中,第一数据节点的元数据快照指示第一数据节点的元数据,第一数据节点的元数据用于描述第一数据节点的数据,第二数据节点的元数据快照用于指示第二数据节点的元数据,第二数据节点的元数据用于描述第二数据节点的数据。备份装置对第一数据节点的元数据快照以及第二数据节点的元数据快照进行分析,确定被迁移数据。

    11、通过上述方法,备份装置通过第一数据节点的元数据快照以及第二数据节点的元数据快照能够准确的定位出被迁移数据。

    12、在一种可能的实现方式中,被迁移数据可能涉及两类数据。一类数据为已更新到第一数据节点、且未备份到第一数据节点的数据副本中的数据,该类数据称为更新数据。另一类数据为已更新到第一数据节点、且已备份到第一数据节点的数据副本中的数据,该类数据称为固定数据。被迁移数据可以均为更新数据,也可以均为固定数据,还可以同时包括更新数据以及固定数据。

    13、备份装置在利用被迁移数据更新第二数据节点的数据副本时,对于固定数据,备份装置可以将第一数据节点的数据副本中固定数据迁移到第二数据节点的数据副本中。对于更新数据,备份装置可以从第二数据节点中获取的更新数据,将更新数据增加到第二数据节点的数据副本中。

    14、通过上述方法,备份装置在更新第二数据节点的数据副本时,只需从第二数据节点获取更新数据,而不需要获取全部的被迁移数据,能够有效减少备份装置与第二数据节点之间交互的数据量。而且对于固定数据,备份装置仅需要将固定数据从第一数据节点的数据副本迁移到第二数据节点的数据副本,也即为固定数据的备份仅涉及两个数据节点的数据副本之间的数据迁移,备份装置并不需要第二数据节点获取该固定数据,同样可以减少备份装置与第二数据节点之间交互的数据量。

    15、在一种可能的实现方式中,第一数据节点以及第二数据节点属于全局文件系统。在全局文件系统中,第一数据节点的数据以及第二数据节点的数据以文件组织。基于全局文件系统部署的上层应用程序不感知全局文件系统内部数据的流动。

    16、通过上述方法,全局文件系统中的数据流动是上层应用程序不感知的,在这种情况下,备份装置仍能够感知到该全局文件系统中的数据流动,保证备份装置能够及时更新所保存的数据节点的数据副本,同步完成数据备份。

    17、第二方面,本技术实施例还提供了一种备份装置,该备份装置具有实现上述第一方面的方法实例中备份装置的行为功能,有益效果可以参见第一方面的描述此处不再赘述。功能可以通过硬件实现,也可以通过硬件执行相应的软件实现。硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中,备份装置的结构中包括备份执行模块,可选的,还包括备份业务管理模块。这些模块可以执行上述第一方面方法示例中的相应功能,具体参见方法示例中的详细描述,此处不做赘述。

    18、第三方面,本技术实施例还提供了一种计算设备,该计算设备具有实现上述第一方面的方法实例中备份装置的行为的功能,有益效果可以参见第一方面的描述此处不再赘述。计算设备的结构中包括处理器和存储器,处理器被配置为支持备份装置执行上述第一方面方法中相应的功能。存储器与处理器耦合,其保存备份装置必要的计算机程序指令和数据。通信装置的结构中还包括通信接口,用于与其他设备进行通信。

    19、第四方面,本技术实施例还提供了一种计算设备集群,该计算设备集群具有实现上述第一方面的方法实例中备份装置的行为的功能,有益效果可以参见第一方面的描述此处不再赘述。计算设备集群包括至少一个计算设备,任一计算设备的结构中包括处理器和存储器,任一计算设备中的处理器被配置为支持备份装置执行上述第一方面以及第一方面的各个可能的实施方式中的部分或全部功能。存储器与处理器耦合,其保存备份装置必要的计算机程序指令和数据。通信装置的结构中还包括通信接口,用于与其他设备进行通信。

    20、第五方面,本技术还提供一种计算机可读存储介质,计算机可读存储介质中存储有指令,当其在计算机上运行时,使得计算机执行上述第一方面以及第一方面的各个可能的实施方式中的方法。

    21、第六方面,本技术还提供一种包含指令的计算机程序产品,当其在计算机上运行时,使得计算机执行上述第一方面以及第一方面的各个可能的实施方式中的方法。

    22、第七方面,本技术还提供一种计算机芯片,芯片与存储器相连,芯片用于读取并执行存储器中存储的软件程序,执行上述第一方面以及第一方面的各个可能的实施方式中的方法。


    技术特征:

    1.一种数据备份方法,其特征在于,所述方法包括:

    2.如权利要求1所述的方法,其特征在于,所述根据所述被迁移数据对所述第一数据节点的数据副本和所述第二数据节点的数据副本进行更新,包括:

    3.如权利要求1或2所述的方法,其特征在于,所述方法还包括:

    4.如权利要求3所述的方法,其特征在于,所述数据迁移信息还指示了所述被迁移数据,所述确定被迁移数据,包括:

    5.如权利要求1~4任一项所述的方法,其特征在于,所述确定被迁移数据,包括:

    6.如权利要求5所述的方法,其特征在于,所述被迁移数据包括更新数据或固定数据中的部分或全部,其中,所述更新数据为已更新到所述第一数据节点、且未备份到所述第一数据节点的数据副本中的数据,所述固定数据为已更新到所述第一数据节点、且已备份到所述第一数据节点的数据副本中的数据,所述将所述被迁移数据更新到所述第二数据节点的数据副本,包括:

    7.如权利要求1~6任一项所述的方法,其特征在于,所述第一数据节点以及所述第二数据节点属于全局文件系统gfs,所述全局文件系统中所述第一数据节点的数据以及第二数据节点的数据以文件组织,基于所述全局文件系统部署的上层应用程序不感知所述全局文件系统内部数据的流动。

    8.一种备份装置,其特征在于,所述装置包括:

    9.如权利要求8所述的装置,其特征在于,所述备份执行模块在根据所述被迁移数据对所述第一数据节点的数据副本和所述第二数据节点的数据副本进行更新时,用于:

    10.如权利要求8或9所述的装置,其特征在于,所述装置还包括备份业务管理模块,所述备份业务管理模块,用于:

    11.如权利要求10所述的装置,其特征在于,所述数据迁移信息还指示了所述被迁移数据,所述备份执行模块在确定被迁移数据时,用于:

    12.如权利要求8~11任一项所述的装置,其特征在于,所述备份执行模块在确定被迁移数据时,用于,包括:

    13.如权利要求12所述的装置,其特征在于,所述被迁移数据包括更新数据或固定数据中的部分或全部,其中,所述更新数据为已更新到所述第一数据节点、且未备份到所述第一数据节点的数据副本中的数据,所述固定数据为已更新到所述第一数据节点、且已备份到所述第一数据节点的数据副本中的数据,所述备份执行模块在将所述被迁移数据更新到所述第二数据节点的数据副本,用于:

    14.如权利要求8~13任一项所述的装置,其特征在于,所述第一数据节点以及所述第二数据节点属于全局文件系统gfs,所述全局文件系统中所述第一数据节点的数据以及第二数据节点的数据以文件组织,基于所述全局文件系统部署的上层应用程序不感知所述全局文件系统内部数据的流动。

    15.一种计算设备,其特征在于,所述计算设备包括处理器和存储器;

    16.一种计算设备集群,其特征在于,包括至少一个计算设备,每个计算设备包括处理器和存储器;

    17.一种包含指令的计算机程序产品,其特征在于,当所述指令被计算设备集群运行时,使得所述计算设备集群执行如权利要求的1~7任一项所述的方法。

    18.一种计算机可读存储介质,其特征在于,包括计算机程序指令,当所述计算机程序指令由计算设备集群执行时,所述计算设备集群执行如权利要求1~7任一项所述的方法。


    技术总结
    一种数据备份方法、装置及计算设备集群,本申请中,备份装置对第一数据节点与第二数据节点进行数据备份,生成并保存第一数据节点的数据副本以及第二数据节点的数据副本。当第一数据节点与第二数据节点之间发生数据迁移,备份装置确定被迁移数据,被迁移数据为从第一数据节点迁移到第二数据节点的数据。备份装置根据被迁移数据对第一数据节点的数据副本和第二数据节点的数据副本进行更新。在第一数据节点与第二数据节点之间发生数据迁移的情况下,备份装置能够统一的对第一数据节点的数据副本和第二数据节点的数据副本进行更新,避免了重复性的对一些数据进行备份,减少数据备份的工作量。

    技术研发人员:钟毅
    受保护的技术使用者:华为技术有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-86190.html

    最新回复(0)