一种数据库物理备份恢复处理方法和系统与流程

    专利2025-11-01  13


    本发明涉及数据管理相关领域,具体是一种数据库物理备份恢复处理方法和系统。


    背景技术:

    1、在数据存储中,数据库中同一硬盘内存储的数据,其被读写修改的热度是不同的,因此便出现了冷数据与热数据这一不同的区别,对于冷数据,其在很长的一段时间内只会对产生少量的数据读写行为,而硬盘的寿命是平均且一定的,因此,冷热数据的区别会导致硬盘内颗粒寿命的不统一,增加数据丢失风险。

    2、现有技术中数据库的存储方式为了降低数据的丢失风险,多采用数据备份的方式进行,但对于冷热数据的问题,并未采取有效的应对措施,因此现有技术虽然能够有效的对数据进行备份和恢复,但是对于硬盘寿命内的利用率较低。


    技术实现思路

    1、本发明的目的在于提供一种数据库物理备份恢复处理方法和系统,以解决上述背景技术中提出的问题。

    2、为实现上述目的,本发明提供如下技术方案:

    3、一种数据库物理备份恢复处理方法,包含:

    4、数据库的拆分及数据通信重组;获取历史日志数据并基于历史日志数据进行数据热度评估,并基于预设的热度节点及数据热度评估结果对数据进行划分,评估不同级别热度的数据总量占比,并基于占比对数据库进行拆分,获取多个子数据库;

    5、数据库数据的监控与热点分析;通过监控工具进行数据库交互行为监控,识别被频繁读写的对应数据块,并评估其在一定时间内的数据通行负载,所述数据通行负载包括单位时间数据流量负载以及单位时间任务频率负载;

    6、对数据的热点类别评估与判断;基于所述数据通行负载进行热点类别评估,并基于热点类别进行分组,所述热点类别包括读取热点数据及写入热点数据;

    7、基于热点数据的数据备份与恢复;若所述数据的通行负载小于热点阈值,则将数据在静态子数据库中进行备份,若数据的通行负载大于热点阈值,则基于所述热点类别分别将其恢复至读取子数据库或写入子数据库中,并将所述静态子数据库中对应数据读写锁定。

    8、作为本发明的进一步方案:还包括数据库物理安全评估及数据风险规避步骤,具体包括:

    9、在所述读取子数据库及所述写入子数据库内建立奇偶校验存储区,并对子数据库内的数据进行奇偶校验备份;

    10、对于子数据库进行逻辑数据结构完整性监测,若监测结果表征为数据库存在数据区块损坏则执行数据风险规避程序;

    11、所述数据风险规避程序:基于奇偶校验备份对所述数据区块对应的子数据库硬件区间的数据在安全替换区间进行数据验证恢复,并将对应的子数据库硬件区间数据进行安全锁定;

    12、生成安全维护日志并输出,所述安全维护日志包括子数据硬件区间编号,数据结构完整性监测记录及数据恢复记录。

    13、作为本发明的再进一步方案:所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;

    14、所述高流量库包括多个并列存储空间,当将所述热点数据恢复至所述高流量库中时,将所述热点数据进行数据段拆分,并独立的将多个数据段在并列存储空间中恢复存储。

    15、作为本发明的再进一步方案:还包括热度级别标定及验证步骤,具体包括:

    16、对多个子数据库进行负载评估,获取所述子数据库的最大负载容纳量,所述最大负载容纳量包括单位时间最大数据流量负载以及单位时间最大任务频率负载;

    17、对热点数据进行恢复时,对子数据库中热点数据的数据通行负载占用进行评估,并判断对应待恢复的热点数据与当前的数据通行负载占用是否超出所述最大负载容纳量;

    18、若未超出,则对所述热点数据进行恢复,若超出,则替换恢复用的目标子数据库。

    19、作为本发明的再进一步方案:还包括热点数据的冷却缓存步骤,具体包括:

    20、对所述热点数据的数据通信负载进行连续性监测,并评估其负载冷却速率;

    21、基于热点数据的当前数据通信负载及负载冷却速率进行冷却判断,若基于冷却判断结果表征为所述数据通信负载下降至热点阈值的预估时间小于预设冷却时间,则将所述热点数据备份至冷却缓存数据层,并将子数据库中对应热点数据进行读写锁定。

    22、本发明实施例旨在提供一种数据库物理备份恢复处理系统,包含:

    23、数据库拆分模块,用于数据库的拆分及数据通信重组;获取历史日志数据并基于历史日志数据进行数据热度评估,并基于预设的热度节点及数据热度评估结果对数据进行划分,评估不同级别热度的数据总量占比,并基于占比对数据库进行拆分,获取多个子数据库;

    24、数据库监控模块,用于数据库数据的监控与热点分析;通过监控工具进行数据库交互行为监控,识别被频繁读写的对应数据块,并评估其在一定时间内的数据通行负载,所述数据通行负载包括单位时间数据流量负载以及单位时间任务频率负载;

    25、热点识别模块,用于对数据的热点类别评估与判断;基于所述数据通行负载进行热点类别评估,并基于热点类别进行分组,所述热点类别包括读取热点数据及写入热点数据;

    26、数据备份恢复模块,用于基于热点数据的数据备份与恢复;若所述数据的通行负载小于热点阈值,则将数据在静态子数据库中进行备份,若数据的通行负载大于热点阈值,则基于所述热点类别分别将其恢复至读取子数据库或写入子数据库中,并将所述静态子数据库中对应数据读写锁定。

    27、作为本发明的进一步方案:还包括物理风险规避模块,具体包括:

    28、校验备份单元,用于在所述读取子数据库及所述写入子数据库内建立奇偶校验存储区,并对子数据库内的数据进行奇偶校验备份;

    29、物理监测单元,用于对于子数据库进行逻辑数据结构完整性监测,若监测结果表征为数据库存在数据区块损坏则执行数据风险规避程序;

    30、风险规避单元,用于所述数据风险规避程序:基于奇偶校验备份对所述数据区块对应的子数据库硬件区间的数据在安全替换区间进行数据验证恢复,并将对应的子数据库硬件区间数据进行安全锁定;

    31、时间记录单元,用于生成安全维护日志并输出,所述安全维护日志包括子数据硬件区间编号,数据结构完整性监测记录及数据恢复记录。

    32、作为本发明的再进一步方案:所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;

    33、所述高流量库包括多个并列存储空间,当将所述热点数据恢复至所述高流量库中时,将所述热点数据进行数据段拆分,并独立的将多个数据段在并列存储空间中恢复存储。

    34、作为本发明的再进一步方案:还包括热度标定模块,具体包括:

    35、数据库标定单元,用于对多个子数据库进行负载评估,获取所述子数据库的最大负载容纳量,所述最大负载容纳量包括单位时间最大数据流量负载以及单位时间最大任务频率负载;

    36、数据恢复标定单元,用于对热点数据进行恢复时,对子数据库中热点数据的数据通行负载占用进行评估,并判断对应待恢复的热点数据与当前的数据通行负载占用是否超出所述最大负载容纳量;若未超出,则对所述热点数据进行恢复,若超出,则替换恢复用的目标子数据库。

    37、作为本发明的再进一步方案:还包括冷却监控模块,具体包括:

    38、冷却监测单元,用于对所述热点数据的数据通信负载进行连续性监测,并评估其负载冷却速率;

    39、冷却执行单元,用于基于热点数据的当前数据通信负载及负载冷却速率进行冷却判断,若基于冷却判断结果表征为所述数据通信负载下降至热点阈值的预估时间小于预设冷却时间,则将所述热点数据备份至冷却缓存数据层,并将子数据库中对应热点数据进行读写锁定。

    40、与现有技术相比,本发明的有益效果是:基于对数据的热度监控将数据库中的数据进行热度划分,同时将数据库分割为多个子数据库,并分别用于存储不同热度的数据内容,并将存储静态数据的子数据库作为基础存储区间,用于实现数据热度变化时,数据在基础存储区间及其他热度子数据库间的备份与恢复工作,相较于现有技术中的数据库执行方案,能够有效的降低高低热点数据缓存导致的存储设备寿命损耗不协调的问题,优化存储设备利用率。


    技术特征:

    1.一种数据库物理备份恢复处理方法,其特征在于,包含:

    2.根据权利要求1所述的一种数据库物理备份恢复处理方法,其特征在于,还包括数据库物理安全评估及数据风险规避步骤,具体包括:

    3.根据权利要求1所述的一种数据库物理备份恢复处理方法,其特征在于,所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;

    4.根据权利要求3所述的一种数据库物理备份恢复处理方法,其特征在于,还包括热度级别标定及验证步骤,具体包括:

    5.根据权利要求2所述的一种数据库物理备份恢复处理方法,其特征在于,还包括热点数据的冷却缓存步骤,具体包括:

    6.一种数据库物理备份恢复处理系统,其特征在于,包含:

    7.根据权利要求6所述的一种数据库物理备份恢复处理系统,其特征在于,还包括物理风险规避模块,具体包括:

    8.根据权利要求6所述的一种数据库物理备份恢复处理系统,其特征在于,所述写入子数据库具体包括高频库及高流量库,所述高频库用于存储数据通行负载表征为单位时间任务频率负载达热点阈值的数据,所述高流量库用于存储数据通行负载表征为单位时间数据流量负载达热点阈值的数据;

    9.根据权利要求8所述的一种数据库物理备份恢复处理系统,其特征在于,还包括热度标定模块,具体包括:

    10.根据权利要求7所述的一种数据库物理备份恢复处理系统,其特征在于,还包括冷却监控模块,具体包括:


    技术总结
    本发明涉及数据管理相关领域,公开了一种数据库物理备份恢复处理方法和系统,基于对数据的热度监控将数据库中的数据进行热度划分,同时将数据库分割为多个子数据库,并分别用于存储不同热度的数据内容,并将存储静态数据的子数据库作为基础存储区间,用于实现数据热度变化时,数据在基础存储区间及其他热度子数据库间的备份与恢复工作,相较于现有技术中的数据库执行方案,能够有效的降低高低热点数据缓存导致的存储设备寿命损耗不协调的问题,优化存储设备利用率。

    技术研发人员:邵常政,宫艳富,安世恒
    受保护的技术使用者:山东昌禹知商信息技术服务有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-91223.html

    最新回复(0)