模型训练方法、数据存储方法、节点及存储介质与流程

    专利2025-06-19  26


    本申请涉及计算机,尤其涉及一种模型训练方法、数据存储方法、节点及存储介质。


    背景技术:

    1、在大数据的时代中,海量的应用产生了海量的业务数据,并且业务数据仍在逐年爆炸式增长,因此,对于海量数据的高效访问和经济存储变得越来越重要。目前,主要通过计算数据的生存时间确定数据所处的生命周期,然后根据数据所处的生命周期对数据进行存储。

    2、然而,现有技术中仅依靠简单的统计学计算方法判断数据所处生命周期,容易产生数据所处生命周期的误判,导致热数据被误判为冷数据或者冰数据,以致在数据存储时将热数据存储至读写速度慢的低级别存储介质中,严重拖累业务数据的访问性能。


    技术实现思路

    1、本申请提供了一种模型训练方法、数据存储方法、节点及存储介质,通过各个数据存储节点对人工智能算法模型的充分训练得到生命周期预测模型,实现了根据生命周期预测模型预测数据所处生命周期,提高了预测数据所处生命周期的准确性,解决了现有技术中易误判数据所处生命周期的问题。

    2、第一方面,本申请提供了一种模型训练方法,应用于控制节点,控制节点与至少两个数据存储节点通信连接,该方法包括:

    3、获取原始生命周期预测模型,并向各个数据存储节点发送协助训练指令,其中,协助训练指令至少包括原始生命周期预测模型的模型标识或者原始生命周期预测模型;

    4、接收各个数据存储节点发送的协助训练结果,并根据协助训练结果和原始生命周期预测模型,确定目标生命周期预测模型,目标生命周期预测模型用于预测数据的数据生命周期信息,以使得数据存储节点根据数据生命周期信息存储数据;

    5、将目标生命周期预测模型发送至各个数据存储节点。

    6、第二方面,本申请提供了一种数据存储方法,应用于数据存储节点,数据存储节点与控制节点通信连接,该方法包括:

    7、接收控制节点发送的协助训练指令,其中,协助训练指令至少包括原始生命周期预测模型的模型标识或者原始生命周期预测模型;

    8、根据协助训练指令,对原始生命周期预测模型进行训练,得到协助训练结果,并将协助训练结果发送至控制节点;

    9、接收控制节点发送的目标生命周期预测模型,并根据目标生命周期预测模型预测数据的数据生命周期信息;

    10、根据数据生命周期信息,生成目标分层存储策略,并按照目标分层存储策略存储数据。

    11、第三方面,本申请提供了一种模型训练装置,应用于控制节点,控制节点与至少两个数据存储节点通信连接,该装置包括:

    12、模型获取模块,用于获取原始生命周期预测模型,并向各个数据存储节点发送协助训练指令,其中,协助训练指令至少包括原始生命周期预测模型的模型标识或者原始生命周期预测模型;

    13、模型确定模块,用于接收各个数据存储节点发送的协助训练结果,并根据协助训练结果和原始生命周期预测模型,确定目标生命周期预测模型,目标生命周期预测模型用于预测数据的数据生命周期信息,以使得数据存储节点根据数据生命周期信息存储数据;

    14、模型发送模块,用于将目标生命周期预测模型发送至各个数据存储节点。

    15、第四方面,本申请提供了一种数据存储装置,应用于数据存储节点,数据存储节点与控制节点通信连接,该装置包括:

    16、指令接收模块,用于接收控制节点发送的协助训练指令,其中,协助训练指令至少包括原始生命周期预测模型的模型标识或者原始生命周期预测模型;

    17、模型训练模块,用于根据协助训练指令,对原始生命周期预测模型进行训练,得到协助训练结果,并将协助训练结果发送至控制节点;

    18、数据预测模块,用于接收控制节点发送的目标生命周期预测模型,并根据目标生命周期预测模型预测数据的数据生命周期信息;

    19、数据存储模块,用于根据数据生命周期信息,生成目标分层存储策略,并按照目标分层存储策略存储数据。

    20、第五方面,本申请提供了一种控制节点,该控制节点包括:

    21、至少一个处理器;以及与至少一个处理器通信连接的存储器;

    22、其中,存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本申请任一实施例的模型训练方法。

    23、第六方面,本申请提供了一种数据存储节点,该数据存储节点包括:

    24、至少一个处理器;以及与至少一个处理器通信连接的存储器;

    25、其中,存储器存储有可被至少一个处理器执行的计算机程序,计算机程序被至少一个处理器执行,以使至少一个处理器能够执行本申请任一实施例的数据存储方法。

    26、第七方面,本申请提供了一种数据存储系统,该系统包括用于执行本申请任一实施例的模型训练方法的控制节点,和用于执行本申请任一实施例的数据存储方法的数据存储节点。

    27、第八方面,本申请提供了一种计算机可读存储介质,计算机可读存储介质存储有计算机指令,计算机指令用于使处理器执行时实现本申请任一实施例的模型训练方法,或者本申请任一实施例的数据存储方法。

    28、本申请的技术方案,控制节点可以获取原始生命周期预测模型,并向各个数据存储节点发送协助训练指令;接收各个数据存储节点发送的协助训练结果,并根据协助训练结果和原始生命周期预测模型,确定目标生命周期预测模型,目标生命周期预测模型用于预测数据的数据生命周期信息,以使得数据存储节点根据数据生命周期信息存储数据;将目标生命周期预测模型发送至各个数据存储节点。上述技术方案中,控制节点将协助训练指令发送至各个数据存储节点,并在经过各个数据存储节点的充分训练之后,得到协助训练结果,接着根据协助训练结果更新原始生命周期预测模型,得到目标生命周期预测模型,然后将目标生命周期预测模型发送至各个数据存储节点,使得各个数据存储节点根据目标生命周期预测模型预测数据的数据生命周期信息,并根据数据生命周期信息存储数据,通过各个数据存储节点对人工智能算法模型的充分训练得到生命周期预测模型,实现了根据生命周期预测模型预测数据所处生命周期的功能,提高了预测数据所处生命周期的准确性,解决了现有技术中易误判数据所处生命周期的问题,进而提高了数据访问性能;同时当需要对海量业务数据的数据存储系统进行管理,特别是需要整体性调整分层存储策略时,可以直接管理和操作控制节点中的生命周期预测模型,提高了数据存储方案的设计效率,进而提高了数据管理效率,从而提升了用户体验。



    技术特征:

    1.一种模型训练方法,其特征在于,应用于控制节点,所述控制节点与至少两个数据存储节点通信连接,所述方法包括:

    2.根据权利要求1所述的模型训练方法,其特征在于,所述协助训练结果包括对应的数据存储节点训练得到的所述原始生命周期预测模型的梯度信息;

    3.根据权利要求1所述的模型训练方法,其特征在于,还包括:

    4.一种数据存储方法,其特征在于,应用于数据存储节点,所述数据存储节点与控制节点通信连接,所述方法包括:

    5.根据权利要求4所述的数据存储方法,其特征在于,所述根据所述协助训练指令,对所述原始生命周期预测模型进行训练,得到协助训练结果,包括:

    6.根据权利要求4所述的数据存储方法,其特征在于,所述根据所述数据生命周期信息,生成目标分层存储策略,包括:

    7.根据权利要求5所述的数据存储方法,其特征在于,还包括:

    8.一种控制节点,其特征在于,所述控制节点包括:

    9.一种数据存储节点,其特征在于,所述数据存储节点包括:

    10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机指令,所述计算机指令用于使处理器执行时实现权利要求1至3中任一所述的模型训练方法,或者权利要求4至7中任一所述的数据存储方法。


    技术总结
    本申请公开了一种模型训练方法、数据存储方法、节点及存储介质,涉及计算机技术领域。该方法包括:控制节点获取原始生命周期预测模型,并向各个数据存储节点发送协助训练指令;接收各个数据存储节点发送的协助训练结果,并根据协助训练结果和原始生命周期预测模型,确定目标生命周期预测模型;将目标生命周期预测模型发送至各个数据存储节点。本申请提供的技术方案,实现了根据生命周期预测模型预测数据所处生命周期的功能,提高了预测数据所处生命周期的准确性,解决了现有技术中易误判数据所处生命周期的问题,进而提高了数据访问性能,同时提高了数据管理效率,从而提升了用户体验。

    技术研发人员:陈曾泽,胡成越,曾文浩,赵玉亭,吕广
    受保护的技术使用者:中国农业银行股份有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-88464.html

    最新回复(0)