基于大语言模型的问答方法、模型的训练方法、设备与流程

    专利2025-08-05  16


    本公开涉及人工智能,具体为大语言模型、自然语言处理等。具体涉及一种基于大语言模型的问答方法、模型的训练方法、设备。


    背景技术:

    1、大语言模型(large language model,llm)是以大尺寸为特征的生成式语言大模型,具有大规模参数数量和训练数据,通过利用更多的参数和更大的数据集进行训练,有效地提升了其在各种下游任务上的性能和样本效率。

    2、但研究发现,随着模型参数量的增大,在多步的复杂问题解答任务上性能提升曲线趋于平缓。因此如何提升大语言模型在复杂问题解答任务上的性能非常重要。


    技术实现思路

    1、本公开提供了一种基于大语言模型的问答方法、模型的训练方法、设备。

    2、根据本公开的一方面,提供了一种基于大语言模型的问答方法,包括:

    3、采用大语言模型对待处理的目标问题进行拆解得到目标语义图;其中,所述目标语义图包括目标问题中的子问题和子问题关系;

    4、采用大语言模型对目标语义图中的子问题进行解答得到子问题的回答,并根据子问题的回答确定目标问题的回答。

    5、根据本公开的一方面,提供了一种大语言模型的训练方法,包括:

    6、获取样本问题和标注的样本语义图;所述样本语义图包括样本问题中的子问题和子问题关系;

    7、将所述样本问题输入预训练的第一大语言模型,得到候选语义图;

    8、将所述样本问题和所述候选语义图输入预训练的第二大语言模型,得到候选语义图的质量;

    9、根据所述候选语义图的质量选择目标语义图,并根据样本语义图和所述目标语义图对所述第一大语言模型进行微调得到问题拆解模型,且对所述第二大语言模型进行微调得到反馈模型。

    10、根据本公开的一方面,提供了一种基于大语言模型的问答装置,包括:

    11、问题拆解模块,用于采用大语言模型对待处理的目标问题进行拆解得到目标语义图;其中,所述目标语义图包括目标问题中的子问题和子问题关系;

    12、问题解答模块,用于采用大语言模型对目标语义图中的子问题进行解答得到子问题的回答,并根据子问题的回答确定目标问题的回答。

    13、根据本公开的一方面,提供了一种大语言模型的训练装置,包括:

    14、样本语义图模块,用于获取样本问题和标注的样本语义图;所述样本语义图包括样本问题中的子问题和子问题关系;

    15、候选语义图模块,用于将所述样本问题输入预训练的第一大语言模型,得到候选语义图;

    16、质量模块,用于将所述样本问题和所述候选语义图输入预训练的第二大语言模型,得到候选语义图的质量;

    17、模型微调模块,用于根据所述候选语义图的质量选择目标语义图,并根据样本语义图和所述目标语义图对所述第一大语言模型进行微调得到问题拆解模型,且对所述第二大语言模型进行微调得到反馈模型。

    18、根据本公开的另一方面,提供了一种电子设备,该电子设备包括:

    19、至少一个处理器;以及

    20、与所述至少一个处理器通信连接的存储器;其中,

    21、所述存储器存储有可被所述至少一个处理器执行的指令,所述指令被所述至少一个处理器执行,以使所述至少一个处理器能够执行本公开任意实施例所提供的方法。

    22、根据本公开的另一方面,提供了一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行本公开任意实施例所提供的方法。

    23、根据本公开的又一方面,提供了一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据本公开任意实施例所提供的方法。

    24、应当理解,本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征,也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。



    技术特征:

    1.一种基于大语言模型的问答方法,包括:

    2.根据权利要求1所述的方法,其中,所述目标语义图的根节点为目标问题,所述目标语义图的子节点为子问题,所述子问题关系根据子节点的父节点得到。

    3.根据权利要求2所述的方法,其中,不同子问题之间不相同,且解答顺序中最后一个子问题的回答为目标问题的回答。

    4.根据权利要求1所述的方法,其中,所述采用大语言模型对待处理的目标问题进行拆解得到目标语义图,包括:

    5.根据权利要求1所述的方法,其中,所述采用大语言模型对目标语义图中的子问题进行解答得到子问题的回答,包括:

    6.根据权利要求5所述的方法,还包括:

    7.根据权利要求1所述的方法,其中,所述采用大语言模型对目标语义图中的子问题进行解答得到子问题的回答,包括:

    8.根据权利要求1所述的方法,其中,所述采用大语言模型对目标语义图中的子问题进行解答得到子问题的回答,包括:

    9.一种大语言模型的训练方法,包括:

    10.一种基于大语言模型的问答装置,包括:

    11.根据权利要求10所述的装置,其中,所述目标语义图的根节点为目标问题,所述目标语义图的子节点为子问题,所述子问题关系根据子节点的父节点得到。

    12.根据权利要求11所述的装置,其中,不同子问题之间不相同,且解答顺序中最后一个子问题的回答为目标问题的回答。

    13.根据权利要求10所述的装置,其中,所述问题拆解模块包括:

    14.根据权利要求10所述的装置,其中,所述问题解答模块包括:

    15.根据权利要求14所述的装置,问题解答模块还包括:

    16.根据权利要求10所述的装置,其中,所述问题解答模块包括:

    17.根据权利要求10所述的装置,其中,所述问题解答模块包括:

    18.一种大语言模型的训练装置,包括:

    19.一种电子设备,包括:

    20.一种存储有计算机指令的非瞬时计算机可读存储介质,其中,所述计算机指令用于使计算机执行根据权利要求1-9中任一项所述的方法。

    21.一种计算机程序产品,包括计算机程序,所述计算机程序在被处理器执行时实现根据权利要求1-9中任一项所述的方法。


    技术总结
    本公开提供了一种基于大语言模型的问答方法、模型的训练方法、设备,涉及大语言模型、自然语言处理等技术领域。该基于大语言模型的问答方法包括:采用大语言模型对待处理的目标问题进行拆解得到目标语义图;其中,所述目标语义图包括目标问题中的子问题和子问题关系;采用大语言模型对目标语义图中的子问题进行解答得到子问题的回答,并根据子问题的回答确定目标问题的回答。通过上述技术方案能够提高问答质量。

    技术研发人员:黄金凤,吴甜,姜文斌,郝洋,冯知凡,崔骁鹏,佘俏俏
    受保护的技术使用者:北京百度网讯科技有限公司
    技术研发日:
    技术公布日:2024/4/29
    转载请注明原文地址:https://wp.8miu.com/read-90485.html

    最新回复(0)