事件意图推理方法、装置、设备及存储介质与流程

    专利2022-07-08  88


    本申请涉及自然语言处理技术领域,更具体的说,是涉及一种事件意图推理方法、装置、设备及存储介质。



    背景技术:

    随着各个领域场景下大量研究报告、动向报文、综述文档、参数图表等结构化和非结构化的文本数据,正呈指数级别的增长。如何从大规模的知识数据中去获取事件的真实意图变得难以揣摩。

    特别是对于某些领域场景,其事件的意图带有模糊性,如对于军事领域推理事件的意图是否为侦查,它所体现出来的不确定性就是模糊性,因为对于侦查这个动机或概念本身就是模糊不确定的。此外,还有一些其它领域场景下,需要从大量文本数据中推理出对象的知觉、情感、判断等,这些意图也都带有模糊性。对于此类带有模糊性的事件意图,其推理实现过程将更加困难。



    技术实现要素:

    鉴于上述问题,提出了本申请以便提供一种事件意图推理方法、装置、设备及存储介质,能够实现对模糊性的事件意图的推理获取过程。具体方案如下:

    一种事件意图推理方法,包括:

    获取当前发生事件的事件信息;

    以预训练的分类神经网络模型对所述事件信息进行模糊化处理,得到模糊化结果;

    采用模糊规则对所述模糊化结果进行组合及推理,得到模糊推理结果;

    对所述模糊推理结果进行去模糊化处理,得到所述当前发生事件的事件意图。

    优选地,对所述事件信息进行模糊化处理、对模糊化结果进行组合及推理,以及去模糊化处理的过程,包括:

    将所述事件信息输入预训练的模糊神经网络意图推理模型,得到模型预测的所述当前发生事件的事件意图;其中,

    所述模糊神经网络意图推理模型的模糊化层以预训练的分类神经网络模型对所述事件信息进行模糊化处理,模糊推理层采用模糊规则对模糊化结果进行组合及推理,得到模糊推理结果,去模糊化层对所述模糊推理结果进行去模糊化处理,得到预测的事件意图。

    优选地,所述以预训练的分类神经网络模型作为模糊隶属函数,对所述事件信息进行模糊化处理,包括:

    获取所述事件信息的文本特征,所述文本特征由n维向量(x1,x2,...xn)组成;

    将所述文本特征对应的n维向量(x1,x2,...xn),展开成n个数据;

    通过分类神经网络模型的权值矩阵wm*n对展开后的n个数据进行矩阵点积运算,得到n个输出向量作为模糊化结果,其中每一输出向量为m维向量,对应m个类别标签的归属程度。

    优选地,所述采用模糊规则对所述模糊化结果进行组合及推理,包括:

    采用模糊规则对所述n个输出向量进行组合及推理,其中,

    所述模糊规则的数量,与所述文本特征对应的n维向量中n个维度聚类后的聚类中心的个数相同。

    优选地,还包括:

    获取基于历史事件数据所建立的事件关联图谱,所述事件关联图谱中点表示事件,点之间的有向边表示事件的关联关系,有向边上的权重表示关联关系在历史事件数据中的出现频率;

    基于所述事件关联图谱,确定所述当前发生事件之后可能发生的推理事件,并基于所述推理事件的事件类型,确定所述当前发生事件的事件意图;

    结合基于所述推理事件所确定的当前发生事件的事件意图,以及基于所述去模糊化处理后得到的当前发生事件的事件意图,确定所述当前发生事件最终的事件意图。

    优选地,所述基于所述事件关联图谱,确定所述当前发生事件之后可能发生的推理事件,包括:

    获取基于所述事件关联图谱所训练的事件推理预测模型,所述事件推理预测模型被配置为基于输入的事件对,预测事件对之间的相关度的状态表示;

    基于所述事件关联图谱,确定所述当前发生事件对应的候选事件,所述候选事件为当前发生事件之后可能发生的事件;

    将每一所述候选事件与所述当前发生事件分别组成事件对,输入所述事件推理预测模型,得到模型输出的每一所述候选事件与所述当前发生事件之间的相关度;

    基于所述相关度,从各所述候选事件中确定推理事件。

    优选地,所述基于所述事件关联图谱,确定所述当前发生事件对应的候选事件,包括:

    在所述事件关联图谱中确定所述当前发生事件对应的目标点;

    以所述目标点为中心,按照设定查找距离查找由所述目标点直接或间接指向的点,由查找到的点对应的事件组成候选事件。

    优选地,所述基于所述相关度,从各所述候选事件中确定推理事件,包括:

    在所述事件关联图谱中,确定每一候选事件与所述当前发生事件之间的有向边链路上各权重的平均值,作为每一候选事件与所述当前发生事件间的平均权重;

    利用候选事件与所述当前发生事件间的平均权重,对候选事件与所述当前发生事件间的相关度进行加权,得到每一候选事件与当前发生事件之间的加权相关度;

    选取加权相关度最高的候选事件,作为推理事件。

    优选地,还包括:

    利用预训练的可解释文本生成模型,处理所述当前发生事件的事件信息、所述事件意图及当前发生事件所属领域的领域知识,得到模型输出的对所述事件意图的可解释文本;

    所述可解释文本生成模型为,以训练事件的事件信息、事件意图及其所属领域的领域知识为训练样本,以训练事件对应的可解释文本为样本标签训练得到。

    优选地,所述利用预训练的可解释文本生成模型,处理所述当前发生事件的事件信息、所述事件意图及当前发生事件所属领域的领域知识,包括:

    利用可解释文本生成模型分别对事件信息进行编码,得到事件隐层状态,对领域知识进行编码,得到领域知识隐层状态;

    利用可解释文本生成模型对所述事件隐层状态和所述领域知识隐层状态分别进行注意力处理,得到事件注意力表示及领域知识注意力表示;

    利用可解释文本生成模型处理所述事件注意力表示及领域知识注意力表示,得到所述事件意图的可解释文本。

    优选地,所述领域知识包括所述事件信息中包含的领域关键词以及,预先设定的事件意图推理规则。

    一种事件意图推理装置,包括:

    事件信息获取单元,用于获取当前发生事件的事件信息;

    模糊化处理单元,用于以预训练的分类神经网络模型对所述事件信息进行模糊化处理,得到模糊化结果;

    模糊推理单元,用于采用模糊规则对所述模糊化结果进行组合及推理,得到模糊推理结果;

    去模糊化处理单元,用于对所述模糊推理结果进行去模糊化处理,得到所述当前发生事件的事件意图。

    一种事件意图推理设备,包括:存储器和处理器;

    所述存储器,用于存储程序;

    所述处理器,用于执行所述程序,实现如上所述的事件意图推理方法的各个步骤。

    一种存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时,实现如上所述的事件意图推理方法的各个步骤。

    借由上述技术方案,本申请的事件意图推理方法引入了模糊理论及神经网络模型,首先获取当前发生事件的事件信息,进而以预先训练的分类神经网络模型对事件信息进行模糊化处理,得到模糊化结果,通过使用分类神经网络模型对事件信息进行模糊化处理,使得模糊化结果同时具备深度神经模型强大的特征表达能力和模糊理论对模糊信息描述和表达能力,进一步采用模糊规则对模糊化结果进行组合及推理,得到模糊推理结果,最后对模糊推理结果进行去模糊化处理,得到当前发生事件的事件意图。由此可见,本申请通过模糊理论来解决含义模糊信息的事件意图推理问题,同时将模糊理论与神经网络模型结合,使用分类神经网络模型进行模糊化处理,既能够学习到深度神经模型强大的特征表达能力,又继承了模糊理论的模糊推理能力,从而更加适用于对模糊性的事件意图进行推理,提高了事件意图的推理准确性。

    附图说明

    通过阅读下文优选实施方式的详细描述,各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的,而并不认为是对本申请的限制。而且在整个附图中,用相同的参考符号表示相同的部件。在附图中:

    图1为本申请实施例公开的一种模糊意图推理流程示意图;

    图2为本申请实施例公开的一种事件意图推理方法流程示意图;

    图3示例了一种模糊神经网络意图推理模型结构示意图;

    图4示例了一种bert模型结构示意图;

    图5示例了一种事件关联图谱示意图;

    图6示例了一种可解释文本生成模型结构示意图;

    图7为本申请实施例提供的一种事件意图推理装置结构示意图;

    图8为本申请实施例提供的事件意图推理设备的结构示意图。

    具体实施方式

    下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部的实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

    本申请提供了一种事件意图推理方案,能够对当前发生事件进行意图推理。

    本申请引入了模糊理论来解决模糊概念上的不确定性问题,从而对于模糊性的事件意图,能够实现更加准确的推理。

    模糊理论中模糊性表示对问题在概念上的不确定性,没有明确的含义,它与概率问题中的随机性有着本质上区别。概率问题中的随机性是由于发生的条件不充分,使得条件与事件之间没有出现确定性的因果关系,从而呈现出事件的发生与否具有不确定性。对于某些领域下的事件同样存在概率随机性,如军事事件内容有可能会反映敌情也可能不反应,无法明显的确定。

    模糊理论的基础是模糊集合,模糊集的概念与经典集合有一定区别。在经典集合中,对于论域u中任意一个元素x∈u,以及包含在论域u中的集合x要么属于集合a,要么不属于,即x∈a和x■a两者必居其一,用在函数表示上面则有:

    这是一种是与否的二值表示方式。而相对于这种二值(0和1)判决方式,在模糊集理论中,引入了隶属度以及模糊隶属函数的概念,不再像经典集合中的要么属于要么不属于。模糊隶属函数将元素对于模糊集的归属映射到[0,1]区间中的一个值,称为隶属度。对于模糊集里面的一个元素,它既属于该模糊集,同时又不属于该模糊集,其界限是模糊的,使用的是隶属度大小来衡量元素对于模糊集的归属程度。对于论域u中一个元素x∈u,以及模糊集将模糊集理论使用数学语言来描述如下:

    {(x,μa(x))|x∈u}

    其中,μa(·)表示元素在模糊集a下的隶属函数,μa(x)的取值范围为[0,1],μa(x)越接近1,表示x对于模糊集a的隶属程度越高,即越可能属于集合a。

    本申请提供了一种模糊意图推理流程,如图1所示。

    整个推理流程共包含三部分,分别为模糊化处理、模糊推理、去模糊化处理。

    模糊化处理环节,使用预训练的分类神经网络对输入变量进行模糊化处理。

    模糊推理环节,通过模糊规则库中的模糊规则,对模糊化结果进行组合及推理,得到模糊推理结果。

    去模糊化处理环节,对模糊推理结果进行清晰化处理,得到最终的事件意图。

    本申请方案可以基于具备数据处理能力的终端实现,该终端可以是手机、电脑、服务器、云端等。

    接下来,结合图2所述,本申请的事件推理方法可以包括如下步骤:

    步骤s100、获取当前发生事件的事件信息。

    具体的,当前发生事件即为需要进行事件意图推理的事件。本步骤中获取当前发生事件的事件信息,事件信息包括了对当前发生事件的描述。以军事领域的事件为例,一条示例性的事件信息可以如:a国飞机出现在b国领海,针对该条军事事件,需要推理a国飞机的真正意图,如是否为执行侦查任务等。

    步骤s110、以预训练的分类神经网络模型对所述事件信息进行模糊化处理,得到模糊化结果。

    具体的,本实施例提供的方案中,使用分类神经网络模型对事件信息进行模糊化处理,能够使得模糊化结果同时具备深度神经模型强大的特征表达能力和模糊理论对模糊信息描述和表达能力。

    其中,预训练的分类神经网络模型可以采用栈式自编码器sae或者是前馈神经网络等其它多种分类神经网络架构,根据样本数据训练一个深层模型,作为分类神经网络模型,训练后的分类神经网络模型具有良好的分类性能,从而保证分类神经网络模型对输入向量的模糊化效果。

    步骤s120、采用模糊规则对所述模糊化结果进行组合及推理,得到模糊推理结果。

    具体的,本申请可以预先配置有模糊规则库,进而采用模糊规则库中的模糊规则对上一步骤得到的模糊化结果进行组合及推理,从而得到模糊推理结果。

    步骤s130、对所述模糊推理结果进行去模糊化处理,得到所述当前发生事件的事件意图。

    具体的,对于模糊推理结果可以进行去模糊化处理,也即清晰化处理,将模糊化结果转换为确定的推理结果,也即得到当前发生事件的事件意图。

    本申请实施例提供的事件意图推理方法引入了模糊理论及神经网络模型,首先获取当前发生事件的事件信息,进而以预先训练的分类神经网络模型对事件信息进行模糊化处理,得到模糊化结果,通过使用分类神经网络模型进行模糊化处理,使得模糊化结果同时具备深度神经模型强大的特征表达能力和模糊理论对模糊信息描述和表达能力,进一步采用模糊规则对模糊化结果进行组合及推理,得到模糊推理结果,最后对模糊推理结果进行去模糊化处理,得到当前发生事件的事件意图。由此可见,本申请通过模糊理论来解决含义模糊信息的事件意图推理问题,同时将模糊理论与神经网络模型结合,使用分类神经网络模型进行模糊化处理,既能够学习到深度神经模型强大的特征表达能力,又继承了模糊理论的模糊推理能力,从而更加适用于对模糊性的事件意图进行推理,提高了事件意图的推理准确性。

    在本申请的一些实施例中,上述步骤s110-s130的过程,可以通过预训练的模糊神经网络意图推理模型实现。

    具体的,本申请可以预先训练一个模糊神经网络意图推理模型。训练时,使用历史事件数据对模糊神经网络意图推理模型进行训练,其中历史事件数据包括历史事件的事件信息,以及历史事件的真实事件意图。

    结合图3所示,本实施例中,模糊神经网络意图推理模型包含输入层、模糊化层、模糊推理层、去模糊化层和输出层。

    输入层输入的是,事件信息中提取的文本表示特征。

    模糊化层可以采用栈式自编码器sae或者是前馈神经网络等其它多种分类神经网络架构,根据样本数据训练得到的分类神经网络模型进行输入向量的模糊化处理。以基于sae训练的分类神经网络模型为例,则采用了sae模型进行模糊化处理的模糊化层本文定义为sae模糊化层。sae模糊化层对输入的事件信息进行模糊化处理,得到模糊化结果。

    模糊推理层采用模糊规则对模糊化结果进行组合及推理,得到模糊推理结果。

    模糊推理层中每一个神经元代表一条模糊规则。在模糊推理层中,可以使用与模糊化层神经元权值连接的方式,权值的大小代表的是响应模糊规则对于模糊推理结果的贡献程度。

    去模糊化层对模糊推理结果进行去模糊化处理,得到预测的事件意图。

    具体的,去模糊化层可以对上一层的模糊推理结果进行归一化,归一化后各条模糊规则的输出结果总和为1。通过归一化处理,可以将后续步骤中网络进行反向调整参数时,修正的幅度有一个规定的约束范围,避免了网络的大幅震荡,有助于模型的收敛。

    进一步的,去模糊化层对归一化后的各个规则输出结果进行去模糊化,也即选取模糊推理结果集合中隶属度最大的元素作为输出值,从而得到输入样本的分类结果,也即得到当前发生事件的事件意图。

    对于模糊神经网络意图推理模型的反向传播过程,模型里面的各个参数调整可以使用反向传播算法,其中需要调整的参数主要有去模糊化层的权值参数、模糊化层到模糊推理层间的权值参数。

    在训练得到模糊神经网络意图推理模型之后,可以将当前发生事件的事件信息输入到模型中,由模型预测当前发生事件的事件意图。

    本实施例中,通过使用栈式自编码器或其它分类神经网络架构根据样本数据训练的分类神经网络模型对输入向量进行模糊化处理,这样构造出来的模糊神经网络意图推理模型能够同时具备深度学习模型强大的特征学习能力和模糊神经网络的模糊推理能力。

    在本申请的一些实施例中,由于模糊神经网络意图推理模型的模糊化层之后还存在一个模糊推理层,因此模糊化层中用于进行模糊化处理的分类神经网络模型对输入向量的处理方式可以和传统分类神经网络的处理方式不同。

    传统的分类神经网络对于一个m分类问题,给定一个输入向量x=(x1,x2...xn),有n个维度,其处理方式是直接使用权值矩阵wm*n对x进行矩阵点积运算w·xt,最终得到相应的一个输出向量y=(y1,y2...ym)t,输出向量中每一个值分别对应一个类别的归属程度。

    而在本申请中,分类神经网络模型对所述事件信息进行模糊化处理的过程可以参考如下步骤:

    s1、获取输入事件信息的文本特征,该文本特征由n维向量x=(x1,x2,...xn)组成。

    s2、将文本特征对应的n维向量(x1,x2,...xn),展开成n个数据。

    一种可选的方式下,展开后的n个数据中每个数据可以仅有一维非零,如:{(x1,0...0),(0,x2...0)…(0,0...xn)}。或者,在其它实现方式中,也可以是每个数据中的一个元素为所述n维向量中的某一个元素,其它元素是预设值,如1,2等等。后续可通过分类神经网络模型的权值矩阵wm*n对展开后的n个数据进行矩阵点积运算w·xt后,再减去预设偏置得到模糊化结果。

    s3、通过分类神经网络模型的权值矩阵wm*n对展开后的n个数据进行矩阵点积运算w·xt,得到n个输出向量作为模糊化结果。

    其中,n个输出向量可以表示为:

    其中每一个i=1,2,...,n是一个m维向量,分别对应m个类别标签的归属程度,即

    本实施例中,之所以要将输入向量展开成n个数据,是为了让后续的模糊推理层中的模糊规则来决定输入向量每一个维度如何进行组合来对最终结果产生贡献。

    以一个简单的例子进行说明,为了便于描述清晰易懂,假设是一个2分类问题,输入向量维度为3,使用简化的分类神经网络结构,只有输入层和输出层,则此时只有一个权值矩阵w,取值记为:

    传统的神经网络结构的处理方式是对输入数据x=(x1,x2,x3)进行矩阵点积运算w·xt,得到的结果为:

    y=(w11x1 w12x2 w13x3,w21x1 w22x2 w23x3)t

    上述y是一个二维向量,分别代表对2个分类类别的归属程度。

    本申请的分类神经网络模型的处理方式与之不同,本申请的分类神经网络模型对于输入数据进行展开,展开后的结果为x={(x1,0,0),(0,x2,0),(0,0,x3)}。

    进一步,对展开后的结果与权值矩阵w进行矩阵点积运算w·xt,得到3个输出向量,分别是:

    y1=(w11x1,w21x1)t

    y2=(w12x2,w22x2)t

    y3=(w13x3,w23x3)t

    之后的模糊推理层会对这些输出向量根据模糊规则进行组合推理。显然,传统的分类神经网络处理输入向量的方式,其实是将组合规则限定为3个输出向量进行直接求和,因为上述y=y1 y2 y3,从这个角度分析,传统的分类神经网络相当于将模糊规则固定为所有输出向量直接相加这种特殊情况。

    进一步的,对于模糊神经网络意图推理模型中模糊推理层采用模糊规则对所述模糊化结果进行组合及推理的过程,其可以是采用模糊规则对分类神经网络模型输出的所述n个输出向量进行组合及推理。

    模糊推理层中每一个神经元代表一条模糊规则,对于模糊规则数量的选取,传统的模糊神经网络模型会出现“维度灾难”问题。为此,本实施例中可以对输入数据中n个维度进行聚类,求得聚类中心的个数作为模糊规则的数量。也即,模糊推理层中模糊规则的数量,与事件信息的文本特征对应的n维向量中n个维度聚类后的聚类中心的个数相同。

    在本申请的一些实施例中,进一步提供了另外一种推理事件意图的实现方式。

    在实际情况中,事件的发生不是相互独立的,而是一个相互联系的复杂网络,一个事件的后续事件也往往不只一种。单独的一个事件并不能真正反映真正意图,即意图推理也可能涉及到事件的演变,如果事件之间丰富的关联信息没有被充分利,那么动向事件背后的真正意图就无法判别。

    为此,本实施例中,判断当前事件的后续可能事件,并将后续可能发生的事件也作为推断当前事件意图时的一部分影响因素。在此基础上,建模事件之间的关联性,考虑事件的动态变化特性,对事件的真实意图进行推理和预测。

    本实施例中对于动态变化的事件,基于历史事件数据进行事件抽取,并利用抽取的事件建立关联关系,利用事件关联进行事件意图推理。

    其中,基于历史事件数据进行事件抽取的过程可以参考如下介绍:

    事件抽取可以分成两种,即元事件(metaevent)抽取和主题事件(topicevent)抽取。本申请实施例中具体是指元事件抽取,即事件由事件触发词(trigger)和描述事件结构的参数(argument)组成。事件触发词,即表示事件发生的核心词,多为动词或名词。参数(argument)又称为事件论元,表示事件的参与者、时间、地点等属性信息。这样,事件抽取就变成了一个事件识别和事件参数识别的任务,后者事件参数识别即根据预先设定的事件模板,抽取相应的参数,类似于一种槽填充任务,又可以称为论元识别。就元事件抽取而言,本申请实施例中可以采用包括基于模式匹配、基于机器学习、基于神经网络等的事件抽取方法。

    以基于神经网络的事件抽取方法为例进行说明,本实施例中将事件抽取转换成一个有监督的多元分类任务,具体包括句子级事件抽取、基于联合模型、融合外部资源的bert crf神经网络事件抽取方法。

    具体的,本实施例中可以采用bert预训练语言模型训练词向量,较完整地保存了文本语义信息,提升了模型的上下文双向特征抽取能力,并较好地解决了事件触发词抽取和参数内容的边界划分问题。使用句子级注意力机制对文本语义信息进行编码,相比传统的bilstm模型,对语义信息的利用更为充分,提升了模型对要素内容的识别率。

    本实施例采用了bert预训练语言模型,结构如图4所示。

    其中,e1,e2,...,en为模型的输入向量,t1,t2,...,tn为模型的输出向量。

    条件随机场(crf)是序列标注任务中的一种算法,模型中可以使用线性链条件随机场,属于一种根据输入序列预测输出序列的判别式模型。对于指定序列x=(x1,x2,...xn),其对应标签为y=(y1,y2,...yn),若满足如下条件:

    p(yi|x,y1,...,yi-1,yi 1,...,yn)=p(yi|x,yi-1,yi 1)

    设p(n,k)为解码层输出的权重矩阵,进而可以得出评估分数s(x,y),即

    其中,a为转移矩阵,k为标签个数,n为序列长度。序列标签y的最大概率可以用softmax函数计算,即:

    训练时一般使用极大似然法求解p(y|x)的最大后验概率:

    线性条件随机场的训练和解码可以使用viterbi算法。

    本实施例中使用bert crf神经网络模型进行事件抽取,首先利用bert预训练语言模型对历史事件数据中每一单个字符进行编码,得到单个字符对应的词向量,将包含上下文信息的词向量输入crf层进行解码,crf层可以输出概率最大的标签序列,从而得到每个字符的类别,类别标签可以包括多种不同类型的触发词以及不同的参数。基于此,可以完成对历史事件数据的元事件抽取过程,得到抽取出的各个事件。

    在完成对历史事件数据进行事件抽取之后,本实施例中为了更好地利用抽取出的事件之间的复杂关联信息,构建了一个事件关联图谱,进而基于事件关联图谱来推理当前发生事件之后最可能发生的推理事件。

    其中,事件关联图谱中的点表示事件,点之间的有向边表示事件的关联关系,有向边上的权重表示关联关系在历史事件数据中的出现频率。

    参见图5,其示例了一种事件关联图谱示意图。

    图5示例的事件关联图谱中有abcde五个事件,其中bcd三个事件存在强关联性,形成了一个环结构,这是一种隐式的连接信息,在学习事件表示的时候将会更有效的提供更多信息。

    在基于历史事件数据抽取事件,并建立事件关联图谱之后,本实施例可以基于所述事件关联图谱,确定所述当前发生事件之后可能发生的推理事件。在此基础上,基于所述推理事件的事件类型,确定所述当前发生事件的事件意图。

    需要说明的是,本实施例中基于事件关联图谱能够确定当前发生事件之后可能发生的推理事件,进而可以确定当前发生事件的事件意图,将该事件意图定义为第二事件意图。此外,前述实施例中基于模糊神经网络意图推理模型所确定的当前发生事件的事件意图定义为第一事件意图。在此基础上,本申请实施例中可以结合第一事件意图和第二事件意图,确定所述当前发生事件最终的事件意图。

    一种可选的实施方式,本申请实施例可以预先设置用户对不同事件意图的关注度,在此基础上,可以基于第一事件意图的置信度及其关注度,确定第一事件意图的最终权重,同理,基于第二事件意图的置信度及其关注度,确定第二事件意图的最终权重。选取最终权重最大的事件意图,作为当前发生事件最终的事件意图。

    在本申请的一些实施例中,上述基于事件关联图谱,确定当前发生事件之后可能发生的推理事件的过程,可以参照如下实施步骤:

    s1、获取基于事件关联图谱所训练的事件推理预测模型。

    具体的,本申请实施例中在建立了事件关联图谱后,可以在该图谱上使用图神经网络模型进行训练学习,得到事件推理预测模型。

    事件推理预测模型被配置为基于输入的事件对,预测事件对之间的相关度的状态表示。也即,事件推理预测模型能够学习事件关联图谱中各事件的表示,以及事件间的关联关系。在此基础上,对于输入的一对事件,事件推理预测模型可以预测输入的一对事件之间的相关度。

    s2、基于所述事件关联图谱,确定所述当前发生事件对应的候选事件。

    具体的,所述候选事件为当前发生事件之后可能发生的事件。

    一种最简单的方式,可以直接将事件关联图谱中各事件作为当前发生事件之后可能发生的候选事件。

    除此之外,本申请实施例还提供了另外一种确定候选事件的方式,具体的:

    s21、在所述事件关联图谱中确定所述当前发生事件对应的目标点。

    s22、以所述目标点为中心,按照设定查找距离查找由所述目标点直接或间接指向的点,由查找到的点对应的事件组成候选事件。

    其中,设定查找距离可以是设定的最大跳转次数,如设定从目标点向外最大跳转三次,则基于此查找到的各个点对应的事件组成候选事件。

    s3、将每一所述候选事件与所述当前发生事件分别组成事件对,输入所述事件推理预测模型,得到模型输出的每一所述候选事件与所述当前发生事件之间的相关度。

    具体的,对于确定的当前发生事件的每一候选事件,将每一候选事件与当前发生事件组成事件对输入事件推理预测模型,得到模型输出的每一候选事件与当前发生事件间的相关度。

    s4、基于所述相关度,从各所述候选事件中确定推理事件。

    一种可选的实现方式,可以直接选取相关度最大的候选事件,作为当前发生事件之后最可能发生的推理事件。

    另一种可选的实现方式中,可以进一步考虑事件关联图谱中事件间的有向边上的权重值,对每一候选事件与当前发生事件间的相关度进行加权,并根据最终的加权相关度选取推理事件。具体的实施步骤可以参考如下:

    s41、在所述事件关联图谱中,确定每一候选事件与所述当前发生事件之间的有向边链路上各权重的平均值,作为每一候选事件与所述当前发生事件间的平均权重。

    具体的,针对每一候选事件,在事件关联图谱中从当前发生事件对应的目标点查找与候选事件对应点之间的最短路径,将组成该最短路径的各有向边链路上各权重求取平均值,结果作为候选事件与当前发生事件间的平均权重。

    s42、利用候选事件与所述当前发生事件间的平均权重,对候选事件与所述当前发生事件间的相关度进行加权,得到每一候选事件与当前发生事件之间的加权相关度。

    s43、选取加权相关度最高的候选事件,作为推理事件。

    本申请上述各实施例中介绍了两种不同的确定当前发生事件的事件意图的方式。对于用户而言,虽然能够得到推理出的当前发生事件的事件意图,但是该事件意图的可解释性不强。示例如:

    当前获取到一条军事事件信息:“10月13日晚至14日凌晨,a国海军1架编号为123456的ep-3e侦察机从x基地起飞前往y岛屿西南部的海域上空开展行动”。

    采用本申请前述任一实施例的事件意图推理方案,可以推理出该条军事事件的意图为“侦察情报”。

    对于用户而言,其可能无法理解为什么通过上述军事事件信息即可推理出“侦察情报”这一事件意图,也即事件意图推理过程对用户不可见,导致对应的事件意图的可解释性可能不够强。

    为了解决这一问题,本申请实施例中,对意图推理过程中所用的知识进行书面化的描述,从而可视化推理过程,增加推理的事件意图的可解释性。

    具体的,本申请预先训练了可解释文本生成模型,该模型是以训练事件的事件信息、事件意图及其所属领域的领域知识为训练样本,以训练事件对应的可解释文本为样本标签训练得到。

    基于训练后的可解释文本生成模型,处理所述当前发生事件的事件信息、所述事件意图及当前发生事件所属领域的领域知识,得到模型输出的对所述事件意图的可解释文本。

    其中,输入可解释文本生成模型中的事件意图,可以是前述任一实施例中所确定的事件意图。当前发生事件所属领域的领域知识可以包括当前发生事件的事件信息中包含的领域关键词,以及预先设定的事件意图推理规则,该事件意图推理规则可以是模型预先生成的,也可以是人工设定的,对此本申请不做严格限定。

    举例说明如下,当前发生事件的事件信息为:“10月13日晚至14日凌晨,a国海军1架编号为123456的ep-3e侦察机从x基地起飞前往y岛屿西南部的海域上空开展行动”。针对当前发生事件所确定的事件意图为“侦察情报”。

    则可以将事件信息中的“ep-3e侦察机”、“海域上空”、“凌晨”、“y岛屿”作为领域关键词。

    此外,预先设定的事件意图推理规则可以包括:“夜晚至凌晨阶段活动的敌军飞机一般是外出侦察、侦察机所执行的任务很大可能为侦察任务、出入敏感区域的敌军飞机往往是来查探情报”等。

    基于此,可以将上述领域关键词及人工制定规则作为领域知识,由可解释文本生成模型处理事件信息、事件意图及该领域知识,得到模型输出的对“侦察情报”这一事件意图的可解释文本,如下:

    由于ep-3e飞机为侦察机,且在凌晨出入敏感区域y岛屿,所以ep-3e飞机的意图为“侦察情报”。

    显然,按照本申请方案结合领域知识,能够生成对事件意图的可解释文本,使得推理得到的当前发生事件的事件意图的可解释性更高。

    在本申请的一些实施例中,上述利用可解释文本生成模型,处理所述当前发生事件的事件信息、所述事件意图及当前发生事件所属领域的领域知识,得到可解释文本的过程,具体可以包括:

    s1、利用可解释文本生成模型分别对事件信息进行编码,得到事件隐层状态,对领域知识进行编码,得到领域知识隐层状态。

    s2、利用可解释文本生成模型对所述事件隐层状态和所述领域知识隐层状态分别进行注意力处理,得到事件注意力表示及领域知识注意力表示。

    s3、利用可解释文本生成模型处理所述事件注意力表示及领域知识注意力表示,得到所述事件意图的可解释文本。

    结合图6示例的可解释文本生成模型,本申请实施例提供的可解释文本生成模型的输入有两种编码器,分别为对事件信息进行编码的第一编码器,以及对领域知识进行编码的第二编码器。第一编码器可以采用双向lstm来编码事件信息的语义信息,利用lstm的隐层状态来表征事件信息。

    第二编码器可以采用双向循环神经网络以及门限循环单元gmu。在领域知识包括领域关键词及人工规则时,第二编码器分别对领域关键词及人工规则进行编码,并将编码结果进行拼接,并使用双向循环神经网络的最后一层输出的隐层状态表征领域知识信息。

    可以理解的是,最终生成的可解释文本中,其通常只与事件信息中的一小部分或者只与领域知识信息中的一小部分有关。因此,本申请实施例可以使用注意力机制来产生高层级的事件注意力表示和领域知识注意力表示。最终得到总体的表示向量ci进而生成针对事件意图的可解释文本。

    下面对本申请实施例提供的事件意图推理装置进行描述,下文描述的事件意图推理装置与上文描述的事件意图推理方法可相互对应参照。

    参见图7,图7为本申请实施例公开的一种事件意图推理装置结构示意图。

    如图7所示,该装置可以包括:

    事件信息获取单元11,用于获取当前发生事件的事件信息;

    模糊化处理单元12,用于以预训练的分类神经网络模型对所述事件信息进行模糊化处理,得到模糊化结果;

    模糊推理单元13,用于采用模糊规则对所述模糊化结果进行组合及推理,得到模糊推理结果;

    去模糊化处理单元14,用于对所述模糊推理结果进行去模糊化处理,得到所述当前发生事件的事件意图。

    可选的,上述模糊化处理单元、模糊推理单元及去模糊化处理单元的功能可以通过模糊神经网络意图推理模型单元来实现,具体的:

    模糊神经网络意图推理模型单元将所述事件信息输入预训练的模糊神经网络意图推理模型,得到模型预测的所述当前发生事件的事件意图;其中,

    所述模糊神经网络意图推理模型的模糊化层以预训练的分类神经网络模型对所述事件信息进行模糊化处理,模糊推理层采用模糊规则对模糊化结果进行组合及推理,得到模糊推理结果,去模糊化层对所述模糊推理结果进行去模糊化处理,得到预测的事件意图。

    可选的,上述模糊化处理单元以预训练的分类神经网络模型对所述事件信息进行模糊化处理的过程,可以包括:

    获取所述事件信息的文本特征,所述文本特征由n维向量(x1,x2,...xn)组成;

    将所述文本特征对应的n维向量(x1,x2,...xn),展开成n个数据;

    通过分类神经网络模型的权值矩阵wm*n对展开后的n个数据进行矩阵点积运算,得到n个输出向量作为模糊化结果,其中每一输出向量为m维向量,对应m个类别标签的归属程度。

    可选的,上述展开后的n个数据中每个数据可以仅有一维非零,如{(x1,0...0),(0,x2...0)...(0,0...xn)}。

    可选的,上述模糊推理单元采用模糊规则对所述模糊化结果进行组合及推理的过程,可以包括:

    采用模糊规则对所述n个输出向量进行组合及推理,其中,

    所述模糊规则的数量,与所述文本特征对应的n维向量中n个维度聚类后的聚类中心的个数相同。

    可选的,本申请的装置还可以包括:

    事件关联图谱获取单元,用于获取基于历史事件数据所建立的事件关联图谱,所述事件关联图谱中点表示事件,点之间的有向边表示事件的关联关系,有向边上的权重表示关联关系在历史事件数据中的出现频率;

    事件意图推理单元,用于基于所述事件关联图谱,确定所述当前发生事件之后可能发生的推理事件,并基于所述推理事件的事件类型,确定所述当前发生事件的事件意图;

    事件意图综合处理单元,用于结合基于所述推理事件所确定的当前发生事件的事件意图,以及基于所述去模糊化处理后得到的当前发生事件的事件意图,确定所述当前发生事件最终的事件意图。

    可选的,上述事件意图推理单元基于所述事件关联图谱,确定所述当前发生事件之后可能发生的推理事件的过程,可以包括:

    获取基于所述事件关联图谱所训练的事件推理预测模型,所述事件推理预测模型被配置为基于输入的事件对,预测事件对之间的相关度的状态表示;

    基于所述事件关联图谱,确定所述当前发生事件对应的候选事件,所述候选事件为当前发生事件之后可能发生的事件;

    将每一所述候选事件与所述当前发生事件分别组成事件对,输入所述事件推理预测模型,得到模型输出的每一所述候选事件与所述当前发生事件之间的相关度;

    基于所述相关度,从各所述候选事件中确定推理事件。

    可选的,上述事件意图推理单元基于所述事件关联图谱,确定所述当前发生事件对应的候选事件的过程,可以包括:

    在所述事件关联图谱中确定所述当前发生事件对应的目标点;

    以所述目标点为中心,按照设定查找距离查找由所述目标点直接或间接指向的点,由查找到的点对应的事件组成候选事件。

    可选的,上述事件意图推理单元基于所述相关度,从各所述候选事件中确定推理事件的过程,可以包括:

    在所述事件关联图谱中,确定每一候选事件与所述当前发生事件之间的有向边链路上各权重的平均值,作为每一候选事件与所述当前发生事件间的平均权重;

    利用候选事件与所述当前发生事件间的平均权重,对候选事件与所述当前发生事件间的相关度进行加权,得到每一候选事件与当前发生事件之间的加权相关度;

    选取加权相关度最高的候选事件,作为推理事件。

    可选的,本申请的装置还可以包括:

    可解释文本生成单元,用于利用预训练的可解释文本生成模型,处理所述当前发生事件的事件信息、所述事件意图及当前发生事件所属领域的领域知识,得到模型输出的对所述事件意图的可解释文本;

    所述可解释文本生成模型为,以训练事件的事件信息、事件意图及其所属领域的领域知识为训练样本,以训练事件对应的可解释文本为样本标签训练得到。

    可选的,上述可解释文本生成单元利用预训练的可解释文本生成模型,处理所述当前发生事件的事件信息、所述事件意图及当前发生事件所属领域的领域知识的过程,可以包括:

    利用可解释文本生成模型分别对事件信息进行编码,得到事件隐层状态,对领域知识进行编码,得到领域知识隐层状态;

    利用可解释文本生成模型对所述事件隐层状态和所述领域知识隐层状态分别进行注意力处理,得到事件注意力表示及领域知识注意力表示;

    利用可解释文本生成模型处理所述事件注意力表示及领域知识注意力表示,得到所述事件意图的可解释文本。

    本申请实施例提供的事件意图推理装置可应用于事件意图推理设备,如终端:手机、电脑等。可选的,图8示出了事件意图推理设备的硬件结构框图,参照图8,事件意图推理设备的硬件结构可以包括:至少一个处理器1,至少一个通信接口2,至少一个存储器3和至少一个通信总线4;

    在本申请实施例中,处理器1、通信接口2、存储器3、通信总线4的数量为至少一个,且处理器1、通信接口2、存储器3通过通信总线4完成相互间的通信;

    处理器1可能是一个中央处理器cpu,或者是特定集成电路asic(applicationspecificintegratedcircuit),或者是被配置成实施本发明实施例的一个或多个集成电路等;

    存储器3可能包含高速ram存储器,也可能还包括非易失性存储器(non-volatilememory)等,例如至少一个磁盘存储器;

    其中,存储器存储有程序,处理器可调用存储器存储的程序,所述程序用于:

    获取当前发生事件的事件信息;

    以预训练的分类神经网络模型对所述事件信息进行模糊化处理,得到模糊化结果;

    采用模糊规则对所述模糊化结果进行组合及推理,得到模糊推理结果;

    对所述模糊推理结果进行去模糊化处理,得到所述当前发生事件的事件意图。

    可选的,所述程序的细化功能和扩展功能可参照上文描述。

    本申请实施例还提供一种存储介质,该存储介质可存储有适于处理器执行的程序,所述程序用于:

    获取当前发生事件的事件信息;

    以预训练的分类神经网络模型对所述事件信息进行模糊化处理,得到模糊化结果;

    采用模糊规则对所述模糊化结果进行组合及推理,得到模糊推理结果;

    对所述模糊推理结果进行去模糊化处理,得到所述当前发生事件的事件意图。

    可选的,所述程序的细化功能和扩展功能可参照上文描述。

    最后,还需要说明的是,在本文中,诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

    本说明书中各个实施例采用递进的方式描述,每个实施例重点说明的都是与其他实施例的不同之处,各个实施例之间可以根据需要进行组合,且相同相似部分互相参见即可。

    对所公开的实施例的上述说明,使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下,在其它实施例中实现。因此,本申请将不会被限制于本文所示的这些实施例,而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。


    技术特征:

    1.一种事件意图推理方法,其特征在于,包括:

    获取当前发生事件的事件信息;

    以预训练的分类神经网络模型对所述事件信息进行模糊化处理,得到模糊化结果;

    采用模糊规则对所述模糊化结果进行组合及推理,得到模糊推理结果;

    对所述模糊推理结果进行去模糊化处理,得到所述当前发生事件的事件意图。

    2.根据权利要求1所述的方法,其特征在于,对所述事件信息进行模糊化处理、对模糊化结果进行组合及推理,以及去模糊化处理的过程,包括:

    将所述事件信息输入预训练的模糊神经网络意图推理模型,得到模型预测的所述当前发生事件的事件意图;其中,

    所述模糊神经网络意图推理模型的模糊化层以预训练的分类神经网络模型对所述事件信息进行模糊化处理,模糊推理层采用模糊规则对模糊化结果进行组合及推理,得到模糊推理结果,去模糊化层对所述模糊推理结果进行去模糊化处理,得到预测的事件意图。

    3.根据权利要求1所述的方法,其特征在于,所述以预训练的分类神经网络模型对所述事件信息进行模糊化处理,包括:

    获取所述事件信息的文本特征,所述文本特征由n维向量(x1,x2,...xn)组成;

    将所述文本特征对应的n维向量(x1,x2,...xn),展开成n个数据;

    通过分类神经网络模型的权值矩阵wm*n对展开后的n个数据进行矩阵点积运算,得到n个输出向量作为模糊化结果,其中每一输出向量为m维向量,对应m个类别标签的归属程度。

    4.根据权利要求3所述的方法,其特征在于,所述采用模糊规则对所述模糊化结果进行组合及推理,包括:

    采用模糊规则对所述n个输出向量进行组合及推理,其中,

    所述模糊规则的数量,与所述文本特征对应的n维向量中n个维度聚类后的聚类中心的个数相同。

    5.根据权利要求1所述的方法,其特征在于,还包括:

    获取基于历史事件数据所建立的事件关联图谱,所述事件关联图谱中点表示事件,点之间的有向边表示事件的关联关系,有向边上的权重表示关联关系在历史事件数据中的出现频率;

    基于所述事件关联图谱,确定所述当前发生事件之后可能发生的推理事件,并基于所述推理事件的事件类型,确定所述当前发生事件的事件意图;

    结合基于所述推理事件所确定的当前发生事件的事件意图,以及基于所述去模糊化处理后得到的当前发生事件的事件意图,确定所述当前发生事件最终的事件意图。

    6.根据权利要求5所述的方法,其特征在于,所述基于所述事件关联图谱,确定所述当前发生事件之后可能发生的推理事件,包括:

    获取基于所述事件关联图谱所训练的事件推理预测模型,所述事件推理预测模型被配置为基于输入的事件对,预测事件对之间的相关度的状态表示;

    基于所述事件关联图谱,确定所述当前发生事件对应的候选事件,所述候选事件为当前发生事件之后可能发生的事件;

    将每一所述候选事件与所述当前发生事件分别组成事件对,输入所述事件推理预测模型,得到模型输出的每一所述候选事件与所述当前发生事件之间的相关度;

    基于所述相关度,从各所述候选事件中确定推理事件。

    7.根据权利要求6所述的方法,其特征在于,所述基于所述事件关联图谱,确定所述当前发生事件对应的候选事件,包括:

    在所述事件关联图谱中确定所述当前发生事件对应的目标点;

    以所述目标点为中心,按照设定查找距离查找由所述目标点直接或间接指向的点,由查找到的点对应的事件组成候选事件。

    8.根据权利要求6所述的方法,其特征在于,所述基于所述相关度,从各所述候选事件中确定推理事件,包括:

    在所述事件关联图谱中,确定每一候选事件与所述当前发生事件之间的有向边链路上各权重的平均值,作为每一候选事件与所述当前发生事件间的平均权重;

    利用候选事件与所述当前发生事件间的平均权重,对候选事件与所述当前发生事件间的相关度进行加权,得到每一候选事件与当前发生事件之间的加权相关度;

    选取加权相关度最高的候选事件,作为推理事件。

    9.根据权利要求1-8任一项所述的方法,其特征在于,还包括:

    利用预训练的可解释文本生成模型,处理所述当前发生事件的事件信息、所述事件意图及当前发生事件所属领域的领域知识,得到模型输出的对所述事件意图的可解释文本;

    所述可解释文本生成模型为,以训练事件的事件信息、事件意图及其所属领域的领域知识为训练样本,以训练事件对应的可解释文本为样本标签训练得到。

    10.根据权利要求9所述的方法,其特征在于,所述利用预训练的可解释文本生成模型,处理所述当前发生事件的事件信息、所述事件意图及当前发生事件所属领域的领域知识,包括:

    利用可解释文本生成模型分别对事件信息进行编码,得到事件隐层状态,对领域知识进行编码,得到领域知识隐层状态;

    利用可解释文本生成模型对所述事件隐层状态和所述领域知识隐层状态分别进行注意力处理,得到事件注意力表示及领域知识注意力表示;

    利用可解释文本生成模型处理所述事件注意力表示及领域知识注意力表示,得到所述事件意图的可解释文本。

    11.根据权利要求9所述的方法,其特征在于,所述领域知识包括所述事件信息中包含的领域关键词以及,预先设定的事件意图推理规则。

    12.一种事件意图推理装置,其特征在于,包括:

    事件信息获取单元,用于获取当前发生事件的事件信息;

    模糊化处理单元,用于以预训练的分类神经网络模型对所述事件信息进行模糊化处理,得到模糊化结果;

    模糊推理单元,用于采用模糊规则对所述模糊化结果进行组合及推理,得到模糊推理结果;

    去模糊化处理单元,用于对所述模糊推理结果进行去模糊化处理,得到所述当前发生事件的事件意图。

    13.一种事件意图推理设备,其特征在于,包括:存储器和处理器;

    所述存储器,用于存储程序;

    所述处理器,用于执行所述程序,实现如权利要求1~11中任一项所述的事件意图推理方法的各个步骤。

    14.一种存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时,实现如权利要求1~11中任一项所述的事件意图推理方法的各个步骤。

    技术总结
    本申请公开了一种事件意图推理方法、装置、设备及存储介质,本申请获取当前发生事件的事件信息,以预先训练的分类神经网络模型对事件信息进行模糊化处理,得到模糊化结果,采用模糊规则对模糊化结果进行组合及推理,得到模糊推理结果,对模糊推理结果进行去模糊化处理,得到当前发生事件的事件意图。本申请通过模糊理论来解决含义模糊信息的事件意图推理问题,同时将模糊理论与神经网络模型结合,使用分类神经网络模型进行模糊化处理,既能够学习到深度神经模型强大的特征表达能力,又继承了模糊理论的模糊推理能力,从而更加适用于对模糊性的事件意图进行推理,提高了事件意图的推理准确性。

    技术研发人员:柳林;吴飞;张浩宇;方四安;徐承
    受保护的技术使用者:合肥讯飞数码科技有限公司
    技术研发日:2020.12.11
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-18604.html

    最新回复(0)