基于会话结构识别和集成分类的交互文本事件检测方法

本发明属于自然语言理解和文本信息挖掘研究方法，具体涉及基于会话结构识别和集成分类的交互文本事件检测方法。
背景技术：
：：1、随着移动设备普及和社交网络迅猛发展，80％以上的互联网用户通过网络进行线上交流、学习、协作。互联网即时通信、微博、社交论坛等产生了大量的动态交互文本数据，该类型信息通过互联网能够将会话参与者间的信息进行言简意赅的表达和传递，交互文本会话流是指用户间即时聊天、对话、问答所产生的交互性文本数据序列。传统文本通常内容规范、结构清晰、主题明确，且其主要分析手段和应用场景都已逐渐成熟，但对交互式文本内容，其文本结及其不规范，包含大量的省略、指代、简称、流行语等，各单条交互文本用语有差，但信息本质相同；传统文本方法处理动态交互文本时，往往注重单条文本内容特征而忽略其多条交互文本的交互特征，且交互文本对应的特征选择困难、方法可移植性低、特征向量维度过高、特征空间稀疏等问题。2、事件检测是文本数据挖掘的应用热点，对于传统文本通常采用基于规则和统计两大类方法，但同样对特征明显相异的交互文本流而言，其侧重基于内容特征的分析而缺乏对交互特征的建模和量化。技术实现思路1、本发明的目的是提供基于会话结构识别和集成分类的交互文本事件检测方法，能够对交互文本流进行会话主题结构识别。2、本发明所采用的技术方案是，基于会话结构识别和集成分类的交互文本事件检测方法，具体按照以下步骤实施：首先获取交互文本流数据；对数据集预处理；进行单条交互文本特征选择及多条交互文本的交互特征提取；再对单条交互文本特征词的句法依存分析；然后多条交互文本词共现加句法依存的交互文本块关联关系过滤规则库；选取句子类型作为交互文本块特征，确定句子类型集合ttyped；选取词性作为句子感情倾向性的特征词；将属于同一conversioni的交互文本块中单一交互文本用选取的词性特征化表示，并将各句子类型的特征向量拼接为一维向量；对属于同一conversioni的单条交互文本进行数值化；再进行集成分类，并抽取事件。3、本发明的特点还在于，4、获取交互文本流数据具体为：通过爬取论坛的交互数据，以mysql数据库存储和查询，且各属性设计体现文本的交互@关系。5、单条交互文本特征选择时，采用中文分词方法对单条交互文本intert分词，对应为词向量wone＝[w1,w2,…,wn],为压缩特征空间维度和降低稀疏问题，对原始词向量wone＝[w1,w2,…,wn]补充原始词向量的词性特征，映射为wcone＝[{w1,c1},{w2,c2},…,{wn,cn}]，通过观察分析爬取数据集特征，将特定领域专有名词作为特征补充入最终的分词特征向量中，得到对单条交互文本内容的特征向量，即多条交互文本的交互特征提取时，对所属交互文本块内的任意两条交互文本ti和tj对应的特征向量进行词共现分析，同时为了提高共现词对会话结构的效率，考虑添加单条交互文本特征词向量在句子中的位置信息，采用句法依存对其在单条交互文本的位置信息进行度量。6、单条交互文本特征词的句法依存分析时，选取典型的依存关系为主谓关系sbv，动宾关系vob，间宾关系iob，前置关系fob，定中关系att，状中关系adv，左附加关系lad，右附加关系rad。7、多条交互文本词共现加句法依存的交互文本块关联关系过滤规则库，以保证词共现对(cow1,cow2)在交互文本会话结构上信息传递的流畅和低损耗性，融合单条交互文本词特征以保证捕捉单条交互文本内容语义特征和多条交互文本交互关系特征的效果，为达到此目的，设计交互文本结构识别过滤器，形式化为二维表table。8、对会话结构识别后，其对应为树形结构，每一条分枝代表一条会话主线conversioni(i＝1,2,…,c)，conversioni(i＝1,2,…,c)满足儿女节点和父节点的@回复关系；观察同一会话主线conversioni(i＝1,2,…,c)的交互文本块特征，选取句子类型作为交互文本块特征，确定句子类型集合ttyped。9、选取词性作为句子感情倾向性的特征词，分别为地点名词ns，组织结构名词nt，时间t，时量词qt，疑问代词ry，时间疑问代词ryt，地点疑问代词rys，谓语疑问代词ryv，数量词m，肯定词con，否定词den，不确定词un。10、将属于同一conversioni的交互文本块中单一交互文本用选取的词性特征化表示，分别为11、其中，fqs为祈使句特征向量，fyw为疑问句特征向量，fkd为肯定句特征向量，fkd为否定句特征值向量，fbqd为不确定句型特征向量，将各句子类型的特征向量拼接为一维向量，即12、对属于同一conversioni的单条交互文本针对进行数值化，采用特征权重tf-idf进行数值化基础算法，计算单条交互文本针对的tf-idf对应权重向量，记为作为最终句子类型分类器的输入向量。13、对属于同一会话conversioni的交互文本块中单条交互文本进行句子类型的集成分类，对属于同一会话主线的交互文本数据集ci_d以0.7比例数据进行测试，选用logistics回归、朴素贝叶斯和svm支持向量机作为基分类器进行集成，对测试数据在同一样本上的分类结果进行集体投票，确定所属句子类型；采用规则化推理确定属于同一会话conversioni的交互文本对应的事件终态，并抽取事件。14、本发明的有益效果是，基于会话结构识别和集成分类的交互文本事件检测方法，能够对交互文本流进行会话主题结构识别，并对属于同一会话主题的交互文本块进行单条交互文本的感情倾向性分类，为提高分类准确率，采用集成分类方法确定句子类别，并通过规则化的知识推理有效检测属于同一会话主题的交互文本块的事件类型以及事件详情。技术特征：1.基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，具体按照以下步骤实施：首先获取交互文本流数据；对数据集预处理；进行单条交互文本特征选择及多条交互文本的交互特征提取；再对单条交互文本特征词的句法依存分析；然后多条交互文本词共现加句法依存的交互文本块关联关系过滤规则库；选取句子类型作为交互文本块特征，确定句子类型集合ttyped；选取词性作为句子感情倾向性的特征词；将属于同一conversioni的交互文本块中单一交互文本用选取的词性特征化表示，并将各句子类型的特征向量拼接为一维向量；对属于同一conversioni的单条交互文本进行数值化；再进行集成分类，并抽取事件。2.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，获取交互文本流数据具体为：通过爬取论坛的交互数据，以mysql数据库存储和查询，且各属性设计体现文本的交互@关系。3.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，单条交互文本特征选择时，采用中文分词方法对单条交互文本inte分词，对应为词向量wone＝[w1,w2,…,wn],为压缩特征空间维度和降低稀疏问题，对原始词向量wone＝[w1,w2,…,wn]补充原始词向量的词性特征，映射为wcone＝[{w1,c1},{w2,c2},…,{wn,cn}],通过观察分析爬取数据集特征，将特定领域专有名词作为特征补充入最终的分词特征向量中，得到对单条交互文本内容的特征向量，即多条交互文本的交互特征提取时，对所属交互文本块内的任意两条交互文本ti和tj对应的特征向量进行词共现分析，同时为了提高共现词对会话结构的效率，考虑添加单条交互文本特征词向量在句子中的位置信息，采用句法依存对其在单条交互文本的位置信息进行度量。4.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，单条交互文本特征词的句法依存分析时，选取典型的依存关系为主谓关系sbv，动宾关系vob，间宾关系iob，前置关系fob，定中关系att，状中关系adv，左附加关系lad，右附加关系rad。5.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，多条交互文本词共现加句法依存的交互文本块关联关系过滤规则库，以保证词共现对(cow1,cow2)在交互文本会话结构上信息传递的流畅和低损耗性，融合单条交互文本词特征以保证捕捉单条交互文本内容语义特征和多条交互文本交互关系特征的效果，为达到此目的，设计交互文本结构识别过滤器，形式化为二维表table。6.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，对会话结构识别后，其对应为树形结构，每一条分枝代表一条会话主线conversioni(i＝1,2,…,c)，conversioni(i＝1,2,…,c)满足儿女节点和父节点的@回复关系；观察同一会话主线conversioni(i＝1,2,…,c)的交互文本块特征，选取句子类型作为交互文本块特征，确定句子类型集合ttyped。7.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，选取词性作为句子感情倾向性的特征词，分别为地点名词ns，组织结构名词nt，时间t，时量词qt，疑问代词ry，时间疑问代词ryt，地点疑问代词rys，谓语疑问代词ryv，数量词m，肯定词con，否定词den，不确定词un。8.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，将属于同一conversioni的交互文本块中单一交互文本用选取的词性特征化表示，分别为其中，fqs为祈使句特征向量，fyw为疑问句特征向量，fkd为肯定句特征向量，fkd为否定句特征值向量，fbqd为不确定句型特征向量，将各句子类型的特征向量拼接为一维向量，即9.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，对属于同一conversioni的单条交互文本针对进行数值化，采用特征权重tf-idf进行数值化基础算法，计算单条交互文本针对的tf-idf对应权重向量，记为作为最终句子类型分类器的输入向量。10.根据权利要求1所述的基于会话结构识别和集成分类的交互文本事件检测方法，其特征在于，对属于同一会话conversioni的交互文本块中单条交互文本进行句子类型的集成分类，对属于同一会话主线的交互文本数据集ci_d以0.7比例数据进行测试，选用logistics回归、朴素贝叶斯和svm支持向量机作为基分类器进行集成，对测试数据在同一样本上的分类结果进行集体投票，确定所属句子类型；采用规则化推理确定属于同一会话conversioni的交互文本对应的事件终态，并抽取事件。技术总结本发明公开了基于会话结构识别和集成分类的交互文本事件检测方法，具体按照以下步骤实施：首先获取交互文本流数据；对数据集预处理；进行单条交互文本特征选择及多条交互文本的交互特征提取；然后多条交互文本词共现加句法依存的交互文本块关联关系过滤规则库；选取句子类型作为交互文本块特征，确定句子类型集合TTypeD；选取词性作为句子感情倾向性的特征词；将属于同一Conversion<subgt;i</subgt;的交互文本块中单一交互文本用选取的词性特征化表示，并将各句子类型的特征向量拼接为一维向量；对属于同一Conversion<subgt;i</subgt;的单条交互文本进行数值化；再进行集成分类，并抽取事件。本发明能够对交互文本流进行会话主题结构识别。技术研发人员：马儇龙,徐小艳,徐宏,钱婷,贺晓丽,吕伟受保护的技术使用者：西安石油大学技术研发日：技术公布日：2024/4/29