本申请涉及互联网技术领域,尤其涉及一种舆情监测方法、装置、电子设备和存储介质。
背景技术:
随着互联网的发展,网络媒体已渗透到人们的日常生活中,越来越多的用户选择在社交媒体平台上宣泄自己的情感,那么企业如何能够第一时间了解自身企业的正面舆情和负面舆情,以及当负面舆情出现后如何快速掌握负面舆情所归属的问题种类,是保证企业第一时间快速启动公关应急策略,从而提升服务质量、提升客户满意度非常重要的一环。
现有的网络舆情监测分析方法主要分为人工监测和技术监测两种。人工监测是一种传统的信息监测方式,主要是借助一些免费舆情监测工具或者搜索引擎、新闻门户网站的站内导航搜索等,缺点就在于由于网络信息始终处于动态变化之中,信息量很庞大,信息的时效性以及获取的全面性上难以保证;技术监测方法大多采用机器系统编程搜索或传统人工特征工程 浅层分类模型的机器学习方法,这种传统的机器学习方法文本表示是高纬度高稀疏的,特征表达能力很弱,而且神经网络很不擅长对此类数据的处理,难以解决分词不准确、缺乏标准完整的情感词库、否定词问题、不同场景和领域的难题等,使得舆情监测的准确率较低。
技术实现要素:
本申请实施例提供一种舆情监测方法、装置、电子设备和存储介质,以达到提升舆情监测准确率的目的。
第一方面,本申请实施例提供了一种舆情监测方法,该方法包括:
获取预训练模型,其中,预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型;
将预训练模型的输出层修改为文本分类层,得到初始模型;
针对文本分类任务,利用舆情样本数据对初始模型进行训练,得到舆情监测模型;
基于舆情监测模型,对获取到的舆情数据进行监测。第二方面,本申请实施例提供了一种舆情监测装置,该装置包括:
模型获取模块,用于获取预训练模型,其中,预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型;
构建模块,用于将预训练模型的输出层修改为文本分类层,得到初始模型;
训练模块,用于针对文本分类任务,利用舆情样本数据对初始模型进行训练,得到舆情监测模型;
监测模块,用于基于舆情监测模型,对获取到的舆情数据进行监测。
第三方面,本申请实施例还提供了一种电子设备,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当一个或多个程序被一个或多个处理器执行,使得一个或多个处理器实现如本申请任一实施例的舆情监测方法。
第四方面,本申请实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时实现如本申请任一实施例的舆情监测方法。
本申请实施例中,利用大规模语言学文本数据对预设网络结构进行训练后得到预训练模型,使得预训练模型可以得到每个单词的词向量表示,从而获得词的语义信息和上下文信息。由此解决了现有技术中分词不准确、缺乏标准完整的情感词库、否定词问题、不同场景和领域的难题;同时直接在预训练模型的基础上构建一个初始模型,也即初始模型中保留了预训练模型的参数,使得模型无需从零学习,提升了模型训练的效率以及模型预测的准确性,进而保证了通过利用训练好的舆情监测模型检测舆情的准确性。
附图说明
图1是根据本申请第一实施例中的舆情监测方法的流程示意图;
图2是根据本申请第二实施例中的舆情监测方法的流程示意图;
图3是根据本申请第三实施例中的舆情监测装置的结构示意图;
图4是根据本申请第四实施例中的实现舆情监测方法的电子设备的结构示意图。
具体实施方式
下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是,此处所描述的具体实施例仅仅用于解释本申请,而非对本申请的限定。另外还需要说明的是,为了便于描述,附图中仅示出了与本申请相关的部分而非所有结构。
图1是根据本申请第一实施例的舆情监测方法的流程图,本实施例可适用于通过服务器等设备监督网络舆情的情况,该方法可以由舆情监测装置来执行,该装置可以采用软件和/或硬件的方式实现,并可集成在电子设备中,例如集成服务器设备中。
参见图1,舆情监测方法具体包括:
s101、获取预训练模型,其中,预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型。
现有的舆情监测方法中,难以解决分词不准确、缺乏标准完整的情感词库、否定词问题、不同场景和领域的难题等。基于此发明人创造性的提出,将舆情监测模型的训练分成两个阶段,分别为预训练阶段和迁移学习阶段。
在预训练阶段,先构建一个预设网络结构,其中,预设网络结构为如下任意一种:全连接网络结构(例如word2vec、fasttext)、卷积神经网络结构(例如textcnn)、循环神经网络结构(例如textrnn、textattbirnn、textbirnn、rcnnvariant)、循环卷积神经网络结构(例如rcnnvariant)和注意力模型(例如bert)。
进一步的,针对语言模型任务,利用语言学文本数据对预设网络结构进行训练,其中,语言学文本数据可选的为文本格式的语言学知识数据,语言模型任务也即是识别语言学文本数据中各个词基于上下文的词向量表示的任务。也即预训练模型用于识别语言学文本数据中各个词基于上下文的词向量表示。具体训练时,可把大量通用的语言学知识抽取出来编码到预设网络结构中进行训练,得到预训练模型。
在此需要说明的是,由于预训练模型是利用大量通用的语言学知识数据训练得到的,使得预训练模型可以有效获得基于上下文的词向量表示,有效解决了分词不准确、缺乏标准完整的情感词库、否定词问题、不同场景和领域的难题。
迁移学习阶段可按照s102-s103的过程进行。
s102、将预训练模型的输出层修改为文本分类层,得到初始模型。
通过s101获得的预训练模型是带有训练权重(即训练参数)的模型,为了避免设计复杂的模型以及耗时良久的训练,在迁移学习阶段,可直接将预训练模型的输出层修改为文本分类层,得到初始模型。也即在初始模型中保留预训练模型的训练权重,只是将输出层改为文本分类层,使得初始模型可以进行文本分类任务。
以另一种可选的实施方式中,可构建一个与预训练模型相同的网络结构,将该网络结构的输出层为文本分类层,进而将预训练模型的训练权重迁移到该网络结构中,以得到初始模型。
s103、针对文本分类任务,利用舆情样本数据对初始模型进行训练,得到舆情监测模型。
其中,舆情样本数据包括正面舆情数据、负面舆情数据、中性舆情数据,而且各舆情数据中出了设置标识正负样本的标签外,还设置有包括至少一个评价指标的标签。评价指标是根据具体的业务确定的,可选的为时限、服务质量、服务态度、价格等,也可以包括其他指标,在此不做具体限定。
在一种可选的实施方式中,基于舆情监测分析模型,对获取到的舆情数据进行监测,包括:将获取到的舆情数据输入到舆情监测模型中,并根据舆情监测模型的输出确定舆情监测结果。
具体的,将某一舆情样本数据编码输入到舆情监测模型中以后,根据舆情监测模型输出确定该舆情样本数据是正面舆情数据、负面舆情数据还是中性舆情数据,以及确定该舆情样本数据的评价指标。将确定结果与该舆情数据的标签进行比较,并将比较结果反向传播,以便调整模型的权重。
在此需要说明的是,由于初始模型中保留了预训练模型的训练权重,在利用舆情样本数据时,只需对初始模型中的训练权重进行微调即可,由此提升了模型的训练效率。
s104、基于舆情监测模型,对获取到的舆情数据进行监测。
在得到舆情监测模型后,可将获取到的舆情数据输入到该模型中,进而根据模型的输出确定该舆情数据是正面评价、负面评价还是中性评价;同时会将对应的评价指标输出。
示例性的,获取到的舆情数据是:“xx快递很差劲,直接将我的快递返回去了……”,将其输入到舆情监测模型,模型会输出各项评价指标的概率,进而根据概率值可以确定该舆情数据是负面评价,主要是对评价指标“时限”不满意。本申请实施例中,利用大规模语言学文本数据对预设网络结构进行训练后得到预训练模型,使得预训练模型可以得到每个单词的词向量表示,从而获得词的语义信息和上下文信息。由此解决了现有技术中分词不准确、缺乏标准完整的情感词库、否定词问题、不同场景和领域的难题;同时直接在预训练模型的基础上构建一个初始模型,也即初始模型中保留了预训练模型的参数,使得模型无需从零学习,提升了模型训练的效率以及模型预测的准确性,进而保证了通过利用训练好的舆情监测模型检测舆情的准确性。
图2是根据本申请第二实施例的舆情监测方法的逻辑流程图,本实施例是在上述实施例的基础上进行优化,参见图2,该方法逻辑包括:
s201、获取预训练模型,其中,预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型。
s202、将预训练模型的输出层修改为文本分类层,得到初始模型。
s203、针对文本分类任务,利用舆情样本数据对初始模型进行训练,得到舆情监测模型。
s204、基于舆情监测模型,对获取到的舆情数据进行监测。
s205、根据舆情监测结果,在不同的维度进行舆情分析。
其中,维度至少包括舆情传播路径、舆情传播用户特征和舆情整体情况。针对舆情整体情况,可从自身和竞品的角度,对不同产品在平台上的投诉数量、内容等情况对标,使企业对整体的舆情情况有更加直观全面的把握;针对舆情传播路径分析,通过对传播舆情的用户的影响力分析、舆情转发时序的分析及舆情传播的分析,可以掌握舆情传播的规律,有效的控制舆情的发酵;针对舆情传播用户特征分析,通过对自身企业及竞品发表评价的用户的性别、地域等属性进行分析,可以了解正负面评价的用户特征,从而为进行有针对性的改善服务提供数据支撑。
本申请实施例中通过对舆情监测结果的分析,可有效把握舆情发展,进而根据舆情改善企业自身的不足。
图3是根据本申请第三实施例的舆情监测装置的结构示意图,本实施例可适用于通过服务器等设备监督网络舆情的情况,参见图3,该装置包括:
模型获取模块301,用于获取预训练模型,其中,预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型;
构建模块302,用于将预训练模型的输出层修改为文本分类层,得到初始模型;
训练模块303,用于针对文本分类任务,利用舆情样本数据对初始模型进行训练,得到舆情监测模型;
监测模块304,用于基于舆情监测模型,对获取到的舆情数据进行监测。
本申请实施例中,利用大规模语言学文本数据对预设网络结构进行训练后得到预训练模型,使得预训练模型可以得到每个单词的词向量表示,从而获得词的语义信息和上下文信息。由此解决了现有技术中分词不准确、缺乏标准完整的情感词库、否定词问题、不同场景和领域的难题;同时直接在预训练模型的基础上构建一个初始模型,也即初始模型中保留了预训练模型的参数,使得模型无需从零学习,提升了模型训练的效率以及模型预测的准确性,进而保证了通过利用训练好的舆情监测模型检测舆情的准确性。
在上述实施例的基础上,可选的,预设网络结构为如下任意一种:全连接网络结构、卷积神经网络结构、循环神经网络结构、循环卷积神经网络结构和注意力模型。
在上述实施例的基础上,可选的,预训练模型用于识别语言学文本数据中各个词基于上下文的词向量表示。
在上述实施例的基础上,可选的,监测模块具体用于:
将获取到的舆情数据输入到舆情监测模型中,并根据舆情监测模型的输出确定舆情监测结果。
在上述实施例的基础上,可选的,还包括:
分析模块,用于在基于舆情监测分析模型,对获取到的舆情数据进行监测之后,根据舆情监测结果,在不同的维度进行舆情分析,其中,维度至少包括舆情传播路径、舆情传播用户特征和舆情整体情况。
本申请实施例所提供的舆情监测装置可执行本申请任意实施例所提供的舆情监测方法,具备执行方法相应的功能模块和有益效果。
图4是本申请第四实施例中提供的一种电子设备的结构示意图。如图4所示结构,本申请实施例中提供的电子设备包括:一个或多个处理器402和存储器401;该电子设备中的处理器402可以是一个或多个,图4中以一个处理器402为例;存储器401用于存储一个或多个程序;一个或多个程序被一个或多个处理器402执行,使得一个或多个处理器402实现如本申请实施例中任一项的舆情监测方法。
该电子设备还可以包括:输入装置403和输出装置404。
该电子设备中的处理器402、存储器401、输入装置403和输出装置404可以通过总线或其他方式连接,图4中以通过总线连接为例。
该电子设备中的存储装置401作为一种计算机可读存储介质,可用于存储一个或多个程序,所述程序可以是软件程序、计算机可执行程序以及模块,如本申请实施例中所提供的舆情监测方法对应的程序指令/模块。处理器402通过运行存储在存储装置401中的软件程序、指令以及模块,从而执行电子设备的各种功能应用以及数据处理,即实现上述方法实施例中舆情监测方法。
存储装置401可包括存储程序区和存储数据区,其中,存储程序区可存储操作系统、至少一个功能所需的应用程序;存储数据区可存储根据电子设备的使用所创建的数据等。此外,存储器401可以包括高速随机存取存储器,还可以包括非易失性存储器,例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中,存储器401可进一步包括相对于处理器402远程设置的存储器,这些远程存储器可以通过网络连接至设备。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置403可用于接收输入的数字或字符信息,以及产生与电子设备的用户设置以及功能控制有关的键信号输入。输出装置404可包括显示屏等显示设备。
并且,当上述电子设备所包括一个或者多个程序被所述一个或者多个处理器402执行时,程序进行如下操作:
获取预训练模型,其中,预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型;
将预训练模型的输出层修改为文本分类层,得到初始模型;
针对文本分类任务,利用舆情样本数据对初始模型进行训练,得到舆情监测模型;
基于舆情监测模型,对获取到的舆情数据进行监测。
当然,本领域技术人员可以理解,当上述电子设备所包括一个或者多个程序被一个或者多个处理器402执行时,程序还可以进行本申请任意实施例中所提供的舆情监测方法中的相关操作。
本申请的一个实施例中提供了一种计算机可读存储介质,其上存储有计算机程序,该程序被处理器执行时用于执行舆情监测方法,该方法包括:
获取预训练模型,其中,预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型;
将预训练模型的输出层修改为文本分类层,得到初始模型;
针对文本分类任务,利用舆情样本数据对初始模型进行训练,得到舆情监测模型;
基于舆情监测模型,对获取到的舆情数据进行监测。
可选的,该程序被处理器执行时还可以用于执行本申请任意实施例中所提供的方法。
本申请实施例的计算机存储介质,可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件,或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括:具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(randomaccessmemory,ram)、只读存储器(readonlymemory,rom)、可擦式可编程只读存储器(erasableprogrammablereadonlymemory,eprom)、闪存、光纤、便携式cd-rom、光存储器件、磁存储器件、或者上述的任意合适的组合。计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号,其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式,包括但不限于:电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质,该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输,包括但不限于:无线、电线、光缆、无线电频率(radiofrequency,rf)等等,或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本申请操作的计算机程序代码,所述程序设计语言包括面向对象的程序设计语言—诸如java、smalltalk、c ,还包括常规的过程式程序设计语言(诸如“c”语言或类似的程序设计语言)。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中,远程计算机可以通过任意种类的网络(例如包括局域网(lan)或广域网(wan))连接到用户计算机,或者,可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
注意,上述仅为本申请的较佳实施例及所运用技术原理。本领域技术人员会理解,本申请不限于这里所述的特定实施例,对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本申请的保护范围。因此,虽然通过以上实施例对本申请进行了较为详细的说明,但是本申请不仅仅限于以上实施例,在不脱离本申请构思的情况下,还可以包括更多其他等效实施例,而本申请的范围由所附的权利要求范围决定。
1.一种舆情监测方法,其特征在于,所述方法包括:
获取预训练模型,其中,所述预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型;
将所述预训练模型的输出层修改为文本分类层,得到初始模型;
针对文本分类任务,利用舆情样本数据对所述初始模型进行训练,得到舆情监测模型;
基于所述舆情监测模型,对获取到的舆情数据进行监测。
2.根据权利要求1所述的方法,其特征在于,所述预设网络结构为如下任意一种:全连接网络结构、卷积神经网络结构、循环神经网络结构、循环卷积神经网络结构和注意力模型。
3.根据权利要求1所述的方法,其特征在于,所述预训练模型用于识别语言学文本数据中各个词基于上下文的词向量表示。
4.根据权利要求1所述的方法,其特征在于,基于所述舆情监测分析模型,对获取到的舆情数据进行监测,包括:
将获取到的舆情数据输入到所述舆情监测模型中,并根据所述舆情监测模型的输出确定舆情监测结果。
5.根据权利要求1所述的方法,其特征在于,在基于所述舆情监测分析模型,对获取到的舆情数据进行监测之后,还包括:
根据舆情监测结果,在不同的维度进行舆情分析,其中,所述维度至少包括舆情传播路径、舆情传播用户特征和舆情整体情况。
6.一种舆情监测装置,其特征在于,包括:
模型获取模块,用于获取预训练模型,其中,所述预训练模型是指针对语言模型任务,利用语言学文本数据对预设网络结构进行训练后得到的语言模型;
构建模块,用于将所述预训练模型的输出层修改为文本分类层,得到初始模型;
训练模块,用于针对文本分类任务,利用舆情样本数据对所述初始模型进行训练,得到舆情监测模型;
监测模块,用于基于所述舆情监测模型,对获取到的舆情数据进行监测。
7.根据权利要求6所述的装置,其特征在于,所述预设网络结构为如下任意一种:全连接网络结构、卷积神经网络结构、循环神经网络结构、循环卷积神经网络结构和注意力模型。
8.根据权利要求6所述的装置,其特征在于,所述监测模块具体用于:
将获取到的舆情数据输入到所述舆情监测模型中,并根据所述舆情监测模型的输出确定舆情监测结果。
9.一种电子设备,其特征在于,包括:
一个或多个处理器;
存储装置,用于存储一个或多个程序,
当所述一个或多个程序被所述一个或多个处理器执行,使得所述一个或多个处理器实现如权利要求1-5中任一项所述的舆情监测方法。
10.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,该程序被处理器执行时实现如权利要求1-5中任一项所述的舆情监测方法。
技术总结