一种图像情感分析方法以及相关装置与流程

    专利2022-07-08  112


    本申请涉及舆情分析的技术领域,特别是涉及一种图像情感分析方法以及相关装置。



    背景技术:

    在日常生活中,丰富的情感表达对传达思想有着极大的帮助。同时,对于事件发生过程中的情感分析也是人机交互的重要研究领域之一。通过建立相应的舆情分析系统,对网络社交媒体上关于该事件的情感进行识别和分析,能够为机构、企业以及个人提供实时的社会舆情分析,从而提升机构、企业以及个人的动态响应能力,及时洞察社会舆论趋势,规避舆情危机。

    随着网络社交媒体的不断发展,网络社交媒体中存在着大量的情感图像,而现有的舆情分析系统大多数是针对社交媒体中的文本情感进行社会舆论趋势的分析,而对于社交媒体上大量的情感图像不能进行有效的分析,这样不利于针对事件进行实时分析社会舆论趋势。因此,有必要提出一种新的图像情感分析方法来解决上述问题。



    技术实现要素:

    本申请主要解决的技术问题是提供一种图像情感分析方法以及相关装置,以能够有效地实现目标事件在发展历程中的多个关键时间点的图像情感识别以及实时分析社会舆论趋势。

    为解决上述技术问题,本申请采用的一个技术方案是:提供一种图像情感分析方法,包括:获得与目标事件发展历程相关的多个情感图像;将所述多个情感图像输入至训练后的图像情感识别模型中,以获得所述目标事件在发展历程中的多个关键时间点的多种情感类别占比;根据所述多个关键时间点和对应的所述多种情感类别占比获得所述目标事件发展历程中的社会舆论趋势。

    其中,所述获得与目标事件发展历程相关的多个情感图像包括:获得与所述目标事件发展历程相关的三组情感图像,所述三组情感图像分别与所述目标事件发生前、发生后、以及发生过程相关;所述将所述多个情感图像输入至训练后的图像情感识别模型中的步骤包括:将所述三组情感图像分别输入至训练后的所述图像情感识别模型中,以分别获得所述目标事件发生前、发生后以及发生过程中的多种情感类别占比。

    其中,所述获得与目标事件发展历程相关的多个情感图像的步骤之前,还包括:根据情感类型获得多个样本图像,其中,所述情感类型包括愤怒、害怕、高兴、厌恶、惊讶及悲伤,所述积极情感包括高兴,所述消极情感包括愤怒、害怕、厌恶及悲伤,所述中立情感包括惊讶;将所述多个样本图像分别输入至初始图像情感识别模型中进行训练,直至所述图像情感识别模型训练次数达到阈值,以获得当前训练后的当前图像情感识别模型;获得所述当前图像情感识别模型的总损失函数值,并判断所述当前图像情感识别模型的总损失函数值是否小于所述初始图像情感识别模型的总损失函数值;若是,则将所述当前图像情感识别模型输出;否则,将所述当前图像情感识别模型作为初始图像情感识别模型,并返回至所述将所述多个样本图像分别输入至初始图像情感识别模型中进行训练的步骤。

    其中,所述总损失函数值与交叉熵损失函数值、二分类损失函数值、中心损失函数值和三元组损失函数值中至少部分相关。

    其中,所述总损失函数值等于所述交叉熵损失函数值、所述二分类损失函数值、第一系数与所述中心损失函数值的乘积、第二系数与所述三元组损失函数值的乘积之和;其中,所述第一系数和所述第二系数大于等于0且小于等于1。

    其中,所述获得所述当前图像情感识别模型的总损失函数值的步骤包括:获得每张样本图像对应的注意力特征矩阵;根据每个二分类检测器的输入向量和所述注意力特征矩阵获得情感激活矩阵,其中,所述二分类检测器的个数与所述情感类型的个数相同;将所述注意力特征矩阵和所述情感激活矩阵进行融合处理以获得情感识别图像;对所述情感识别图像进行全局平均池化层操作,以获得图像情感向量;根据所述图像情感向量获得所述交叉熵损失函数值、所述中心损失函数值和所述三元组损失函数值、以及根据当前样本图像所属的情感类型和当前二分类检测器类型获得所述二分类损失函数值;根据所述交叉熵损失函数值、所述中心损失函数值和所述三元组损失函数值、所述二分类损失函数值获得所述总损失函数值。

    其中,所述获得每张样本图像对应的注意力特征矩阵的步骤包括:获得每张样本图像经所述图像情感识别模型的最后一层卷积层提取的特征矩阵;利用非线性激活函数将所述特征矩阵转化为注意力分布值;将所述注意力分布值进行归一化处理,并将归一化处理后的所述注意力分布值与对应的所述特征矩阵相乘以获得注意力特征矩阵。

    其中,所述将所述多个样本图像分别输入至初始图像情感识别模型中进行训练的步骤之前,包括:对所述多个样本图像进行预处理,其中,所述预处理包括中心化处理、标准化处理以及样本扩充处理。

    为解决上述技术问题,本申请采用的另一个技术方案是:提供一种图像情感分析装置,包括相互耦接的存储器和处理器,所述存储器内存储有程序指令,所述处理器用于执行所述程序指令以实现上述任一实施例中所述的图像情感分析方法。

    为解决上述技术问题,本申请采用的又一个技术方案是:提供一种存储装置,存储有能够被处理器运行的程序指令,所述程序指令用于实现上述任一实施例中所述的图像情感分析方法。

    区别于现有技术的情况,本申请的有益效果是:本申请中通过获得与目标事件发展历程相关的多个情感图像,将多个情感图像输入至训练后的图像情感识别模型中,以获得目标事件在发展历程中的多个关键时间点中每个关键时间点的多种情感类别占比,根据多个关键时间点和对应的多种情感类别占比获得目标事件发展历程中的社会舆论趋势。通过上述设计方案,提高了图像情感识别的准确率,从而能够有效地实现目标事件在发展历程中的多个关键时间点的图像情感识别,有利于实时分析社会舆论趋势。

    附图说明

    为了更清楚地说明本申请实施例中的技术方案,下面将对实施例描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本申请的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。其中:

    图1是本申请图像情感分析方法一实施方式的流程示意图;

    图2是图1中步骤s101之前的步骤一实施方式的流程示意图;

    图3是图2中步骤s203对应的一实施方式的流程示意图;

    图4是本申请图像情感分析装置一实施方式的框架示意图;

    图5是本申请图像情感分析装置一实施方式的结构示意图;

    图6是本申请存储装置一实施方式的框架示意图。

    具体实施方式

    下面将结合本申请实施例中的附图,对本申请实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本申请一部分实施例,而不是全部实施例。基于本申请中的实施例,本领域普通技术人员在没有做出创造性的劳动前提下所获得的所有其他实施例,都属于本申请保护的范围。

    请参阅图1,图1是本申请图像情感分析方法一实施方式的流程示意图,该分析方法包括:

    s101:获得与目标事件发展历程相关的多个情感图像。

    具体地,在本实施例中,可以通过爬虫技术从社交媒体上获得与目标事件发展历程相关的多个情感图像,当然,在其他实施例中,也可以从其他信息源采用其他方式以实时获取用户所需要的情感图像,在此不作限定。上述社交媒体可以为twitter、flick、instagram、新闻、论坛、微博等,本申请对此不作限定。上述多个情感图像可以为三组情感图像,分别与目标事件发生前、发生后、以及发生过程相关。通过这种方式,可以实时获取与目标事件发生前、发生后、以及发生过程相关的情感图像,有利于后续关于该目标事件的社会舆论趋势分析。

    s102:将多个情感图像输入至训练后的图像情感识别模型中,以获得目标事件在发展历程中的多个关键时间点中每个关键时间点的多种情感类别占比。

    具体地,在本实施例中,上述情感类别包括积极情感、消极情感以及中立情感,将步骤s101中的三组情感图像分别输入至训练后的图像情感识别模型中,以分别获得目标事件发生前、发生后以及发生过程中积极情感、消极情感以及中立情感的占比,以实现社会媒体对目标事件在发展历程中的多个关键时间点中每个关键时间点的情感分析。

    s103:根据多个关键时间点和对应的多种情感类别占比获得目标事件发展历程中的社会舆论趋势。

    在本实施例中,多个关键时间点可以是目标事件发生前、发生后以及发生过程,也可以是其他与目标事件相关的时间点,在此不作限定。通过对比在目标事件发生的多个关键时间点前后社会上的情感类别占比,分析在目标事件发生的关键时间点前后社会舆论的趋势。

    通过上述设计方案,能够有效地实现目标事件在发展历程中的多个关键时间点的图像情感识别,实时分析社会舆论趋势,以实现对之后发生的与目标事件类似的事件的预测。此外,当之后发生类似的事件时,可以通过获取当前事件的情感图像扩充现有的情感图像数据集,以便于实现之后的情感图像识别。

    在一个实施方式中,请参阅图2,图2是图1中步骤s101之前的步骤一实施方式的流程示意图。在上述步骤s101之前包括:

    s201:根据情感类型获得多个样本图像,情感类型包括愤怒、害怕、高兴、厌恶、惊讶及悲伤。

    具体地,在本实施例中,可以采用爬虫技术从社交媒体上根据情感类型获取多个样本图像,当然,在其他实施例中,也可以从其他信息源采用其他方式以根据情感类型获取多个样本图像,在此不作限定。上述社交媒体可以为twitter、flick、instagram、新闻、论坛、微博等,本申请对此不作限定。通过这种方式,可以直接使用上述多个样本图像作为图像情感识别模型的训练集。将上述多个样本图像按照情感类型分为多个情感数据集,例如,将情感类型为愤怒、害怕、高兴、厌恶、惊讶及悲伤的样本图像分别设定为六个情感数据集,其中一个情感数据集的样本图像数量的范围为0-50000张,例如,500张、1000张、1500张、2000张、2500张、3000张、3500张、5000张、8000张、10000张、20000张、30000张、40000张、50000张等。将上述情感类型设定为多种情感类别,多种情感类别包括积极情感、消极情感以及中立情感,具体地,积极情感包括高兴,消极情感包括愤怒、害怕、厌恶及悲伤,中立情感包括惊讶,以分析目标事件在社会舆论中积极情感、消极情感以及中立情感的占比。

    s202:将多个样本图像分别输入至初始图像情感识别模型中进行训练,直至图像情感识别模型训练次数达到阈值,以获得当前训练后的当前图像情感识别模型。

    具体地,在本实施例中,在将多个样本图像分别输入至初始图像情感识别模型中进行训练的步骤之前,包括:对多个样本图像进行预处理,其中,预处理包括中心化处理、标准化处理以及样本扩充处理。具体地,将样本图像的像素值设定为0-1,例如,0.2、0.5、1等,实现了压缩样本图像的维度,将样本图像进行归一化处理,与此同时,还可以将样本图像按照设定的标准上下左右翻转,以将多个样本图像按照统一标准输入至初始图像情感识别模型中进行训练。当样本图像过少时,可通过样本扩充处理对待训练的情感数据集进行扩充。通过中心化处理、标准化处理以及样本扩充处理,压缩样本图像的特征矩阵,使得多个样本图像具有相同维度上相同尺度的特征,以便于后续多个样本图像在初始图像情感识别模型中的训练。

    其中,上述训练次数的阈值范围为50-500,例如,50、100、200、300、400、500等。例如,阈值设定为50,当训练次数没有达到50时,继续训练图像情感识别模型;当训练次数达到50时,则停止图像情感识别模型训练,获取当前训练后的图像情感识别模型,以进行后续步骤。

    s203:获得当前图像情感识别模型的总损失函数值,并判断当前图像情感识别模型的总损失函数值是否小于初始图像情感识别模型的总损失函数值。

    在一个实施方式中,请参阅图3,图3是图2中步骤s203对应的一实施方式的流程示意图。获得当前图像情感识别模型的总损失函数值的步骤具体包括:

    s301:获得每张样本图像对应的注意力特征矩阵。

    具体地,上述步骤s301的具体实现过程可以为:通过设定的卷积神经网络模型提取每张样本图像的深度特征,进而通过卷积神经网络模型的最后一层卷积层获取第n个样本对应的特征矩阵,为其中,i=1,2,3,…,d和j=1,2,3,…,d为特征矩阵的坐标,d为特征矩阵的长宽,m为卷积层的卷积核数量(即特征矩阵的高),c为情感数据集的个数。利用非线性激活函数sigmoid函数f(x)=1/(1 e-x)将上述特征矩阵转化为一维的注意力分布值sm,其公式为:

    sm=fsigmoid(wt·xi,j,m b)(1)

    其中,w和b分别为注意力机制的权重和偏置。

    进一步地,归一化上述注意力分布值sm,以减少嘈杂标签的特征值大小,其公式为:

    其中,am为最终的注意力机制的分布值,而且,∑am=1。

    将上述得到的注意力分布值sm与上述特征矩阵相乘得到注意力特征矩阵其公式如下:

    其中,“°”表示矩阵的对应元素相乘。

    通过上述注意力机制能够使得错误信息的注意力值变小,正确信息的注意力值变大,从而抑制错误信息所带来的负面影响,使得图像情感识别模型能够直接训练带有嘈杂标签的样本图像数据集。

    s302:根据每个二分类检测器的输入向量和注意力特征矩阵获得情感激活矩阵。

    具体而言,为了使得图像情感识别模型能够识别一张样本图像中的多种情感,设定多个二分类检测器,以将一张样本图像的情感问题转化为多个二分类检测问题。同时,在每个二分类检测器中加入类激活图机制,以获得一张样本图像中每类情感类型的显著特征。采用全局平均池化层获得每个二分类检测器的输入向量为其中,m为特定情感向量的维度,ck为对应的二分类检测器,k为情感数据集的情感类别数。通过每个二分类检测器的输入向量为和注意力特征矩阵得到情感激活矩阵其公式如下:

    其中,二分类检测器的个数与情感类型的个数相同。具体而言,对于给定的情感类型的个数c,通过分配了c个二分类检测器,得到c个对应情感的情感激活矩阵对应的每个类激活图中都获得了对应情感的显著特征。

    s303:将注意力特征矩阵和情感激活矩阵进行融合处理以获得情感识别图像。

    具体而言,将获得的特定情感的情感激活矩阵作为局部特征,得到的注意力特征矩阵作为全局特征,将这两种特征通过链接操作“:”融合,得到情感识别图像ci,j,m,以提高情感识别效果,其公式如下:

    通过这种方式,可以将一张样本图像中多个情感的问题,转换为多个简单的情感检测问题,并且在每类情感检测过程中,利用类激活图获得对应情感的显著特征,并以特征融合的方式,提高最终的图像情感识别效果,提升图像情感识别的准确率。

    s304:对情感识别图像进行全局平均池化层操作,以获得图像情感向量。

    具体而言,在整个图像情感识别模型的情感分类上,以监督学习的方式其中n为情感数据集的图片数量,ii为输入的样本图像,yi为对应的情感类别,利用softmax作为最终的情感分类的损失函数。对上述步骤s303中的情感识别图像ci,j,m进行全局平均池化层操作,以获得图像情感向量ci=ap(ci,j,m)。

    s305:根据图像情感向量获得交叉熵损失函数值、中心损失函数值和三元组损失函数值、以及根据当前样本图像所属的情感类型和当前二分类检测器类型获得二分类损失函数值。

    具体而言,根据上述图像情感向量ci获得交叉熵损失函数值,其公式如下:

    其中,w为整个图像情感识别模型的参数,yi以one-hot编码形式。

    根据当前样本图像的情感类型和当前二分类检测器类型获得二分类损失函数值,其公式如下:

    其中,yi定义为第n张样本图像的情感类型,i∈∑c,当样本图像是当前二分类检测器的情感类型时为1,不是当前二分类检测器的情感类型时为0。例如,将情感类型愤怒、害怕、高兴、厌恶、惊讶、悲伤分别定义为y1,y2,y3,y4,y5,y6,在一张样本图像中,当前二分类检测器的情感类型为愤怒时,则y1=1,y2=0,y3=0,y4=0,y5=0,y6=0。

    为了更近一步地提高情感分类的效果,引入中心损失函数值及三元组损失函数值作为最终的情感分类的正则项。将图像情感识别近似地看作一个线性问题,引入中心损失函数值,用以减少相同情感类型之间的距离:

    其中,为图像情感向量ci类别中心;并建立和ci之间的联系,以更新图像情感向量ci类别中心

    其中,只有在时才会根据ci更新

    进一步地,通过引入三元组损失函数值以扩大不同情感类型之间的距离:

    其中,及θ设置为超参数。为相同情感类型,为不同情感类型。

    s306:根据交叉熵损失函数值、中心损失函数值和三元组损失函数值、二分类损失函数值获得总损失函数值。

    在本实施例中,总损失函数值与交叉熵损失函数值、二分类损失函数值、中心损失函数值和三元组损失函数值中至少部分相关。具体地,总损失函数值等于交叉熵损失函数值、二分类损失函数值、第一系数与中心损失函数值的乘积、第二系数与三元组损失函数值的乘积之和:

    l=lclass(i,y) lscam(i,y) λlcenter(c) βltriple(c)(12)

    其中,第一系数λ和第二系数β分别为lcenter和ltriple的贡献参数,第一系数λ和第二系数β大于等于0且小于等于1,例如,0、0.2、0.5、0.7、1等。当λ等于0时,则总损失函数值与中心损失函数值不相关;当β等于0时,则总损失函数值与三元组损失函数值不相关;当λ和β同时等于0时,则总损失函数值与中心损失函数值以及三元组损失函数值都不相关。

    通过引入中心损失函数值以及三元组损失函数值作为最终的情感分类的正则项,缩小了相同情感类型之间的距离,扩大了不同情感类型之间的距离,使得图像情感识别模型能够学习到情感类型之间细微的差异,从而提高图像情感识别的准确率。

    通过上述方式获得当前图像情感识别模型的总损失函数值l。除此之外,步骤s203还包括:判断当前图像情感识别模型的总损失函数值是否小于初始图像情感识别模型的总损失函数值。

    s204:若是,则将当前图像情感识别模型输出。

    即当当前图像情感识别模型的总损失函数值小于初始图像情感识别模型的总损失函数值时,则将当前图像情感识别模型输出,并保存当前图像情感识别模型及其模型参数。

    s205:否则,将当前图像情感识别模型作为初始图像情感识别模型,并返回至将多个样本图像分别输入至初始图像情感识别模型中进行训练的步骤。

    即当当前图像情感识别模型的总损失函数值大于等于初始图像情感识别模型的总损失函数值时,则将当前图像情感识别模型作为初始图像情感识别模型,并返回至步骤s202。

    通过上述设计方案,图像情感识别模型能够直接训练带有嘈杂标签的样本图像,以及学习到情感类型之间细微的差异,提高了图像情感识别的准确率,从而能够有效地实现目标事件在发展历程中的多个关键时间点的图像情感识别,有利于实时分析社会舆论趋势。

    请参阅图4,图4为本申请图像情感分析装置一实施方式的框架示意图,该分析装置包括获得模块10、输入模块12和处理模块14。其中,获得模块10用于获得与目标事件发展历程相关的多个待测情感图像;输入模块12用于将待测情感图像输入至训练后的图像情感识别模型中,以获得目标事件在发展历程中的多个关键时间点中每个关键时间点的多种情感类别占比;处理模块14用于加载训练后的最佳图像情感识别模型以及其参数,读取并预处理待测情感图像,展示得到的待测情感图像的情感类别,并以柱状图的形式展现整个目标事件中多个关键时间点所对应的情感类别占比,以此来分析目标事件发展历程中的社会舆论趋势,并以折线图的形式展示社会舆论趋势,凸显目标事件发生过程中的重大转折点,以便于用户做出正确的舆情决策。

    请参阅图5,图5为本申请图像情感分析装置一实施方式的结构示意图,该分析装置包括相互耦接的存储器200和处理器202,存储器200内存储有程序指令,处理器202用于执行程序指令以实现上述任一实施例中所提及的图像情感分析方法。

    具体而言,处理器202还可以称为cpu(centralprocessingunit,中央处理单元)。处理器202可能是一种集成电路芯片,具有信号的处理能力。处理器202还可以是通用处理器、数字信号处理器(digitalsignalprocessor,dsp)、专用集成电路(applicationspecificintegratedcircuit,asic)、现场可编程门阵列(field-programmablegatearray,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。另外,处理器202可以由多个集成电路芯片共同实现。

    请参阅图6,图6为本申请存储装置一实施方式的框架示意图。该存储装置30存储有能够被处理器运行的程序指令300,程序指令300用于实现上述任一实施例中所提及的图像情感分析方法。其中,该程序指令300可以以软件产品的形式存储在上述存储装置中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器(processor)执行本申请各个实施方式所述方法的全部或部分步骤。而前述的存储装置包括:u盘、移动硬盘、只读存储器(rom,read-onlymemory)、随机存取存储器(ram,randomaccessmemory)、磁碟或者光盘等各种可以存储程序代码的介质,或者是计算机、服务器、手机、平板等终端设备。

    总而言之,区别于现有技术的情况,本申请中采用端到端的图像情感识别方法构建的图像情感识别模型能够直接训练带有嘈杂标签的样本图像,以及学习到情感类型之间细微的差异,提高了图像情感识别的准确率,从而能够有效地实现目标事件在发展历程中的多个关键时间点的图像情感识别,有利于针对目标事件分析社会舆论趋势。此外,当之后发生类似的事件时,可以在事件刚发生的时候,就能够提供实时舆情分析,预测该事件的社会舆论趋势。

    以上所述仅为本申请的实施方式,并非因此限制本申请的专利范围,凡是利用本申请说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本申请的专利保护范围内。


    技术特征:

    1.一种图像情感分析方法,其特征在于,包括:

    获得与目标事件发展历程相关的多个情感图像;

    将所述多个情感图像输入至训练后的图像情感识别模型中,以获得所述目标事件在发展历程中的多个关键时间点中每个关键时间点的多种情感类别占比;

    根据所述多个关键时间点和对应的所述多种情感类别占比获得所述目标事件发展历程中的社会舆论趋势。

    2.根据权利要求1所述的图像情感分析方法,其特征在于,

    所述获得与目标事件发展历程相关的多个情感图像包括:获得与所述目标事件发展历程相关的三组情感图像,所述三组情感图像分别与所述目标事件发生前、发生后、以及发生过程相关;

    所述将所述多个情感图像输入至训练后的图像情感识别模型中的步骤包括:将所述三组情感图像分别输入至训练后的所述图像情感识别模型中,以分别获得所述目标事件发生前、发生后以及发生过程中的多种情感类别占比。

    3.根据权利要求1所述的图像情感分析方法,其特征在于,所述获得与目标事件发展历程相关的多个情感图像的步骤之前,还包括:

    根据情感类型获得多个样本图像,其中,所述情感类型包括愤怒、害怕、高兴、厌恶、惊讶及悲伤,所述积极情感包括高兴,所述消极情感包括愤怒、害怕、厌恶及悲伤,所述中立情感包括惊讶;

    将所述多个样本图像分别输入至初始图像情感识别模型中进行训练,直至所述图像情感识别模型训练次数达到阈值,以获得当前训练后的当前图像情感识别模型;

    获得所述当前图像情感识别模型的总损失函数值,并判断所述当前图像情感识别模型的总损失函数值是否小于初始图像情感识别模型的总损失函数值;

    若是,则将所述当前图像情感识别模型输出;否则,将所述当前图像情感识别模型作为初始图像情感识别模型,并返回至所述将所述多个样本图像分别输入至初始图像情感识别模型中进行训练的步骤。

    4.根据权利要求3所述的图像情感分析方法,其特征在于,

    所述总损失函数值与交叉熵损失函数值、二分类损失函数值、中心损失函数值和三元组损失函数值中至少部分相关。

    5.根据权利要求4所述的图像情感分析方法,其特征在于,

    所述总损失函数值等于所述交叉熵损失函数值、所述二分类损失函数值、第一系数与所述中心损失函数值的乘积、第二系数与所述三元组损失函数值的乘积之和;

    其中,所述第一系数和所述第二系数大于等于0且小于等于1。

    6.根据权利要求5所述的图像情感分析方法,其特征在于,所述获得所述当前图像情感识别模型的总损失函数值的步骤包括:

    获得每张样本图像对应的注意力特征矩阵;

    根据每个二分类检测器的输入向量和所述注意力特征矩阵获得情感激活矩阵,其中,所述二分类检测器的个数与所述情感类型的个数相同;

    将所述注意力特征矩阵和所述情感激活矩阵进行融合处理以获得情感识别图像;

    对所述情感识别图像进行全局平均池化层操作,以获得图像情感向量;

    根据所述图像情感向量获得所述交叉熵损失函数值、所述中心损失函数值和所述三元组损失函数值、以及根据当前样本图像所属的情感类型和当前二分类检测器类型获得所述二分类损失函数值;

    根据所述交叉熵损失函数值、所述中心损失函数值和所述三元组损失函数值、所述二分类损失函数值获得所述总损失函数值。

    7.根据权利要求6所述的图像情感分析方法,其特征在于,所述获得每张样本图像对应的注意力特征矩阵的步骤包括:

    获得每张样本图像经所述图像情感识别模型的最后一层卷积层提取的特征矩阵;

    利用非线性激活函数将所述特征矩阵转化为注意力分布值;

    将所述注意力分布值进行归一化处理,并将归一化处理后的所述注意力分布值与对应的所述特征矩阵相乘以获得注意力特征矩阵。

    8.根据权利要求3所述的图像情感分析方法,其特征在于,所述将所述多个样本图像分别输入至初始图像情感识别模型中进行训练的步骤之前,包括:

    对所述多个样本图像进行预处理,其中,所述预处理包括中心化处理、标准化处理以及样本扩充处理。

    9.一种图像情感分析装置,其特征在于,包括相互耦接的存储器和处理器,所述存储器内存储有程序指令,所述处理器用于执行所述程序指令以实现权利要求1至8中任一项所述的图像情感分析方法。

    10.一种存储装置,其特征在于,存储有能够被处理器运行的程序指令,所述程序指令用于实现权利要求1至8任一项所述的图像情感分析方法。

    技术总结
    本申请公开了一种图像情感分析方法以及相关装置,所述方法包括:获得与目标事件发展历程相关的多个情感图像;将所述多个情感图像输入至训练后的图像情感识别模型中,以获得所述目标事件在发展历程中的多个关键时间点中每个关键时间点的多种情感类别占比;根据所述多个关键时间点和对应的所述多种情感类别占比获得所述目标事件发展历程中的社会舆论趋势。通过上述设计方案,图像情感识别模型能够直接训练带有嘈杂标签的样本图像,以及学习到情感类型之间细微的差异,提高了图像情感识别的准确率,从而能够有效地实现目标事件在发展历程中的多个关键时间点的图像情感识别,有利于实时分析社会舆论趋势。

    技术研发人员:薛罗阳
    受保护的技术使用者:浙江大华技术股份有限公司
    技术研发日:2020.12.02
    技术公布日:2021.03.12

    转载请注明原文地址:https://wp.8miu.com/read-18918.html

    最新回复(0)