本技术涉及微表情识别，特别涉及一种基于多模态融合的微表情识别方法。
背景技术：
1、微表情识别是面部表情分析中的重要研究课题。微表情是一种出现时间短暂的精细表情，能反映出人们真实的内心情感状态。相比明显的宏观表情，微表情更难以被察觉，因此如何提高微表情识别的精确度是一个关键技术难题。
2、传统的微表情识别方法主要基于手工设计的特征提取和分类模型，识别精度较低。随着深度学习的发展，各种卷积神经网络和循环神经网络被引入到微表情识别任务中，提高了特征学习的能力。但是这些方法过于依赖单一的视觉数据，没有考虑微表情与其他生理信号之间的内在关联性，因此识别精度仍有很大提升空间。
3、在相关技术中，比如中国专利文献cn116955601a中提供了一种多模态的情感识别方法和装置。所述方法包括：确定目标用户的微表情知识图谱、微动作知识图谱以及文本情感分析向量；将微表情知识图谱与微动作知识图谱进行融合，并根据融合结果确定预设情感向量；根据预设情感向量以及文本情感分析向量确定情感分析结果；根据情感分析结果确定目标用户的情感。本技术实施例提供的多模态的情感识别方法通过构建基于视觉、语音、文本多种模态实体的知识图谱。但是该方案主要依赖于特征提取，如果特征提取算法无法有效捕获微表情的关键特征，就会影响到后续情感识别的准确性。
技术实现思路
1、1.要解决的技术问题
2、针对现有技术中存在的微表情识别精度低的问题，本技术提供了一种基于多模态融合的微表情识别方法，通过采集多模态数据、构建微表情知识图谱、利用实体对齐算法实现微表情和生理参数的特征对齐，从而提高微表情识别的精确度。
3、2.技术方案
4、本技术的目的通过以下技术方案实现。
5、本说明书实施例提供一种基于多模态融合的微表情识别方法，包括：采集多模态数据，多模态数据包含用户数据和环境数据，用户数据包含微表情和生理参数；环境数据包含光照和温湿度，微表情指面部精细表情特征；提取微表情的表征向量，表征向量表示微表情图像或视频序列的语义特征；根据微表情的表征向量与不同情感类别的对应关系，构建微表情知识图谱；采用实体对齐算法，在同一特征空间内，利用语义约束将微表情知识图谱和生理参数进行特征对齐，构建多模态知识图谱；基于多模态知识图谱和环境数据，构建微表情识别模型，输出表示微表情识别结果的情感分析向量。
6、具体的，微表情图像序列的采集：使用高速摄像头采集面部区域视频，确保拍摄帧率不低于200fps，以捕捉快速微表情变化。采用图像预处理技术提升采集图像质量。生理参数采集：使用可穿戴设备采集用户生理数据，包含心率、血压、皮肤电反应等信息。采样频率不低于10hz。光照强度采集：使用环境光传感器，采集可见光谱范围内的光强信息，采样频率10hz。温湿度采集：使用温湿度传感器，采集用户所处环境的温度和湿度信息，采样频率1hz。剪切并分割微表情图像序列，提取面部区域。消除生理信号中的噪声干扰。标注微表情视频图像，标记光照和温湿度的时间戳。统一不同采样率的数据到同一时间轴上。使用nosql数据库存储采集的多模态时间序列数据。使用密集向量表示存储微表情和生理序列特征。
7、具体的，将采集的微表情图像序列进行裁剪、缩放等预处理，输入到特征提取模块。使用卷积神经网络（如resnet）逐帧提取图像的空间特征，得到描述图像局部纹理的特征映射。将图像序列及其空间特征映射输入到循环神经网络（如lstm）中，学习时序变化特征，输出表示时间相关性的隐状态向量。将隐状态向量输入到注意力模块，学习不同时序对微表情识别的重要性，输出时间步的权重分数。将空间特征映射、时间隐状态向量和时间权重相乘求和，获得融合空间和时间信息的微表情表征向量。微表情表征向量经过全连接层微调，强化对微表情关键帧的特征学习。最终输出的表征向量中每个维度表示一个面部微表情动作，反映微表情图像序列的语义信息。
8、具体的，创建表示正面情感、负面情感、中性情感三种类别的节点，使用词向量表示节点的语义信息。将微表情表征向量和情感类别节点向量化表示作为输入，输入到基于注意力机制的lstm网络中。lstm网络学习表征向量与不同情感类别节点之间的语义关联程度。注意力机制输出表征向量与每个类别节点的连接权重。根据表征向量、情感类别节点及连接权重构建知识图谱，节点表示情感类别，边表示微表情与情感的对应关系。对知识图谱表示进行正则化，通过负采样增强模型对隐性特征的学习能力。最终获得的知识图谱能够表示微表情图像或视频序列所反映的情感内涵。
9、其中，实体对齐算法，一种能够建模实体及其关系的表示学习算法，通过映射到统一的向量空间实现不同实体的对齐。采用知识图谱翻译模型（如transr），实现微表情知识图谱和生理参数在同一特征空间中的对齐。语义约束，指利用实体及关系的语义信息，在表示学习过程中加入先验知识，约束模型拟合结果。根据微表情和生理参数两个模态的语义一致性，添加约束条件优化两个模态特征的融合过程，使学习到的多模态知识图谱语义上更连贯。在本技术中，提取两类特征向量；映射到共享语义空间；在共享空间添加语义约束；优化目标函数实现特征对齐；得到对齐后的多模态知识图谱。
10、其中，微表情识别模型指的是专门用于识别面部微表情的机器学习模型。它的输入是包含面部图像序列的多模态数据，输出是反映微表情识别结果的情感分析向量。在本技术中，微表情特征提取器：使用卷积神经网络等对面部图像进行特征提取，得到面部运动的空间时间表示。多模态特征融合器：将提取的微表情特征与语音、文本等其他模态特征在知识图谱上进行融合。模型输出层：基于融合的多模态特征，输出表示最终识别结果的情感分析向量。知识图谱提供结构化信息，增强特征表达。通过构建和训练这样的微表情识别模型，可以在复杂环境下分析面部微表情，并输出反映识别结果的情感分析向量，为后续的情感判断提供支持。
11、具体的，将对齐后的多模态知识图谱、微表情序列、生理数据以及环境数据（光照、温湿度）进行特征级别的融合。使用多层感知机或gru等网络，以融合后的多模态特征为输入，学习复杂的非线性关系。采用dropout技术以防止过拟合。模型输出表示三种情感类别（正面、负面、中性）的概率分布，即情感分析向量。情感分析向量中概率最大的类别，作为对输入微表情序列的识别结果。使用多模态微表情数据集，评估模型的识别准确率、召回率、f1值等指标。根据评估结果调节模型结构和超参数，不断优化模型的微表情识别性能。
12、进一步的，提取微表情的表征向量，表征向量表示微表情图像或视频序列的语义特征，包括：将采集的微表情图像序列作为输入，利用卷积神经网络获取表示图像序列空间特征的特征映射a；将微表情图像序列和特征映射a作为输入，利用循环神经网络获取表示时间特征的隐状态向量b；将隐状态向量b作为输入，利用注意力机制的神经网络计算不同时间步的权重分数c；将获取的特征映射a、隐状态向量b和权重分数c进行组合，得到表示图像序列语义信息的微表情的表征向量d，表征向量d中每个维度对应不同的面部肌肉动作。
13、其中，特征映射是指通过卷积神经网络提取输入图像的特征表示，它保留了输入图像的空间信息，每张特征映射中每个像素点表示不同位置的特征响应值。在本技术中，这里将采集的微表情图像序列作为输入，输入到卷积神经网络中，网络通过卷积、池化等操作逐步提取图像的空间特征，输出的是多个二维特征映射。每个特征映射表示输入图像序列在一个特定过滤器下的特征响应。这组特征映射作为一个整体，反映了微表情图像序列的局部纹理、边缘等空间信息。相比直接使用图像像素，特征映射能够学习到高级语义特征，并保留空间关联性，为后续融合时间信息提供空间特征基础。
14、其中，隐状态向量是循环神经网络中用于描述序列历时信息的向量表示，它反映当前时刻输入与前后时刻输入之间的关联性质。在本技术中，将微表情图像序列及其空间特征映射作为输入，输入到循环神经网络（如lstm）中，网络会学习序列中不同时刻之间的时间关联特征。网络隐层的隐状态向量即反映了空间特征映射在时间轴上变化的趋势信息，描述了微表情动作从一个状态演变到另一个状态的过程，表示微表情的时间特征。隐状态向量融合了序列的历时信息，使得模型能够感知微表情动作的时间相关性，而不仅仅依赖静态的空间信息，这对表达微表情的细微变化非常重要。隐状态向量在该技术方案中被用来表示微表情序列的时间特征，为构建表征向量提供时序信息。
15、其中，权重分数是注意力机制输出的一组数字，表示输入不同部分对模型输出的重要性程度，通常用来对输入进行加权。在本技术中，将隐状态向量b作为输入，输入到注意力机制的神经网络中。注意力机制会分析隐状态向量中每个时刻的特征，计算出每个时刻对最终微表情识别的重要性贡献，即权重分数c。权重分数可以对微表情序列的不同时刻进行区分对待，使模型对最关键的微表情表征帧给予更高的关注度。这比简单的均匀平均不同时刻的特征更有利于提取决定性信息。权重分数在该技术方案中被用来表示不同时间步对微表情识别的重要性，为构建语义表征向量提供sidenote。
16、其中，表征向量是一组数字，用于表示输入数据中的语义特征，每个维度表示一个属性或特征。在本技术中，将提取的特征映射a、隐状态向量b和权重分数c进行组合，求加权和得到微表情图像序列的表征向量d。表征向量d融合了空间特征、时间特征和注意力权重，能够表示微表情序列所含有的语义信息，即不同的面部微表情动作。相较于单独的特征，表征向量整合了不同模态的特征，是一种信息汇聚的语义特征表达。同时，加权作用使得关键帧得到强化，有利于表达关键动作特征。表征向量d的每个维度利用正交变换对应到一个面部微表情动作，如眉毛抬起、嘴角下垂等，因此反映了整个微表情序列的语义信息。
17、进一步的，特征映射a表示微表情图像序列的纹理特征；隐状态向量b表示微表情图像序列中相邻时间步的特征映射a之间的变化趋势，反映微表情的纹理特征在相邻时序之间的变化过程；权重分数c根据不同时间步对微表情识别的重要性贡献进行降序排列，重要性贡献由注意力机制的神经网络基于输入的隐状态向量b进行计算得到；表征向量d采用l2正则化防止过拟合。
18、其中，纹理特征是表示图像局部区域纹理结构和质感的视觉特征，通过提取像素get attribute、方差、边缘等信息来描述图像的粗糙程度、顺滑性等纹理特性。在本技术中，特征映射a是由卷积神经网络处理微表情图像序列而得到，它保留了原图像的空间信息。特征映射a中每个像素点反映该位置的纹理特征，如眉毛、口腔等部位的皱纹、细小变形等可以反映微表情动作，所以特征映射a主要表示微表情序列的纹理特征。纹理特征可以反映面部肌肉变化引起的微小纹理变化，是分析微表情非常重要的视觉clue，因此该技术方案使用特征映射a表示这一信息，为表征向量提供空间特征支持。
19、具体的，输入特征映射a到循环神经网络，a中每个时序的特征映射反映该时刻的微表情纹理特征。循环网络隐层的隐状态向量b会综合当前时刻和前后时刻的特征映射a，学习相邻时序之间的变化关系。由于特征映射a反映的是微表情图像的纹理特征，所以隐状态向量b会反映两个相邻时刻之间，微表情面部纹理是如何变化的，即纹理特征在时间轴上的变化趋势。例如，微表情从neutral状态逐步变为eye brow raising，隐状态向量b会捕捉这一纹理变形过程。相比单独的静态特征映射a，隐状态向量b提供的时序变化特征，能更好表示微表情的细微动作过程。最后，隐状态向量b和特征映射a一同融合构成表征向量d，提供静态和动态的纹理特征。
20、具体的，输入隐状态向量b到注意力机制的神经网络中。注意力机制会分析每个时刻的隐状态向量，评估不同时刻对最终微表情识别的重要性贡献。具体而言，是计算每个隐状态向量与最终输出之间的相关性作为重要性评分，采用内积或加权函数计算相关性。计算出的重要性评分即为权重分数c，它表示不同时间步对输出结果的重要程度。然后根据权重分数c的值对不同时刻进行降序排列。顺序靠前的时刻具有更高的权重分数，意味着其对应的特征对微表情识别更重要。这样的时间轴上加权，可以使得模型更关注对结果影响大的时刻，达到提取决定性信息的目的。权重分数c为特征映射和隐状态向量提供时间上的区别对待，使得关键帧得到加强。
21、其中，l2正则化是一种正则化技术，通过在模型损失函数中引入权重参数的l2范数来惩罚模型复杂度，使得模型保持在一个较低的复杂度空间，从而防止过拟合。在本技术中，微表情表征向量d会作为特征输入到后续的分类模型中。为防止分类模型过于复杂而过拟合训练数据，对表征向量d进行l2正则化。在表征向量d的损失函数中加入其l2范数作为正则化项，限制表征向量参数不要过大。正则化项系数控制正则化强度。l2正则化通过限制特征参数使模型保持简单，避免学习到特定训练数据的噪声与随机性，增强模型的泛化能力。
22、进一步的，卷积神经网络采用残差网络resnet；循环神经网络采用长短期记忆网络lstm；注意力机制的神经网络采用空间注意力机制。其中，残差网络将输入特征通过残差连接直接加到更深层，避免梯度消失，能训练更深的网络。采用resnet作为卷积神经网络，提取更丰富的微表情空间特征。lstm是一种rnn，使用门机制记录长程依赖，更好地学习时间序列数据。采用lstm作为循环神经网络，更好地学习微表情时间特征。空间注意力学习输入不同位置的重要性，对空间特征进行加权。采用空间注意力机制，自动聚焦微表情关键区域。
23、具体的，残差网络结构使卷积神经网络能够更深入地学习面部图像的空间特征，如皱纹、表情细节等，为后续提供丰富的空间信息。lstm的门机制和记忆细胞可以更好地感知面部表情变化的时间动态过程，提供关键的时序信息。空间注意力可以自动聚焦面部表情变化最明显的区域，提升对关键帧的表示能力。resnet提供空间特征基础，lstm提供动态特征补充，注意力机制进行优化调整，三者相互补充形成多维的表征向量，更全面和准确地表示微表情的语义信息。
24、进一步的，根据微表情的表征向量与不同情感类别的对应关系，构建微表情知识图谱，包括：获取微表情的表征向量；构建表示正面情感、负面情感和中性情感的三种类型的节点，采用词向量表示不同类型的节点；将词向量表示的节点和表征向量作为输入，构建基于注意力机制的lstm网络，输出表征向量和各节点间的连接权重；根据表征向量、各类型节点和连接权重，构建微表情知识图谱。
25、具体的，创建三个节点，分别表示正面情感、负面情感和中性情感三种类别，为每个节点学习一个稠密向量作为其表示，采用词向量模型学习节点表示，使用词2向量或glove等模型，根据情感词汇训练，获得表示情感概念的词向量，构建包含三类情感词的大规模语料库作为训练数据，在语料训练的基础上，使用微表情数据集进一步微调节点向量的表达能力，最终每个节点向量表示其对应的情感类型的语义信息，维度表示与情感相关的隐性特征，节点向量作为后续模型的输入，用于学习微表情与不同情感的关系。
26、更具体地，根据微表情与典型情感的对应关系，如上扬眉毛表示正面情感，下垂嘴角表示负面情感等，编制微表情与情感类别的对应规律。构建标注了情感类别的微表情图像数据集，使用图像识别模型对微表情图像进行训练，学习面部表情和情感类别之间的对应关系。训练好的模型可以输入微表情图像，输出是正面情感概率，负面情感概率，根据概率值最大的情感类型给该微表情图像进行情感类别的划分。可以在文本等其他模态中标注对应的情感类型，与面部微表情图像进行联合训练，增强模型对微表情与情感类别对应关系的学习能力。可以引入识别面部肌肉动作的模型，辅助链接微表情肌肉变化和情感类型。可以通过记录微表情序列变化趋势来识别情感，如从微笑逐渐到悲伤可以判定为负面情感。
27、更具体地，词向量是用一个实数向量表示词的含义的技术，通过词向量技术可以获取每个词的稠密向量表示。在本技术中，分布式语义表示能力强，词向量基于大规模语料训练，可以表示词的语义信息。采用向量空间表示词之间的关系，可以计算词义之间的相似度。词向量是稠密向量，维度固定，便于后续网络处理。词向量可融入神经网络进行端到端的训练，进行知识图谱节点表示的微调优化。词向量技术成熟，可方便获得表示情感词汇的预训练词向量。
28、具体的，输入代表节点的词向量，以及代表微表情的表征向量。将词向量和表征向量拼接，输入到注意力机制的lstm中。lstm捕捉词向量和表征向量之间的时序关联特征。注意力机制分析不同节点对当前微表情的相关重要性。输出不同时间步的表征向量与各个节点词向量之间的连接权重。权重大小表示这一时刻该节点与当前微表情的相关程度。最后将不同时刻的连接权重综合，输出稳定的连接关系，构建知识图谱。重复该过程，逐步构建微表情与多种情感节点之间的联系。端到端训练注意力lstm模型，优化特征提取和连接权重预测。
29、具体的，使用词向量表示正面情感节点、负面情感节点和中性情感节点。使用注意力机制的lstm网络输出的节点间连接权重作为边的权重。将节点和加权边输入图数据库，形成知识图谱的网络结构。根据表征向量与节点间的连接权重，将表征向量映射到图中作为微表情实例，与相应情感节点关联。输入微表情的表征向量。在图谱中搜索节点，计算表征向量与每个情感节点向量之间的相似度。相似度计算可以采用向量余弦相似度、内积等方式。找到与表征向量相似度最高的top-k个情感节点。利用注意力lstm模型输出的表征向量与情感节点间的连接权重。在top-k相似节点中，选择连接权重数值最大的情感节点。连接权重最大意味着这个情感节点与当前微表情关联性最强。所以我们确定这个关联性最强的情感节点所表示的情感类别，是当前微表情表达的情感类型。最终输出该微表情对应的情感类型标签。通过训练样本不断完善图谱结构和连接权重的优化。基于构建的知识图谱，开展微表情理解、情感分析等图解析推理任务。
30、进一步的，基于注意力机制的lstm网络中，注意力机制采用缩放点积。构建微表情知识图谱，知识图谱采用neo4j构建。其中，缩放点积（scaled dot-product attention），是一种注意力机制，通过计算查询向量和键向量的点积与缩放因子的乘积，然后进行softmax归一化，得到的值作为注意力权重。在本技术中，lstm网络的输出作为查询向量q。情感节点的词向量作为键向量k。计算q和k的缩放点积得到权重值，表示节点对当前时刻重要性。softmax归一化权重值，获得当前时刻各节点的注意力权重。加权求和得到最终不同节点的连接权重。
31、其中，neo4j是一种图数据库，采用网络结构来存储数据，使用节点、关系来表示和存储数据。它是构建知识图谱的流行工具。在本技术中，在neo4j中创建节点，表示正负中三类情感。创建微表情表征向量节点，与情感节点产生联系。使用lstm网络输出的连接权重，创建加权的关系边。在neo4j图数据库中形成带权重的知识图谱网络。基于neo4j的查询语言cypher进行图解析、情感推理等。
32、进一步的，采用实体对齐算法，在同一特征空间内，利用语义约束将微表情知识图谱和生理参数进行特征对齐，构建多模态知识图谱，包括：获取微表情知识图谱和生理参数，生理参数包含心率和血压；通过节点嵌入模型提取微表情知识图谱节点的语义特征向量；通过lstm网络提取生理参数的时间序列特征；采用t分布式随机近邻嵌入算法将提取的语义特征向量和时间序列特征，映射到同一低纬空间；在映射的低纬空间内，采用知识图谱翻译模型，将微表情知识图谱的语义特征向量和生理参数的时间序列特征进行对齐，得到对齐后的多模态知识图谱。
33、具体的，已构建好的知识图谱，表示微表情与不同情感概念的联系。使用心率监测设备获取被试的实时心率数据。使用电子血压计获取被试的血压数据。在被试观看能够引发情绪反应的视频时，同步记录其微表情和生理数据。对采集的微表情图像进行表征向量提取。对生理数据进行滤波、去噪等预处理。将预处理后的生理参数数据，与微表情知识图谱进行时间对齐和关联。经关联的图谱数据和生理参数一同输入到后续的多模态情感分析模型中。
34、其中，节点嵌入模型是一种图神经网络，通过聚合邻居节点信息，学习将节点映射到低维向量空间的embedding运算，得到能表达节点语义信息的特征向量。节点的语义特征向量即节点嵌入模型学习得到的向量表示，它融合了节点在知识图谱网络结构中的语义信息，可用于下游任务。在本技术中，使用节点嵌入模型，取微表情知识图谱中的情感节点以及微表情节点作为输入，学习得到结合节点语义信息的特征向量，作为后续多模态情感分析的图谱输入。使用节点嵌入，可获得更具语义表达力的节点表示，并保留知识图谱的拓扑结构信息，有利于进行基于图谱的分析与推理。
35、其中，时间序列特征是指从时间序列数据中提取出的表示时间依赖关系的特征，反映数据随时间变化的模式。在本技术中，将采集的生理参数的时间序列数据进行编码和格式化处理，使其可输入到lstm中。构建lstm网络，输入层输入时间步的生理参数数据，输出层输出该时刻的特征向量。通过lstm的门控结构capture生理参数的时序依赖关系。网络训练学习提取生理参数时间序列的内在特征。对一个生理参数时间序列样本，lstm按时间步输出特征向量序列。对特征序列使用池化等操作获得一个固定长度的特征向量。该特征向量表示该样本生理参数的时间序列特征。lstm可以有效学习时间序列的数据内在规律，提取时序的重要特征。
36、其中，t-sne（t-distributed stochastic neighbor embedding）是一种非线性降维算法，可以将高维数据映射到低维空间，同时保留数据之间的距离关系。映射即使用算法计算将高维特征转换到低维空间的坐标变换过程。低纬空间是维度较低的表示空间，通常是2d或3d，便于可视化。在本技术中，将节点的语义特征向量和生理信号的时间序列特征作为高维输入。使用t-sne算法将二者映射到2d或3d低纬空间。映射后的特征可以进行可视化，并作为模型输入。t-sne能够保留数据之间的相对关系，不同模态特征在低维空间中的距离相关。
37、其中，知识图谱翻译模型它是一个跨模态的图神经网络模型，可以学习不同模态之间的语义映射关系，实现不同模态图谱的对齐。在本技术中，输入：微表情知识图谱的节点语义特征和生理信号时间序列特征。目标：学习二者之间的对齐关系，得到对齐后的多模态知识图谱。使用知识图谱翻译模型学习节点语义特征和时间序列特征之间的映射。对二者进行跨模态对齐，得到融合了两种特征的对齐后多模态知识图谱。
38、具体的，输入微表情知识图谱的节点语义特征向量和生理参数时间序列特征向量。利用t-sne算法将二者特征向量映射到同一低维空间。在低维空间构建两个子图，分别与两个特征向量对应。训练知识图谱翻译模型，以节点语义特征子图为源图，时间序列特征子图为目标图。模型学习源图和目标图节点之间的对齐映射关系。根据学习到的映射关系，将两个子图中的对应节点融合，形成新的对齐节点。使用融合节点构建新的知识图谱，形成对齐后的多模态知识图谱。新图中每个节点向量包含了语义特征和时间序列特征。边连接关系融合了两种特征的拓扑结构信息。最终得到融合微表情和生理参数两模态知识的对齐图谱。
39、进一步的，节点嵌入模型采用translational embedding模型。其中，translational embedding模型是一种图神经网络模型，可以学习节点的向量表示，使得连接的节点对的嵌入向量之差接近它们之间的关系的向量。在本技术中，输入微表情知识图谱的网络结构。采用translational embedding模型，学习图中的节点语义嵌入表示。模型目标是连接的节点嵌入向量之差要接近边的关系类型的向量。这样可以学到结合拓扑结构的节点语义表达。最后输出节点嵌入向量作为语义特征，进行后续的图对齐。可以直接对图结构进行建模，无需独立训练词向量，并可学习语义结构知识。
40、进一步的，知识图谱翻译模型采用transr模型。其中，transr是一种知识图embedding模型，它引入关系向量来投影实体的嵌入向量到关系对应的空间中，从而学习到实体和关系的语义信息。在本技术中，输入两种模态的知识图谱网络结构。采用transr模型进行实体和关系的嵌入学习。模型通过投影来映射不同模态实体之间的对应。学习到跨模态的实体和关系表达。最终输出对齐后的多模态知识图谱网络。transr可以建模复杂的关系结构，并学习跨模态的语义映射，因此非常适合进行知识图谱对齐。
41、进一步的，t-sne映射后的维度为2到64。具体的，t-sne算法可以将高维数据映射到低维空间，便于可视化。映射后的低维空间维度通常设置为2维或3维，以进行可视化。但仅有2-3维无法获得足够表达能力。考虑到可视化和表达能力的兼顾，本方案将t-sne映射的目标维度设置为2-64维。2维用于最终的可视化呈现。64维用于保留较充分的特征表达能力。setting目标维度的上下限为2到64。中间可选择具体的目标维度，如16维或32维。根据数据规模和特征复杂度具体设置。
42、3.有益效果
43、相比于现有技术，本技术的优点在于：
44、采用多模态数据，包括用户数据和环境数据，充分考虑了用户在不同情感状态下的多样表达，以及环境因素对微表情的影响，从而提高了微表情识别的全面性和鲁棒性；
45、通过卷积神经网络提取微表情图像序列的空间特征，结合循环神经网络获取时间特征，以及注意力机制的运用，有效地捕捉了微表情的语义信息，提高了表征向量的丰富度和表达能力；
46、通过构建微表情知识图谱，将微表情的语义信息与情感类别关联起来，为微表情识别提供了有效的参考和约束，提高了识别准确性和可解释性；
47、采用了缩放点积作为注意力机制的一部分，有效地提高了模型对微表情序列中重要时间步的关注程度，从而提高了识别性能；
48、通过实体对齐算法，将微表情知识图谱与生理参数进行特征对齐，充分利用了多模态信息，提高了微表情识别的综合性能和适用性；
49、选用了translational embedding模型进行节点嵌入，有效地将微表情知识图谱中的节点信息映射到低维空间，提高了信息处理效率和模型的可解释性；
50、采用了transr模型进行知识图谱翻译，实现了微表情知识图谱与生理参数之间的关联和对齐，为多模态信息融合提供了可靠的技术支持；
51、利用t-sne映射将高维数据映射到低维空间，保留了数据的局部结构和特征，为数据可视化和分析提供了有力工具；
1.一种基于多模态融合的微表情识别方法，包括：
2.根据权利要求1所述的基于多模态融合的微表情识别方法，其特征在于：
3.根据权利要求2所述的基于多模态融合的微表情识别方法，其特征在于：
4.根据权利要求3所述的基于多模态融合的微表情识别方法，其特征在于：
5.根据权利要求1至4所述的基于多模态融合的微表情识别方法，其特征在于：
6.根据权利要求5所述的基于多模态融合的微表情识别方法，其特征在于：
7.根据权利要求6所述的基于多模态融合的微表情识别方法，其特征在于：
8.根据权利要求7所述的基于多模态融合的微表情识别方法，其特征在于：
9.根据权利要求8所述的基于多模态融合的微表情识别方法，其特征在于：
10.根据权利要求9所述的基于多模态融合的微表情识别方法，其特征在于：
