本发明涉及脑机交互技术领域，具体涉及一种基于n170的情绪识别方法及识别系统。
背景技术：
人的大脑是一个高度复杂信息处理系统，它由数十亿的神经元通过相互连接来进行信息交流，以整体协调方式来完成各种各样的认知任务。在人类进化过程中，科学家发现，当人的大脑在进行思维活动、产生意识或受到外界的刺激(如视觉、听觉等)时，伴随其神经系统运行的会有一系列电活动，从而产生脑电信号。脑机接口技术形成于上世纪70年代，经过近半个世纪的发展，如今已能实时捕捉大脑复杂的神经信号，并用来绕过大脑外围神经细胞直接控制外部设备，使得人和计算机之间可以直接传递信息。脑机接口技术就是通过采集大脑皮层神经系统活动产生的脑电信号，经过放大、滤波等方法，将其转化为可以被计算机识别的信号，从中辨别人的真实意图。其核心技术主要包括信号采集技术、信号处理技术、人机高效协同技术等。就是说，人脑想执行某个操作，不需要通过肢体动作，通过脑机接口技术，即可让外部设备读懂大脑神经信号，并将思维活动转换为指令信号，来实现人脑思维的操控。
人们普遍认为情绪是对内部和外部环境的主观感觉，以及某种生理反应。如果人们长时间不能正确处理因心理或身体损害而引起的情绪波动，则可能会患有焦虑症和抑郁症等心理障碍。如今，不断困扰着社会的精神疾病已经是一个严重的问题。因此，预防和治疗此类疾病的措施已经是至关重要的项目。最近，神经科学的迅速发展促进了脑机接口(bci)的改进，使得人们可以绕过普通外围神经通路与外部设备直接通信。bci中的情感神经科学和情绪分类领域的研究对于情绪监测和康复治疗领域具有重要的价值。
面部表情通常能体现人的情绪状态，因此经常被用于研究人的情绪，并在实验环境中针对情绪面孔的认知方面进行分类。n170是一种与情绪面孔刺激密切相关的erp成分。“n”代表负波(negative)，“170”是指该成分大约出现在刺激后的170ms左右。其更有可能产生在枕颞区域，并且受到面孔情绪的影响。因此，将n170成分用于情绪分类的研究对于情绪bci领域是有价值的。
目前在脑机接口领域，基于ssvep(steady-statusvisualevokedpotential，当人受到某一特定频率的刺激时，大脑会反映出与刺激相关的脑电信号)的脑机接口系统是一种较为常见的形式。清华大学高上凯教授的团队设计的基于ssvep的环境控制系统，测试至少能区分48个目标，并且实现了对周围电子设备的控制。p300事件相关电位也被用于脑机接口的控制中，p300是一种内源性的诱发成分，与ssvep一样，仅需很少的训练。在基于p300的打字系统，鼠标控制等得到广泛应用。另外，基于mi(运动想象，motorimagery)的bci研究也表现突出。mi指一种自发性脑电信号，研究表明，μ和β节律与人的运动有关。实际运动的时候可以检测到这两种节律，“想象”运动，运动感觉皮层区域区也会产生这两种节律。通过运动想象脑机接口还可以用于神经康复训练，中国专利cn107315478a公开了基于一种运动想象上肢智能康复机器人系统及其训练方法。
近年来，深度学习作为一种可用于从数据中自动提取特征以最大化类间可辩别性的技术而出现。在许多任务中，深度学习已经取得良好的效果，尤其是对图像和音频数据。这些成功大多归功于一种特定类型的深度学习模型，即卷积神经网络(cnn)。cnn是一种特殊的神经网络体系结构，它将具有局部感受野的神经元彼此堆叠产生简单和复杂神经元，以此来提取不同抽象级别的特征。机器学习在脑电信号识别中已经取得了不错的效果。然而，大多数传统的机器学习技术在分类前都需要进行特征提取。特征提取是由假设驱动的，需要领域专业知识，因此使用自动确定相关特征的机器学习算法可以节省时间和精力，并有可能利用那些被忽略或删除的特征。
技术实现要素：
为了解决上述问题，本发明提供一种基于n170的情绪识别方法及识别系统，该方法不仅能适用于不同的用户之间，而且还能实现更为快速的识别，保证在使用中的实时性。该方法能够实现正负情绪分类的功能，并且不需要人工对脑电信号进行单独的特征提取，只需要将预处理后的脑电数据直接送入分支卷积神经网络(bcnn)中进行自动特征提取并进行分类。通过引入反馈来对用户的情绪状态进行相应的调节。
一种基于n170的情绪识别系统，包括信号采集模块、信号处理模块、分支卷积神经网络bcnn模型训练模块、识别模块和反馈模块，所述信号采集模块用于采集用户的脑电数据；信号处理模块用于对采集的脑电数据进行预处理；分支卷积神经网络bcnn模型训练模块用于训练分支卷积神经网络bcnn模型；识别模块用于对实时采集的脑电数据进行分类，并根据分类结果识别用户当前的情绪状态；反馈模块根据用户当前的情绪状态进行相应的情绪调节动作。
进一步的，信号处理模块对采集的用户脑电数据进行预处理包括：坏道插值、平滑滤波、伪迹剔除、重参考、分段和基线矫正处理。
一种基于n170的情绪识别方法，包括离线训练阶段和在线识别阶段，包括以下步骤：
离线训练阶段：
s1、使用情绪面孔图片对用户进行刺激，使用户识别面孔情绪并产生n170，通过信号采集模块采集用户脑电数据，通过信号处理模块对采集的用户脑电数据进行预处理，得到预处理后的用户脑电数据，同时统计用户直接反馈的情绪面孔图片对应的面孔情绪识别结果；
s2、将预处理后的用户脑电数据和用户反馈的面孔情绪识别结果输入分支卷积神经网络bcnn模型进行训练，分支卷积神经网络bcnn模型输出用户脑电数据的分类，根据分类结果将脑电数据类别与情绪面孔图片一一对应，使脑电数据类别与情绪面孔图片产生固定的对应关系，当对应关系不再变化时，得到训练好的分支卷积神经网络bcnn模型。
在线识别阶段：
在用户进行面孔情绪识别时，实时采集用户脑电数据并通过信号处理模块进行预处理后，输入训练好的分支卷积神经网络bcnn模型，分支卷积神经网络bcnn模型对用户的脑电数据进行分类，输出脑电数据的分类结果，根据脑电数据的分类结果，从脑电数据类别与情绪面孔图片的固定对应关系中识别用户当前的情绪状态，反馈模块根据用户当前的情绪状态进行相应的情绪调节动作，若检测出用户当前情绪为负情绪，则通过反馈模块播放正情绪音乐进行相应的情绪调节。
进一步的，分支卷积神经网络bcnn模型的结构包括：输入层、时间卷积层、并行卷积分支层、全连接层和输出层。所述输入层用于输入预处理后的用户脑电数据；所述时间卷积层的卷积核个数为16个，大小为1×15；所述并行卷积分支层包括空间卷积分支和时间卷积分支，空间卷积分支对脑电信号进行空间上的卷积，时间卷积分支对脑电信号进行时间上的卷积；所述全连接层对两个并行卷积分支层的两个输出拉平拼接；所述输出层对提取到的特征进行分类并输出。
进一步的，所述空间卷积分支包括两个卷积层，第一个为深度卷积，卷积核大小为c×1，其中c为通道数，后面跟一个1×3的最大池化层；第二个为分离卷积，卷积核个数为32个，卷积核大小为1×10，后面跟一个1×3的最大池化层。
进一步的，所述时间卷积分支包含三个相同的块，每个块由一个深度卷积、一个普通卷积和一个最大池化层组成；深度卷积大小分别为：1×10,1×5和1×5；普通卷积的个数分别为16,32和32，大小分别为1×10,1×5和1×5，最大池化大小均为1×3。
进一步的，分支卷积神经网络bcnn模型中的处理过程包括：
s01、将预处理后的用户脑电数据通过输入层输入分支卷积神经网络bcnn模型中，首先通过时间卷积层的2d卷积滤波器捕获用户脑电数据的时间信息，得到特征图；具体地，在时间卷积层中，有16个2d卷积滤波器以捕获用户脑电数据的时间信息，2d卷积滤波器长度为15，特征图的输出个数为16，大小为60×111，其中包含不同的eeg带通频率。沿每个特征图维度，应用批归一化对数据进行归一化处理。激活函数是线性整流函数relu。为了防止过拟合，使用了dropout技术，dropout率设置为0.5。relu函数计算公式如下，
relu(x)＝max(0,x)
s02、时间卷积层输出的特征图经过空间卷积分支进行空间特征提取，得到eeg信号的空间特征向量；
在空间卷积分支中，深度卷积用于获取eeg信号的空间特征。为了获得一定数量的空间滤波器，将深度参数设置为2。空间卷积分支特征图的输出个数为32，大小为1×111。每个时间特征图后有两个空间滤波器，并提取eeg信号的空间特征。沿着每个特征图维度，应用批归一化。之后是1×3的最大池化，进行降采样，对特征进行降维、压缩，以去除冗余信息、简化网络复杂度、减小计算量、减小内存消耗。使用0.5的dropout。之后是可分离卷积，以提取eeg信号的空间特征。可分离卷积由深度卷积(大小为1×10)和紧跟其后的32个点卷积组成。特征图的输出个数为32个，大小为1×37。这样可以解耦特征图之内和之间的关系，然后将它们最佳地合并为输出。激活函数选择square。之后依次执行批归一化、最大池化层(大小为1×8)和dropout(dropout率为0.5)。在处，在最大池化后加入log激活函数。在拉平层之后，得到大小为1×384的空间特征向量。square和log激活函数分别如下，
square(x)＝x2
log(x)＝logx
s03、时间卷积层输出的特征图经过时间卷积分支进行时间特征提取，得到eeg信号的时间特征向量。
对于时间卷积分支，时间卷积分支设计为深度可分离卷积结构，深度可分离卷积结构基本结构是由深度卷积和2d卷积组成。深度卷积用于进一步获取eeg信号的时间特征。2d卷积应用卷积将结果与深度卷积的结果相加得到最终结果。深度可分离卷积极大地减少了计算量和模型尺寸。
时间卷积分支中包含三个相同的块，每个块包含一个深度可分离卷积结构，具体地，每个块包括一个深度卷积、一个普通卷积和一个最大池化层组成，下面将对时间卷积层的每个块进行详细说明：
第一个块，深度卷积的滤波器大小为1×10，深度参数设置为1。提取ee信号时间信息，即在每个通道上对特征图进行卷积，输出的特征图个数为16个，大小为60×111。激活函数为relu，后跟批归一化处理。经过16个大小为1×10的2d卷积，最终输出特征图个数为16个，大小为60×102。激活函数为relu，之后依次执行批归一化、最大池化(大小为1×2)和dropout(dropout率为0.5)。
第二个块，深度卷积的滤波器大小为1×5，深度参数设置为2。进一步提取ee信号时间信息，即在每个通道上对特征图进行卷积，输出的特征图个数为32个，大小为60×51。激活函数为relu，后跟批归一化处理。经过32个大小为1×5的2d卷积，最终输出特征图个数为32个，大小为60×47。激活函数为relu，之后依次执行批归一化、最大池化(大小为1×2)和dropout(dropout率为0.5)。
第三个块，深度卷积的滤波器大小为1×5，深度参数设置为1。进一步提取ee信号时间信息，即在每个通道上对特征图进行卷积，输出的特征图个数为32个，大小为60×23。激活函数为relu，后跟批归一化处理。经过32个大小为1×5的2d卷积，最终输出特征图个数为32个，大小为60×19。激活函数为relu，之后依次执行批归一化、最大池化(大小为1×2)和dropout(dropout率为0.5)。在拉平层之后，得到大小为1×17280的时间特征向量。
s04、将空间卷积分支和时间卷积分支得到的空间特征向量和时间特征向量进行拼接，得到大小为1×17664的eeg信号时间空间特征向量。
s05、将该eeg信号时间空间特征向量送入到一个有64个神经元的全连接层中，该全连接层后跟一个激活函数为simgoid的神经元，对特征向量进行重组并预测类别。simgoid函数计算公式如下，
进一步的，分支卷积神经网络bcnn模型的训练过程包括：
s21、网络进行权值初始化；
s22、输入数据经过输入层、中间层和输出层的向前传播得到输出值；
s23、求出网络的输出值与目标值之间的误差，本发明中bcnn模型采用交叉熵来计算误差，计算公式如下：
其中，loss表示网络的输出值与目标值之间的误差值，y为真实标签，
s24、比较：当误差大于期望阈值时，将误差传回网络中进行权值更新，得到更新后的bcnn模型，返回执行步骤s22；当误差等于或小于期望阈值时，结束训练，根据求得误差进行权值更新，得到训练好的分支卷积神经网络bcnn模型。
本发明的有益效果：
本发明的基于n170的情绪识别系统巧妙利用了经过多年自然进化的人脑的人脸识别功能，真正实现了人机接合的思想。这套面孔正负情绪识别系统与完全的人工观察用户相比，速度更快且更精确，能检测出用户潜在的情绪状态，因为图片出现后170ms处出现的快波成分比起人的肢体和语言系统出现更早更真实。
本发明的基于n170的情绪识别方法可以自动提取到被试间稳定的特征，并且有可能利用那些在进行人工特征提取时被忽略或删除的特征，因此所得到的模型可以适用于其他用户，可以更快的识别出用户当前的情绪状态，能够实现高可用性的脑机接口。本发明方法与传统的机器学习方法相比，不需要花费大量的时间和精力在特征提取上，以及不需要为每个新用户训练新模型。这种情绪面孔刺激下特异性波的分类方法巧妙利用了cnn能够按其阶层结构对输入信息进行平移不变分类的表征学习能力，其隐藏层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征进行学习、有稳定的效果且对数据没有额外的特征工程要求，真正实现了端到端的思想。
附图说明
下面结合附图和具体实施方式对本发明做进一步详细的说明。
图1为正负情绪面孔图片刺激下脑电信号erp的n170成分；
图2为本发明实施例中提供的一种基于正负情绪面孔刺激下n170的情绪识别方法及系统的结构示意图；
图3为本发明实施例中的情绪面孔刺激图片和数据采集实验范式流程；
图4为本发明实施例中提供的一种数据预处理流程示意图；
图5为本发明实施例中提供的一种分支卷积神经网络(bcnn)模型的结构图。
具体实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
本发明的原理基于情绪面孔刺激产生的特异性波，这里所说的脑电特异性成分就是n170认知成分。认知神经科学及电生理的大量研究发现，当给人受到情绪面孔的刺激时，只要人的认知系统是无损的，就可以通过脑电采集设备在人的枕颞部头皮上采集到特征明显的特异性脑电成分。这个成分出现在情绪面孔刺激后的170ms左右，表现为一个波幅较大的负峰值，且该峰值明显大于物体刺激，这个成分在脑电中称为n170成分，n表示负波(negtive)，170表示负波的峰值出现在刺激后170ms附近。图1显示了在正负情绪面孔图片的不同刺激下所诱发的脑电信号中n170成分的差异。综上，本发明所涉及的方法原理如下：在正、负情绪面孔的不同刺激下，用户会产生带有正、负情绪n170成分的脑电信号。采集用户产生的脑电信号数据，并通过对采集到的数据进行预处理，得到干净的脑电信号。基于卷积神经网络cnn可以进行自动特征提取和分类的特性，构建一个由9个卷积层和一个全连接层加上输入层和输出层组成的分支卷积神经网络(bcnn)模型来对预处理后的脑电信号进行识别，得到一个用户的正、负情绪识别预训练bcnn模型。bcnn模型在离线训练阶段进行训练，得到训练好的bcnn模型。训练好的bcnn模型用于在线识别系统，实时采集用户的脑电信号，并对所采集的脑电信号进行分类，以识别当前用户的情绪状态，并作出相应的反馈与调节。若检测出用户当前情绪较为沮丧，播放正情绪音乐，对其进行相应的情绪调节。
图2提供了一种基于n170成分的情绪识别方法及识别系统的示意图。一种基于n170的情绪识别系统，包括信号采集模块、信号处理模块、分支卷积神经网络bcnn模型训练模块、识别模块和反馈模块，
信号采集模块用于采集用户的脑电数据。以正负情绪面孔图片为刺激诱发用户的n170脑电信号，使用64导neuroscan导联系统采集用户脑电信号，采集后的脑电信号经过放大器放大。
所述信号采集模块包括刺激模块(情绪面孔图片)，刺激模块呈现的刺激会诱发用户引起事件相关电位。
所述信号采集模块包括可穿戴在人体头部的电极设备，该电极设备用于采集脑电信号。
进一步的，脑电信号采集的电极安放采用国际标准10-20系统，采样率为250hz。
信号处理模块用于对采集的脑电数据进行预处理，所述预处理包括对脑电信号进行坏道插值、平滑滤波、伪迹剔除、重参考、分段和基线矫正等处理。
图4示出了信号处理模块中进行数据处理的流程图，主要包括坏道插值、滤波、伪迹剔除、重参考、分段、基线矫正。
坏道插值：对于采集中出现问题的通道，采用插值的方法对其进行处理；
滤波：选用带通滤波0.1～45hz，去除线性趋势和高频噪声干扰。
伪迹剔除：通过ica剔除emg和eog伪迹，并通过阈值剔除其它噪声；
重参考：通过rest对数据进行重参考，以减少参考电极的影响；
分段：以情绪面孔图片刺激前50个采样点，到后125个采样点为一段，对数据进行分段(采样率为250hz)；
基线矫正：以刺激前200ms数据作为基线，消除基线漂移影响。
分支卷积神经网络bcnn模型训练模块用于训练分支卷积神经网络bcnn模型。通过预处理后的脑电信号对模型进行训练，得到适用于用户间的预训练模型。
识别模块用于对实时采集的脑电数据进行分类，并根据分类结果识别用户当前的情绪状态为正情绪还是负情绪。
所述识别模块中包括bcnn模块，用于对脑电数据进行分类处理。
反馈模块根据用户当前的情绪状态进行相应的情绪调节动作，实现实时地反馈。
本实施例的基于n170的情绪识别系统中，信号传输均采用udp的协议，以此来提高实时性。
在本实施例的一种基于n170的情绪识别方法中，在离线训练阶段和在线识别阶段进行脑电信号采集时，具体实施方式包括：基于python开发情绪面孔刺激范式，图3(a)为情绪面孔刺激图片，(b)为范式流程。在整个实验过程中，均显示灰色的固定十字。实验开始时，首先出现中央固定十字，提示用户准备开始实验，持续0.5s。用户注视中央十字，尽量不眨眼，并保持注意力集中。接下来屏幕上出现两种情绪面孔之一的刺激图片，持续0.5s。用户需快速对图片进行识别，并做出响应。如果出现正性，被试需使用右手食指按下键“1”；如果出现负性，则需使用右手中指按下键“2”。如果用户没有在最大允许的响应时间(1200ms)内做出及时的响应，则将出现下一个刺激图片。在此期间记录用户的反应数据并通过信号采集模块采集脑电数据。
一种基于n170的情绪识别方法，包括但不限于如下步骤：
离线训练阶段：
s1、使用情绪面孔图片对用户进行刺激，使用户识别面孔情绪并产生n170，通过信号采集模块采集用户脑电数据，通过信号处理模块对采集的用户脑电数据进行预处理，得到预处理后的用户脑电数据，同时统计用户直接反馈的情绪面孔图片对应的面孔情绪识别结果。
s2、将预处理后的用户脑电数据和用户反馈的面孔情绪识别结果输入分支卷积神经网络bcnn模型进行训练，分支卷积神经网络bcnn模型输出用户脑电数据的分类，根据分类结果将脑电数据类别与情绪面孔图片一一对应，使脑电数据类别与情绪面孔图片产生固定的对应关系，当对应关系不再变化时，得到训练好的分支卷积神经网络(bcnn)模型。
bcnn模型的训练过程分为两个阶段，第一个阶段是数据由低层次向高层次传播的阶段，即输入层到输出层，称为前向传播。另一个阶段是，当前向传播得到的结果与预期不相符时，将误差从高层次想低层次进行传播训练的阶段，及输出层到输入层，称为反向传播。训练过程为：
s21、网络进行权值初始化；
s22、输入数据经过输入层、中间层和输出层的向前传播得到输出值；
s23、求出网络的输出值与目标值之间的误差，本发明中bcnn模型采用交叉熵来计算误差，计算公式如下：
其中，loss表示网络的输出值与目标值之间的误差值，y为真实标签，
bcnn模型使用带有tensorflow后端的kerasapi实现。使用adam优化器优化bcnn模型，采用学习率衰减的方案，如果在10次迭代的验证集误差没有减少，那么学习率就减半。采用早停法以避免过拟合，并在验证集误差在20次迭代后未降低时通过停止训练来缩短计算时间。批量大小设置为128。
利用深度学习对预处理后的用户脑电数据进行情绪识别，训练适用于用户间的识别模型。本实施例中，分支卷积神经网络bcnn模型由两个并行卷积分支组成，分支卷积神经网络bcnn模型的具体结构及参数设置如下：
定义bcnn模型输入的eeg信号为
根据eeg信号的时间和空间特性，通过bcnn模型分别对时域和空域进行特征学习。在这种策略中，为了不混合时域和空域特征，卷积核是向量而不是矩阵。
在一个实施例中，分支卷积神经网络bcnn模型网络拓扑结构共包括9个卷积层，第一层为输入层，输入eeg信号x。第二层是时间卷积层，卷积核个数为16个，大小为1×15。在时间卷积层输出的基础上实现两个并行的卷积分支，分别是空间卷积分支和时间卷积分支，空间卷积分支对脑电信号进行空间上的卷积，时间卷积分支对脑电信号进行时间上的卷积。空间卷积分支，即卷积核在每个时间点分别延伸通过所有通道，对所有电极进行空间滤波。空间卷积分支包括两个卷积层，第一个为深度卷积，卷积核大小为c×1，其中c为通道数，后面跟一个1×3的最大池化层；第二个为分离卷积，卷积核个数为32个，卷积核大小为1×10，后面跟一个1×3的最大池化层。时间卷积分支包含三个相同的块，每个块由一个深度卷积、一个普通卷积和一个最大池化层组成。深度卷积大小分别为：1×10,1×5和1×5；普通卷积的个数分别为16,32和32，大小分别为1×10,1×5和1×5，最大池化大小均为1×3。由此，网络变得又深又宽。
表1分支卷积神经网络bcnn模型网络拓扑结构参数表
将两个并行的卷积分支(空间卷积分支层和时间卷积分支层)的输出拉平拼接，后接一个16个卷积核的全连接层，最后一层为输出层，输出层采用sigmoid函数作为激励函数，对提取到的特征进行分类并输出。对于空间卷积分支，在分离卷积之后使用square激活函数，在最大池化层后使用log激活函数。对于时间卷积分支，每个卷积层之后均使用relu激活函数；此外，在每一个卷积层之后使用批归一化和0.5的dropout来加速网络的训练和正则化。对网络中的每个层使用了具有正则化强度0.01的l2正则化。分支卷积神经网络(bcnn)结构如图5所示，结构细节如表1所示。
在线识别阶段：
在用户进行面孔情绪识别时，实时采集用户脑电数据并通过信号处理模块进行预处理后，输入训练好的分支卷积神经网络(bcnn)模型，分支卷积神经网络(bcnn)模型对用户的脑电数据进行分类，输出脑电数据的分类结果，根据脑电数据的分类结果，从脑电数据类别与情绪面孔图片的固定对应关系中识别用户当前的情绪状态，反馈模块根据用户当前的情绪状态进行相应的情绪调节动作，若检测出用户当前情绪为负情绪，则通过反馈模块播放正情绪音乐进行相应的情绪调节。
在一个实施例中，信号处理模块对采集的用户脑电数据进行预处理，得到预处理后的用户脑电数据，具体包括一下实施过程：信号处理模块对采集的用户脑电数据进行坏道插值、平滑滤波、伪迹剔除、重参考、分段和基线矫正处理，如图4所示，具体描述如下：
坏道插值：对于采集中出现问题的通道，采用插值的方法对其进行处理；
滤波：选用带通滤波0.1～45hz，去除线性趋势和高频噪声干扰。
伪迹剔除：通过ica剔除emg和eog伪迹，并通过阈值剔除其它噪声；
重参考：通过rest对数据进行重参考，以减少参考电极的影响；
分段：以情绪面孔图片刺激前50个采样点，到后125个采样点为一段，对数据进行分段(采样率为250hz)；
基线矫正：以刺激前200ms数据作为基线，消除基线漂移影响，最终得到预处理后的的用户脑电数据。
分支卷积神经网络bcnn模型对输入的用户脑电数据进行特征提取，并对提取的特征进行分类输出，根据分类结果判断用户的情绪状态。分支卷积神经网络bcnn模型中的处理过程包括：
s01、将预处理后的用户脑电数据通过输入层输入分支卷积神经网络bcnn模型中，首先通过时间卷积层捕获用户脑电数据的时间信息。具体地，在时间卷积层中，有16个2d卷积滤波器以捕获用户脑电数据的时间信息，2d卷积滤波器长度为15，输出特征图，特征图的输出个数为16，大小为60×111，输出的16个特征图中包含不同的eeg带通频率。沿每个特征图维度，应用批归一化，以对数据进行归一化处理。激活函数是线性整流函relu。为了防止过拟合，使用了dropout技术，dropout率设置为0.5。
relu函数计算公式如下，
relu(x)＝max(0,x)
s02、时间卷积层输出的特征图经过空间卷积分支进行空间特征提取，得到eeg信号的空间特征向量。对于空间卷积分支，该空间分支卷积包括深度卷积和分离卷积，深度卷积用于获取eeg信号的空间特征。为了获得一定数量的空间滤波器，将深度参数设置为2。空间卷积分支特征图的输出个数为32，大小为1×111。因此，每个时间特征图后有两个空间滤波器，并提取eeg信号的空间特征。沿着每个特征图维度，应用批归一化。之后是1×3的最大池化，进行降采样，对特征进行降维、压缩，以去除冗余信息、简化网络复杂度、减小计算量、减小内存消耗。使用0.5的dropout防止过拟合。
之后是可分离卷积。可分离卷积由深度卷积(大小为1×10)和紧跟其后的32个点卷积组成。可分离卷积特征图的输出个数为32个，大小为1×37。这样可以解耦特征图之内和之间的关系，然后将它们最佳地合并为输出。激活函数选择square。之后依次执行批归一化、最大池化层(大小为1×8)和dropout(dropout率为0.5)。在此处，在最大池化后加入log激活函数。在拉平层之后，得到大小为1×384的空间特征向量。square和log激活函数分别如下，
square(x)＝x2
log(x)＝logx
s03、时间卷积层输出的特征图经过时间卷积分支进行时间特征提取，得到eeg信号的时间特征向量。
对于时间卷积分支。时间分支卷积采用深度可分离卷积结构，深度可分离卷积基本结构是由深度卷积和2d卷积组成。其中，深度卷积用于进一步获取eeg信号的时间特征。2d卷积应用卷积将结果与深度卷积的结果相加得到最终结果。深度可分离卷积极大地减少了计算量和模型尺寸。
在一个优选实施例中，时间卷积分支包含三个相同的块，每个块包含一个深度可分离卷积结构，具体地，每个块包括一个深度卷积、一个普通卷积和一个最大池化层组成，下面将对时间卷积分支的每个块进行详细说明。
第一个块，深度卷积的滤波器大小为1×10，深度参数设置为1。在每个通道上对特征图进行卷积，输出的特征图个数为16个，大小为60×111。激活函数为relu，后跟批归一化处理。经过16个大小为1×10的2d卷积，最终输出特征图个数为16个，大小为60×102。激活函数为relu，之后依次执行批归一化、最大池化(大小为1×2)和dropout(dropout率为0.5)。
第二个块，深度卷积的滤波器大小为1×5，深度参数设置为2。在每个通道上对特征图进行卷积，输出的特征图个数为32个，大小为60×51。激活函数为relu，后跟批归一化处理。经过32个大小为1×5的2d卷积，最终输出特征图个数为32个，大小为60×47。激活函数为relu，之后依次执行批归一化、最大池化(大小为1×2)和dropout(dropout率为0.5)。
第三个块，深度卷积的滤波器大小为1×5，深度参数设置为1。在每个通道上对特征图进行卷积，输出的特征图个数为32个，大小为60×23。激活函数为relu，后跟批归一化处理。经过32个大小为1×5的2d卷积，最终输出特征图个数为32个，大小为60×19。激活函数为relu，之后依次执行批归一化、最大池化(大小为1×2)和dropout(dropout率为0.5)。在拉平层之后，得到大小为1×17280的时间特征向量。
s04、将时间卷积分支和空间卷积分支得到的时间特征向量和空间特征向量进行拼接，得到大小为1×17664的eeg信号时间空间特征向量。
s05、将该eeg信号时间空间特征向量送入到一个有64个神经元的全连接层中，该全连接层后跟一个激活函数为simgoid的神经元，对特征向量进行重组并预测类别。simgoid函数计算公式如下，
相比于传统的p300脑机接口，n170作为早期的脑电信号处理成分，由于n170这种脑电特异性波的特征比较稳定，识别效果高，能够实现高可用性的脑机接口，更有利于情绪脑机接口实时性研究。n170作为枕颞部位面孔识别时的较大的负波，现有的研究通常将n170用于区分面孔和非面孔的脑机接口研究，本发明将n170特异波成功用于情绪识别脑机接口。
本实施例中的基于n170的情绪识别系统是基于面孔情绪特异性波的分类系统，巧妙利用了经过多年自然进化的人脑的人脸识别功能，真正实现了人机接合的思想。这套面孔正负情绪识别系统与完全的人工观察用户相比速度更快且更精确，能检测出用户潜在的情绪状态，因为图片出现后170ms处出现的快波成分比起人的肢体和语言系统出现更早更真实。
本实施例中的基于n170的情绪识别方法可以对新被试实现快速有效的情绪识别，提高情绪识别的速度。通过本方法的跨被试识别能力，可以对新用户进行实时识别，可以提高情绪识别的速度同时也保持了较高的识别正确率。
本实施例中的基于n170的情绪识别方法可以自动提取到被试间稳定的特征，并且有可能利用那些在进行人工特征提取时被忽略或删除的特征，因此所得到的模型可以适用于其他用户，可以更快的识别出用户当前的情绪状态，能够实现高可用性的脑机接口。与传统的机器学习方法相比，本发明方法利用(cnn)可以自动提取特征并进行分类的特性，搭建分支神经网络模型(bcnn)，以实现用户间的情绪识别，不需要花费大量的时间和精力在特征提取上，可以提高bcnn模型的实时性。本发明的bcnn模型不需要为每个新用户训练新模型，提高模型泛化性能。此外，本发明方法利用在线模块反馈用户当前的情绪状态，并根据其当前状态通过播放音乐对用户进行相应的情绪调节。这种情绪面孔刺激下特异性波的分类方法巧妙利用了cnn能够按其阶层结构对输入信息进行平移不变分类的表征学习能力，其隐藏层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征进行学习、有稳定的效果且对数据没有额外的特征工程要求，真正实现了端到端的思想。
本发明的潜在应用是为思维正常但有运动功能障碍的人提供一种新的对外界环境进行交流与控制的途径，而不需要任何四肢及肌肉的配合与参与。同时还可以用于检测潜在情绪障碍患者，对情绪障碍患者的情绪调节以及对正常人的情绪进行调节。此外，本发明的潜在应用是为情绪bci系统的构建提供一种可靠、有效，并且可以适用于用户间的方法，与传统的机器学习方法相比，该方法不需要花费大量的时间和精力在特征提取上，以及不需要为每个新用户训练新模型。这种情绪面孔刺激下特异性波的分类方法巧妙利用了cnn能够按其阶层结构对输入信息进行平移不变分类的表征学习能力，其隐藏层内的卷积核参数共享和层间连接的稀疏性使得卷积神经网络能够以较小的计算量对格点化特征进行学习、有稳定的效果且对数据没有额外的特征工程要求，真正实现了端到端的思想。
当介绍本申请的各种实施例时，冠词“一”、“一个”、“这个”和“所述”都意图表示有一个或多个元件。词语“包括”、“包含”和“具有”都是包括性的并意味着除了列出的元件之外，还可以有其它元件。
需要说明的是，本领域普通技术人员可以理解实现上述方法实施例中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-0nlymemory，rom)或随机存储记忆体(randomaccessmemory，ram)等。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述得比较简单，相关之处参见方法实施例的部分说明即可。以上所描述的系统实施例仅仅是示意性的，其中所述作为分离部件说明的单元及模块可以是或者也可以不是物理上分开的。另外，还可以根据实际的需要选择其中的部分或者全部单元和模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
以上所述仅是本申请的具体实施方式，应当指出，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。
1.一种基于n170的情绪识别系统，包括信号采集模块、信号处理模块、分支卷积神经网络bcnn模型训练模块、识别模块和反馈模块，其特征在于，
所述信号采集模块用于采集用户的脑电数据；
信号处理模块用于对采集的脑电数据进行预处理；
分支卷积神经网络bcnn模型训练模块用于训练分支卷积神经网络bcnn模型；
识别模块用于对实时采集的脑电数据进行分类，并根据分类结果识别用户当前的情绪状态；
反馈模块根据用户当前的情绪状态进行相应的情绪调节动作。
2.根据权利要求1所述的一种基于n170的情绪识别系统，其特征在于，信号处理模块对采集的用户脑电数据进行预处理包括：坏道插值、平滑滤波、伪迹剔除、重参考、分段和基线矫正处理。
3.一种基于n170的情绪识别方法，包括离线训练阶段和在线识别阶段，其特征在于，包括以下步骤：
离线训练阶段：
s1、使用情绪面孔图片对用户进行刺激，使用户识别面孔情绪并产生n170，通过信号采集模块采集用户脑电数据，通过信号处理模块对采集的用户脑电数据进行预处理，得到预处理后的用户脑电数据，同时统计用户直接反馈的情绪面孔图片对应的面孔情绪识别结果；
s2、将预处理后的用户脑电数据和用户反馈的面孔情绪识别结果输入分支卷积神经网络bcnn模型进行训练，分支卷积神经网络bcnn模型输出用户脑电数据的分类，根据分类结果将脑电数据类别与情绪面孔图片一一对应，使脑电数据类别与情绪面孔图片产生固定的对应关系，当对应关系不再变化时，得到训练好的分支卷积神经网络bcnn模型；
在线识别阶段：
在用户进行面孔情绪识别时，实时采集用户脑电数据并通过信号处理模块进行预处理后，输入训练好的分支卷积神经网络bcnn模型，分支卷积神经网络bcnn模型对用户的脑电数据进行分类，输出脑电数据的分类结果，根据脑电数据的分类结果，从脑电数据类别与情绪面孔图片的固定对应关系中识别用户当前的情绪状态，反馈模块根据用户当前的情绪状态进行相应的情绪调节动作，若检测出用户当前情绪为负情绪，则通过反馈模块播放正情绪音乐进行相应的情绪调节。
4.根据权利要求3所述的一种基于n170的情绪识别方法，其特征在于，分支卷积神经网络bcnn模型的结构包括：输入层、时间卷积层、并行卷积分支层、全连接层和输出层；
所述输入层用于输入预处理后的用户脑电数据；
所述时间卷积层的卷积核个数为16个，大小为1×15；
所述并行卷积分支层包括空间卷积分支和时间卷积分支，空间卷积分支对脑电信号进行空间上的卷积，时间卷积分支对脑电信号进行时间上的卷积；
所述全连接层对两个并行卷积分支层的两个输出拉平拼接；
所述输出层对提取到的特征进行分类并输出。
5.根据权利要求4所述的一种基于n170的情绪识别方法，其特征在于，所述空间卷积分支包括两个卷积层，第一个为深度卷积，卷积核大小为c×1，其中c为通道数，后面跟一个1×3的最大池化层；第二个为分离卷积，卷积核个数为32个，卷积核大小为1×10，后面跟一个1×3的最大池化层。
6.根据权利要求4所述的一种基于n170的情绪识别方法，其特征在于，所述时间卷积分支包含三个相同的块，每个块由深度卷积、普通卷积和最大池化层组成；深度卷积大小分别为：1×10,1×5和1×5；普通卷积的个数分别为16,32和32，大小分别为1×10,1×5和1×5，最大池化大小均为1×3。
7.根据权利要求3所述的一种基于n170的情绪识别方法，其特征在于，分支卷积神经网络bcnn模型中的处理过程包括：
s01、将预处理后的用户脑电数据通过输入层输入分支卷积神经网络bcnn模型中，首先通过时间卷积层的2d卷积滤波器捕获用户脑电数据的时间信息，得到特征图；
s02、时间卷积层输出的特征图经过空间卷积分支进行空间特征提取，得到eeg信号的空间特征向量；
s03、时间卷积层输出的特征图经过时间卷积分支进行时间特征提取，得到eeg信号的时间特征向量；
s04、将空间卷积分支和时间卷积分支得到的空间特征向量和时间特征向量进行拼接，得到eeg信号时间空间特征向量；
s05、将该eeg信号时间空间特征向量送入到全连接层中，该全连接层后跟一个激活函数为simgoid的神经元，对eeg信号时间空间特征向量进行重组并预测类别。
8.根据权利要求3所述的一种基于n170的情绪识别方法，其特征在于，分支卷积神经网络bcnn模型的训练过程包括：
s21、网络进行权值初始化；
s22、输入数据经过输入层、中间层和输出层的向前传播得到输出值；
s23、求出网络的输出值与目标值之间的误差，bcnn模型采用交叉熵来计算误差，计算公式如下：
其中，loss表示网络的输出值与目标值之间的误差值，y为真实标签，
s24、比较：当误差大于期望阈值时，将误差传回网络中进行权值更新，得到更新后的bcnn模型，返回执行步骤s22；当误差等于或小于期望阈值时，结束训练，根据求得误差进行权值更新，得到训练好的分支卷积神经网络bcnn模型。
技术总结