本发明涉及脑科学与认知科学，特别涉及一种使用多模态运动想象技术实现虚拟鼠标的方法。
背景技术：
1、脑机接口(brain computer interface,bci)是搭建在人与机器之间的交互系统通常脑机接口的信号采集可以分为非侵入式，半侵入式以及侵入式三种。其中，非侵入式因为其不对人体造成伤害而有可能在未来最早地被应用于现实生活。按照脑电信号是否由外界刺激引起，可以将脑机接口技术分为诱发式与自发式。常见的诱发式脑机接口技术有稳态视觉电位(steady-state visual evoked potential,ssvep)与事件相关电位(eventrelated potential，erp)等。ssvep主要是当被试注视以固定频率进行黑白闪烁的视觉刺激时，其脑电被诱发相应频率的谐波信号，从而判别被试意图的方法。erp属于长潜伏期诱发电位，主要反映认知过程中大脑的神经电生理变化。经典的erp根据潜伏期可将主要成分分为p1、n1、p2、n2、p3,p或n代表正向或负向，1、2或3分别代表波峰在视觉刺激后约100ms、200ms或300ms出现。最经典的应用就是1988年由farewell和donchin等人提出的p300speller,其刺激范式主要由靶刺激与非靶刺激随机闪烁构成。当概率较小的靶刺激出现后大约300ms,在被试的脑电中能够观察到一个正向波峰，称为p300信号，通过检测该信号，可以判别被试意图。诱发式脑机接口技术通常受限于刺激范式，除此之外，不论是ssvep还是erp都需要长时间对被试的眼睛进行闪烁刺激，很容易造成视觉疲劳，也不符合人类的操作习惯。因此该专利中主要采用了自发式脑机接口技术，运动想象(motor imagery,mi)。
2、mi技术不依赖于外界刺激，是一种内源性自发脑电信号。只需要被试想象进行特定运动任务，而不需要被试进行实际运动即可在不同脑区检测出特异性的波形，从而判别被试意图。当被试在想象身体某个肢体运动时，就会引起大脑感觉运动皮层不同节律(感觉运动节律,sensorimotor rhythms,smrs)的变化。不同的肢体部位的运动想象引起的smrs具有不同的时空分布特性，其eeg(electroencephalogram,脑电波)具有较高的可区分性因此可以通过模式识别方法，解码eeg中的mi模式，并将其转化为控制指令，从而实现对外部设备的操控。但是mi技术受限于其可分类数量，目前可以实现较好分类的有双手、双脚及舌头，也就是说，一次分类只能输出5种类别，难以直接输出更多的指令来实现较复杂的任务。诱发式脑机接口技术之所以可以实现更多数量的目标识别是通过将多任务排布在显示器上实现的。而自发式脑机接口更灵活，更符合人的操作习惯。由此引发了我们对如何在mi有限的输出类别和任务排布之间搭建起转化桥梁的思考。
3、脑磁图(meg)，它在源深度和电导率敏感性方面具有互补的信息，但也有径向/切向偶极子检测。虽然先前的研究已经证明了基于脑磁图活动的bc和神经反馈的可行性，但与脑电图(eeg)信号结合的潜在好处尚未得到充分的探索。基于光泵磁强计的便携式磁强传感器的发展，这种集成可能会产生实际的影响。为了解决这一知识缺口，我们考虑了一组健康受试者在基于mi的脑机接口任务中同时记录高密度脑电图和脑磁图信号。
4、眼动仪是心理学基础研究的重要仪器，通常用于记录人在处理视觉信息时的眼动轨迹特征，广泛用于注意、视知觉、阅读等领域的研究。目前许多笔记本电脑开始搭载眼动仪作为卖点，例如alienware 17r5搭载了tobii的眼动仪。但是因为其只能追踪人眼视觉的注视轨迹，而不具备确认等功能，在日常生活中的实际用途十分有限，通常用于游戏，或者专业性的心理学分析。
5、目前传统的结合眼动仪与异步运动想象技术实现虚拟鼠标的方法，仍然存在许多问题，如操作反馈准确率较低、鼠标定位不精确、去抖动算法较为复杂且操作过于单一。
6、针对上述问题，本方案提出多种优化办法。首先，通过使用多模态运动想象技术提高操作反馈的准确率；然后，保证了系统较高的响应速度，虽然引入多个行为的分类器，但并没有使用非常复杂模型；其次，使用基于三角增量法的最小圆覆盖算法替代常规去抖动算法，解决了鼠标定位不准确和算法时间复杂度高的问题；最后，用多分类器区分更多行为模式，并将六种操作逻辑与行为模式关联，远程实现如点击鼠标左右键，上下滚轮功能，软键盘开关功能。
技术实现思路
1、本发明的目的在于解决基于眼动仪和脑电运动想象技术的操作反馈准确率较低、鼠标定位不精确和操作过于单一的问题。
2、为了实现上述目的本发明采用以下技术手段：
3、本发明提供了一种使用多模态运动想象技术实现电脑操控的方法，包括如下步骤：
4、步骤s1、使用多模态信号采集设备来记录运动想象信号；
5、步骤s2、利用算法对提取的eeg、mag和grad多模态信号进行预处理和特征提取；
6、步骤s3、构建分类器，使用基于加权平均的贝叶斯融合方法，将更高的权重分配给对数据进行最佳分类的模式；
7、步骤s4、利用分类结果，将运动想象信号关联到点击鼠标左右键，上下滚轮功能，软键盘开关功能上，结合眼动仪实现远程操控计算机。
8、上述技术方案中，s1具体步骤如下，
9、s11：使用多模态设备是指，在基于运动想象mi的任务中同时记录高密度脑电图和脑磁图信号，使用74个脑电通道系统和f1ekta neuromag triux机器分别同时记录脑电图和脑磁图数据，头皮上电极位置遵循10-10蒙太奇标准，参考电极位于左肩胛骨；
10、s12：同时考虑脑电图和脑磁图的活动，其中脑磁图由磁强计和梯度仪信号组成。
11、上述技术方案中，s2具体步骤如下，
12、s21：定位eeg、mag和grad信号电极，剔除无用电极；
13、s22：对脑电图原始信号依次进行滤波、分段、降噪和去伪影操作；
14、s22：对脑磁图原始信号使用maxfilter进行时域信号空间分离，去除环境噪声；
15、s22：脑磁图所有信号下行采样至250hz，并将其分割成与目标周期相对应的5秒周期；
16、s23：专家目视检查脑磁图去除伪影，为更好的模拟在线场景，不采用其他的伪影去除算法，验证之后，保留所有可用的频带；
17、s24：使用离散扁球体序列作为正交窗函数，实现多窗口频率变换方法，对频谱进行平滑操作，该算法使用fieldtrip工具箱实现；
18、s25：对采集的每个信号周期，eeg、mag和grad功率谱提取对应的特征矩阵mi，eeg、mag和grad提取mi的维数分别为74×36、102×36和204×36；
19、s26：采用特征提取算法从矩阵mi中提取最相关的特征，关注对侧运动区域的传感信号，eeg、mag和grad的特征矩阵大小分别为11×36、15×36和30×36，然后，在mi的动态谱图和静息谱图之间进行非参数的基于聚类的排列t检验，修正并剔除低质量信号，降低错误率，为此，设置统计检验阈值p＜0.05，多次比较修正错误；
20、最终在标准频段b＝θ(4-7hz)，α(8-13hz)，β(14-29hz)，γ(30-40hz)内提取出了nf个最具判别性的特征如下：
21、
22、其中ζi，b代表特征向量，nf＝1...10，特征维度选择10为最大限制，符合蒙太奇标准，是选择的第i个特征，特征是由每个模态每个频带的信号计算后选择出。
23、上述技术方案中，s3具体步骤如下，
24、s31：特征提取后，对所采集的eeg信号、mag磁强计信号和grad梯度仪信号分别训练分类器，通过五倍交叉验证的线性判别分析方法lda算法对每个模态信号的运动想象mi训练分类器，得到三组分类器以投票的形式得到最终分类结果为左手、右手、双手抓握、双手张开、双腿张开和双腿合并或者空闲状态中的一种；
25、在lda算法中，存在n个类，样本总数为m，样本中第i类示例集合为xi，其所对应的类别样本数为mi，定义全局散度矩阵st如下：
26、
27、其中μ表示所以样本的均值向量，sw为类内散度矩阵sb为类间散度矩阵；
28、类内散度矩阵sw表示为：
29、
30、sw定义为了每个类别的散度矩阵之和，其中μi表示类别i的均值向量，由上可得sb的表达式，即：
31、
32、优化目标函数j：
33、其中w∈rd×(n-1)，tr(.)表示矩阵的迹；
34、求解问题时，令上式tr(wtsww)＝1，然后使用拉格朗日乘子法即可，其中j越大，就越符合lda的目标，公式中w和wt分别是投影矩阵和转置；
35、s32：使用贝叶斯融合法整合来自不同模态的信息，得到每个分类器的分类概率，随后得到行为分类结果；
36、采用了基于加权平均的贝叶斯融合方法整合来自不同模态的信息，线性组合后验概率pi，pi由每个模态i的分类获得，以参数λi加权，公式表示如下：
37、
38、其中peeg、pmag、pgrar分别表示使用eeg、mag和grad信号得到的分类概率，得到多模态分类结果为：
39、
40、其中pi由每个模态i的分类获得，p为多模态融合分类概率；
41、将更高的权重分配给对数据进行最佳分类的模式，实现多模态的运动想象技术，大幅提高了运动想象行为分类的准确率。
42、上述技术方案中，s4具体步骤如下，
43、s41：在线提取眼动仪当前时段坐标序列，序列持续时间设置为1秒；
44、s42：对当前1秒内坐标序列使用三角增量法求最小圆覆盖，最小圆的圆心设定为虚拟光标位置，使用python的pynput工具包控制光标移动；
45、s42：通过分类器的分类结果，得到运动想象的连续行为序列；
46、s43：基于运动想象行为与具体键鼠操作的关联，实现电脑常用功能。
47、上述技术方案中，具体键鼠操作的关联是指包括想象左手握拳对应点击鼠标左键；想象右手握拳对应点击鼠标右键；想象双手握拳对应向上滚动滚轮；想象双手张开对应向下滚动滚轮；想象双脚张开对应打开软键盘；想象双脚合并对应关闭软键盘。
48、因为本发明采用上述技术手段，因此具备以下有益效果：
49、一、通过优化运动想象行为分类模型，提高操作反馈准确率。上述融合方法利用eeg和meg的互补性，更好地识别erd机制。
50、在所有频段，模态类型显著影响auc值(方差分析p＜10-3)，而特征数量没有显著影响(p>0.05)。融合算法获得的auc值显著高于其他任何模式，tukey kramer方差事后检验得到p＜0.016。结果显示在α-和β-波段获得了最好的auc，本例中融合后的auc值明显高于eeg、mag和grad分别获得的auc，如果将融合效果与最佳单一模态的效果进行比较，平均改善幅度为12.8％；
51、二、保证系统较高的响应速度，经检验平均响应延迟22ms。虽然引入多个行为的分类器，但并没有使用非常复杂模型，使时间复杂度保持较低水平，保证了算法较高的响应速度；
52、三、优化鼠标定位算法，提高系统鲁棒性，解决鼠标定位不准确问题。使用三角增量法求解当前时段内最小圆覆盖，实现光标去抖动，防止用户光标误触。
53、四、由于脑磁场在头皮外的强度介于10-100ft量级，约为地球磁场的亿分之一，因此对脑磁探测设备要求非常高，必须要求其同时具有较好的时间分辨率和空间分辨率。在探测mag和grad时使用的elekta neuromag triux，其中包含脑磁屏蔽箱和低温超导系统，可以高精度采集全头脑磁信号，其中grad信号由204个梯度计测得。
54、引入切向分量grad用于表征mi特征，这不仅提高了信号的空间分辨率，也便于寻找最具判别性特征，更好的抽取mi分类器的高维表征如三维空间特征。
55、处理grad信号时使用了梯度对齐技术，在特征值多重性和特征向量的符号不确定性的情况下，由于特征向量顺序不同，分别计算两个或多个数据集(例如，左脑区和右脑区)的梯度可能不能直接比较。梯度对齐可以提高相似性和对应性，进而提高模型分类精度。
56、可以使用procrustes分析或通过联合嵌入隐式地对齐梯度。需要注意的是如果流形空间有很大的不同，那么对齐可能无法提供合理的输出，这时算法的注意力会偏向eeg和mag，达到纠偏的效果。
57、五、结合多种操作，使得该技术更人性。其中包括：点击鼠标左右键，上下滚轮功能，软键盘开关功能；
58、六、使用多模态的信号特征，分类器可以实现对更多行为模式(例如双手、双脚)进行区别和分类。
59、七、更全面利用人脑信号，开扩多模态应用的新方向。eeg信号由于人体介质、环境等原因，易出现信号干扰，信号噪声等问题。而meg有更高的空间分辨率，电磁场测量不受介质的影响，此外还可以对电流源的方向、位置、强度进行三维空间定位，这方面有取代侵入性检查的趋势。
1.一种使用多模态运动想象技术实现电脑操控的方法,其特征在于,包括如下步骤:
2.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，s1具体步骤如下，
3.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，s2具体步骤如下，
4.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，s3具体步骤如下，
5.根据权利要求1所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，s4具体步骤如下，
6.根据权利要求5所述的一种使用多模态运动想象技术实现电脑操控的方法，其特征在于，具体键鼠操作的关联是指包括想象左手握拳对应点击鼠标左键；想象右手握拳对应点击鼠标右键；想象双手握拳对应向上滚动滚轮；想象双手张开对应向下滚动滚轮；想象双脚张开对应打开软键盘；想象双脚合并对应关闭软键盘。
