本技术涉及脑机接口,特别是涉及一种基于脑机接口的操作指令确定方法、装置、脑机接口系统、计算机设备、存储介质和计算机程序产品。
背景技术:
1、随着脑机接口技术的发展,出现了基于脑机接口系统的人机交互方式。基于视觉刺激的脑机接口系统一般包括刺激显示装置和采集处理装置。刺激显示装置可以按照一定的编码,闪烁显示多个视觉刺激对象,各视觉刺激对象与操作指令(如字符输入操作、点击操作、移动操作等指令)对应。当用户注视视觉刺激对象时,将产生该视觉刺激对象对应的脑电信号。通过对用户的脑电信号进行解析,可以识别出用户注视的目标视觉刺激对象。进而脑机接口系统可以向外部设备发送该目标视觉刺激对象对应的操作指令,使其执行相应操作,实现人机交互。
2、然而,相关技术中,一个脑机接口系统包括一个刺激显示装置和一个采集处理装置。当同一空间内有多个人需要使用脑机接口外部设备(例如,脑机接口鼠标和脑机接口键盘)时,需要准备多个脑机接口系统,需要准备多个视觉刺激装置。因此,在多用户需要使用时,相关的脑机接口方法需要的硬件资源多。
技术实现思路
1、基于此,有必要针对上述技术问题,提供一种能够在多用户需要使用时减少需要的硬件资源的基于脑机接口的操作指令确定方法、装置、脑机接口系统、计算机设备、计算机可读存储介质和计算机程序产品。
2、第一方面,本技术提供了一种基于脑机接口的操作指令确定方法。所述方法应用于脑机接口系统的采集处理装置,所述脑机接口系统包括刺激显示装置和采集处理装置,所述方法包括:
3、响应于预设触发条件,获取目标刺激显示装置的编码信息和其它刺激显示装置的其它编码信息;
4、根据所述其它编码信息与所述目标刺激显示装置的编码信息进行匹配处理,得到匹配结果;
5、在所述匹配结果表示存在编码冲突的情况下,将所述目标刺激显示装置的编码信息更新为目标编码信息;所述目标刺激显示装置基于所述目标编码信息显示各操作指令对应的视觉刺激对象;所述目标编码信息和所述其它编码信息完全一致或完全不一致;
6、采集用户的脑电信号,并基于采集到的所述脑电信号和所述目标编码信息,确定所述用户注视的目标视觉刺激对象,并将所述目标视觉刺激对象对应的操作指令确定为目标操作指令。
7、在其中一个实施例中,所述根据所述其它编码信息与所述目标刺激显示装置的编码信息进行匹配处理,得到匹配结果,包括:
8、获取所述目标刺激显示装置的位置信息和所述其它刺激显示装置的其它位置信息;
9、根据所述其它位置信息和所述目标刺激显示装置的位置信息,确定所述其它刺激显示装置与所述目标刺激显示装置的距离,并将距离满足预设条件的其它刺激显示装置确定为目标其它刺激显示装置;
10、将所述目标其它刺激显示装置的其它编码信息与目标刺激显示装置的编码信息进行匹配,得到匹配结果。
11、在其中一个实施例中,所述基于采集到的所述脑电信号和所述目标编码信息,确定所述用户注视的目标视觉刺激对象,包括:
12、从采集到的所述脑电信号中,获取多个时间窗内的局部脑电信号;其中,每个时间窗的结束时间相同,以及每个时间窗的长度不同,相邻两个时间窗的长度差满足预设条件;
13、对各所述局部脑电信号进行解析处理,得到各所述局部脑电信号对应的初始视觉刺激对象,并在各所述初始视觉刺激对象均相同的情况下,将所述初始视觉刺激对象确定为所述用户注视的目标视觉刺激对象。
14、在其中一个实施例中,所述目标编码信息包括多个视觉刺激对象对应的频率信息;所述对各所述局部脑电信号进行解析处理,得到各所述局部脑电信号对应的初始视觉刺激对象,并在各所述初始视觉刺激对象均相同的情况下,将所述初始视觉刺激对象确定为所述用户注视的目标视觉刺激对象,包括:
15、根据所述目标编码信息中各视觉刺激对象对应的频率信息,确定多个滤波频段;
16、针对每个局部脑电信号,基于所述多个滤波频段,对所述局部脑电信号进行滤波处理,得到与各所述滤波频段对应的频段信号;
17、采用典型相关分析算法,分别计算每个所述频段信号与各所述视觉刺激对象的子相关系数,并基于各所述子相关系数计算所述局部脑电信号与各所述视觉刺激对象的相关系数;
18、根据所述局部脑电信号与各所述视觉刺激对象的相关系数,将相关系数最大的视觉刺激对象确定为所述局部脑电信号对应的初始视觉刺激对象;
19、基于所述局部脑电信号与各所述视觉刺激对象的相关系数,确定所述局部脑电信号对应的特征值;
20、在各所述局部脑电信号对应的初始视觉刺激对象均相同、且各所述局部脑电信号对应的特征值均大于预设阈值的情况下,将所述初始视觉刺激对象确定为所述用户注视的目标视觉刺激对象。
21、在其中一个实施例中,所述基于所述局部脑电信号与各所述视觉刺激对象的相关系数,确定所述局部脑电信号对应的特征值,包括:
22、根据所述局部脑电信号与各所述视觉刺激对象的相关系数,将各所述相关系数从大到小进行排序,确定排序在前的预设数目个目标相关系数;
23、基于所述局部脑电信号与各所述视觉刺激对象的相关系数、以及所述目标相关系数,计算所述局部脑电信号对应的特征值。
24、第二方面,本技术还提供了一种脑机接口系统。所述脑机接口系统包括刺激显示装置和采集处理装置,其中:
25、所述刺激显示装置,用于发送目标刺激显示装置的编码信息;
26、所述采集处理装置,用于响应于预设触发条件,获取所述目标刺激显示装置的编码信息和其它刺激显示装置的其它编码信息;根据所述其它编码信息与所述目标刺激显示装置的编码信息进行匹配处理,得到匹配结果;在所述匹配结果表示存在编码冲突的情况下,将所述目标刺激显示装置的编码信息更新为目标编码信息;所述目标编码信息和所述其它编码信息完全一致或完全不一致;
27、所述刺激显示装置,还用于基于所述目标编码信息显示各操作指令对应的视觉刺激对象;
28、所述采集处理装置,还用于采集用户的脑电信号,并基于采集到的所述脑电信号和所述目标编码信息,确定所述用户注视的目标视觉刺激对象,并将所述目标视觉刺激对象对应的操作指令确定为目标操作指令。
29、第三方面,本技术还提供了一种基于脑机接口的操作指令确定装置。所述装置包括:
30、获取模块,用于响应于预设触发条件,获取目标刺激显示装置的编码信息和其它刺激显示装置的其它编码信息;
31、匹配模块,用于根据所述其它编码信息与所述目标刺激显示装置的编码信息进行匹配处理,得到匹配结果;
32、更新模块,用于在所述匹配结果表示存在编码冲突的情况下,将所述目标刺激显示装置的编码信息更新为目标编码信息;所述目标刺激显示装置基于所述目标编码信息显示各操作指令对应的视觉刺激对象;所述目标编码信息和所述其它编码信息完全一致或完全不一致;
33、确定模块,用于采集用户的脑电信号,并基于采集到的所述脑电信号和所述目标编码信息,确定所述用户注视的目标视觉刺激对象,并将所述目标视觉刺激对象对应的操作指令确定为目标操作指令。
34、第四方面,本技术还提供了一种计算机设备。所述计算机设备包括存储器和处理器,所述存储器存储有计算机程序,所述处理器执行所述计算机程序时实现第一方面所述的方法的步骤。
35、第五方面,本技术还提供了一种计算机可读存储介质。所述计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现第一方面所述的方法的步骤。
36、第六方面,本技术还提供了一种计算机程序产品。所述计算机程序产品,包括计算机程序,该计算机程序被处理器执行时实现第一方面所述的方法的步骤。
37、上述基于脑机接口的操作指令确定方法、装置、脑机接口系统、计算机设备、存储介质和计算机程序产品,通过获取目标刺激显示装置的编码信息和其它刺激显示装置的其它编码信息,脑机接口系统的采集处理装置判断同一空间内的多个刺激显示装置的编码信息是否存在冲突,并在存在编码冲突的情况下,将目标刺激显示装置的编码信息更新为与其它编码信息完全一致或完全不一致的目标编码信息,使得目标刺激显示装置与其它系统的其它刺激显示装置不存在编码冲突,从而当同一空间内的多个用户均需要使用脑机接口系统操作外接设备时,该多个用户可以通过多个采集处理设备共享本脑机接口系统的一个目标刺激显示装置,用户注视该目标刺激显示装置显示的视觉刺激对象时,可以基于目标编码信息准确识别出与用户实际操作意图一致的操作指令。因此,本方法能够实现脑机接口系统的刺激显示装置的共享,在多用户需要使用时,仅需要准备一个刺激显示装置,需要的硬件资源少。
1.一种基于脑机接口的操作指令确定方法,其特征在于,所述方法应用于脑机接口系统的采集处理装置,所述脑机接口系统包括刺激显示装置和采集处理装置,所述方法包括:
2.根据权利要求1所述的方法,其特征在于,所述根据所述其它编码信息与所述目标刺激显示装置的编码信息进行匹配处理,得到匹配结果,包括:
3.根据权利要求1所述的方法,其特征在于,所述基于采集到的所述脑电信号和所述目标编码信息,确定所述用户注视的目标视觉刺激对象,包括:
4.根据权利要求3所述的方法,其特征在于,所述目标编码信息包括多个视觉刺激对象对应的频率信息;所述对各所述局部脑电信号进行解析处理,得到各所述局部脑电信号对应的初始视觉刺激对象,并在各所述初始视觉刺激对象均相同的情况下,将所述初始视觉刺激对象确定为所述用户注视的目标视觉刺激对象,包括:
5.根据权利要求4所述的方法,其特征在于,所述基于所述局部脑电信号与各所述视觉刺激对象的相关系数,确定所述局部脑电信号对应的特征值,包括:
6.一种脑机接口系统,其特征在于,所述脑机接口系统包括刺激显示装置和采集处理装置,其中:
7.一种基于脑机接口的操作指令确定装置,其特征在于,所述装置包括:
8.一种计算机设备,包括存储器和处理器,所述存储器存储有计算机程序,其特征在于,所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述的方法的步骤。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
10.一种计算机程序产品,包括计算机程序,其特征在于,该计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。
