近年来，大量关于脑机接口（BCI）的研究发表。然而，现有的大多数研究中刺激目标数量还不够多，不适合许多实际应用。来自中科院半导体研究所的Sun等人使用4个31-bits的金氏码（gold codes）编码刺激目标，每个随机码循环移位1位产生30个目标，提出了一种基于120个刺激编码视觉诱发电位的脑机接口。实验过程中，利用滤波器组对脑电信号进行预处理，采用TRCA算法对刺激目标进行检测。此外，还考虑了渐进式扫描的影响，以提高脑电模板的时间精度。根据离线实验结果选择最佳的金氏码组合，通过在线实验对BCI系统性能进行评估。验证了该系统同时具有指令集大（120个刺激目标）、效率高（平均ITR为265.74 bits/min）和训练时间短（小于5 min）的优点。
实验方法
被试对象：在离线和在线实验中，招募了22名视力正常或矫正到正常的健康被试者（23岁至28岁，13名女性）。11名被试参与了离线实验，22名被试参与了在线实验。本研究经清华大学伦理委员会批准。在实验过程中，被试者在一个没有屏蔽、光线昏暗的房间里，坐在一张舒适的椅子上，距离显示器大约60厘米。
数据采集：实验系统由在Windows 10系统下运行的个人计算机和64通道 EEG 放大器（Syn amps2系统，Neuroscan Inc）组成。刺激由 49 英寸液晶显示器 （LCD） 显示器呈现，分辨率为5120 X 1440像素（三星 C49G95TSSC），刷新率为 60 Hz。刺激演示程序在带有Psychtoolbox 3.017 的 MATLAB 2015b 上运行。事件触发器通过并行端口从计算机发送到 EEG 放大器。在实验过程中，所有刺激都根据它们的调制编码同时闪烁。使用符合国际 10/20 系统的顶叶和枕叶上的9个 Ag/AgCl 电极（PO3、Pz、PO4、PO5、POz、 PO6、O1、Oz、O2）记录c‑VEP 信号。参考电极位于顶点。EEG信号以1000 Hz进行采样，并在50 Hz下通过带阻滤波器去除电源噪声，放大器的通带为 0.15‑200 Hz。所有电极的阻抗都保持在10kΩ 以下。
刺激目标调制：一对31-bits的M序列可以生成31个31-bits的金氏码，足以进行120个目标的编码。每个金氏码通过循环滞后1位最多可以编码31个目标，其中120个目标可以由4个31-bits金氏码编码，这些金氏码是根据离线实验的结果选择的。表1所示本研究中的M序列和所选择的金氏码，0和1分别表示刺激目标的颜色为黑色和白色。
表1. 31-bits的M序列和选定的金氏码
图1
实验设置
在实验过程中，目标和填充块根据等邻的原则进行刺激。图1（c）为一个等邻的例子，即每个区域周围的每个填充块的面积分别为边缘目标的一半或者角落目标的四分之一。
离线实验
离线实验中，屏幕中央显示30个刺激目标，对应一个编码，如图1（a）所示。被试者从15号目标（宽度为5像素的红色框突显）开始。31个编码随机刺激5个区块。在每个区块中，编码序列连续重复出现12次（6.2 s），间隔为1秒。完成一个序列后，要求被试者休息1分钟以上。之后，启动下一个编码对应的区域刺激。
在线实验
训练阶段：为每个刺激目标创建120个模板，并为4个编码创建4个空间过滤器。图1（b）中每个区域的15号刺激（即C1_15, C2_15, C3_15, C4_15）为训练目标（宽度为15像素的红色帧突出显示）。在训练过程中，被试者在每个区块中，连续刺激12次，总时长为6.2 s。每个区域刺激5个区块，间隔为1秒。完成一个区域后，被试者休息30 s以上。之后，启动下一个区域刺激。实验场景如图1（d）所示。
测试实验
被试者按提示对120个刺激目标遍历三次。实验由每个区域由12个刺激区块组成，重复三次。在每个区块中，刺激目标（宽度为15像素的红色粗体框突显）连续不停顿，持续0.52 s。之后，一个5像素宽的红色帧提示开始记录数据，重复3次，每次视为1次测试，持续时间为1.55 s。然后，由数据处理程序在0.52 s内给出反馈结果。在等待结果和反馈的过程中，刺激持续，反馈以15像素宽的粗体蓝色边框显示。在每个区域中，刺激目标随机顺序出现。区域的顺序也是随机的。在完成一个区域刺激后，被试者休息30 s以上。之后，启动下一个区域刺激。
数据分析
如图2所示，根据事件触发器（在每一帧的开始）对数据时间窗（epochs，长度129点）进行切片。Δτk从事件触发器中获得。考虑到视觉通路的起效时间，丢弃第一次试验的相关数据。因此，每个编码可获得50个数据时间窗 （10次试验5个区块）。之后，数据时间窗下采样到250Hz，进行进一步处理。
图2.离线实验块中每个目标的数据时间窗。
在进行特征提取和分类之前，通过优化的滤波器组对数据进行滤波。
在线实验的数据时间窗长度与离线实验相同，并根据离线实验数据，采用交叉验证的方法对滤波器组参数和算法进行优化。
目标识别
Task-RelatedComponent Analysis（TRCA）算法用于识别选定的目标。TRCA是一种特征提取算法，通过在脑电数据中加入空间滤波器，可以最大化试验间协方差，提取与任务相关的成分。识别结果可由当前数据时间窗与各目标模板的相关系数进行求解。模板创建流程图如图3（a）所示，通过平均每个目标对应的数据时间窗计算出数据模板T。测试阶段目标识别如图3（b），单次试验的测试数据Y经同一滤波器组滤波,并用4个空间滤波器通过模板T匹配识别。
图3.目标识别流程图.
参数优化
编码选择：根据离线精度从31个金氏码中选出4个最优的金氏码。在离线实验中，收集了31个编码的数据。通过数据预处理，生成每个刺激目标数据，并进行滤波，每个数据采用五次交叉验证。然后在被试中选择平均交叉验证准确率最高的编码组合作为在线实验使用。
滤波器组优化
主要目标是确定最优通带。首先使用网格搜索法遍历所有有效通带，确定最优。以交叉验证精度最高的参数作为滤波器组的最优参数。
性能指标
信息传输速率（ITR）：作为衡量大多数具有多个刺激目标的BCI系统性能的指标，在本研究继续将其作为性能指标。
其中M为刺激目标数，P为目标的分类准确率（正确分类的试验次数与总试验次数之比），T是单次刺激响应所需的时间，包括转移目光和视觉刺激的时间。
试验结果
被试者脑电图特征如图4所示。图4（a）为所有被试者对应于编码G1的平均脑电图波形，反映了大脑反应是由伪随机码周期性调节的。图4（b）为所有被试者Oz电极在所有试验中对应于编码G1的平均EEG的自相关函数，自相关系数在-0.59 ~ 0.28之间，说明所选金氏码诱发c-VEP具有良好的自相关特征。图4（c）为所有编码的所有试验的平均EEG的互相关函数，相关系数在-0.37~ 0.37之间，表明编码间可分性较好。
图4.EEG信号特征
编码选择：如图5（a）所示为11名被试者的31465种编码组合的5倍交叉验证正确率（平均准确率由蓝线）按降序排列。如表1所示，选择平均准确率最高的编码组合作为最优编码组合。图5 （b）为单个最优编码组合的准确率（红色）与平均最优编码组合的准确率（蓝色）之间的关系。各个最优编码组合与平均最优编码组合之间的交叉验证准确率的平均差异为5.92%。
图5
滤波器组优化
所有可能的通带的准确性如图6（a）所示。使用4hz ~ 65hz的通带可以获得87.76%的最高精度。图6（b）为11名被试的单个最优通带（红色）与平均最优通带（蓝色）的关系，平均差值为1.42%。图7（a）为滤波器组的精度与各个参数（nFB , a, b）的关系，图中明显可见当nFB = 8, a = 0.8, b = 0时，最高平均准确率为96.17%。图7（b）为使用优化滤波器组参数后的改进，平均精度提高了8.06%。
图6.交叉验证准确度与通带的关系
图7.交叉验证精度与滤波器组参数的关系
在线实验
图8给出了在线实验的准确率和ITR，表2位具体的准确度和ITR值。结果显示，试验次数显著影响在线准确性。当使用一次试验（0.52 s）的数据时，系统获得最高平均ITR为265.7 bits/min，平均准确率为76.58%，最低准确率为52.50%。3次试验（1.55 s）时，平均准确率为95.02%，平均ITR为184.7 bits/min，最低准确率为86.94%。因此，对于实际应用，应根据具体需求考虑试验次数。
图8. 在线实验的准确率和ITR
表2.在线实验结果
在线实验的混淆矩阵（x轴为真实编码，y轴为分类算法预测的编码）如图9所示：图9（a）为所有被试120个刺激目标分类的总体平均混淆矩阵。所有目标的准确率均明显高于机会水平（最低为65.15%）。图9（b）为所有被试的平均交叉编码混淆矩阵，结果表明每个编码都具有较好的辨别能力（最低为73.03%）。
图9. 在线实验的混淆矩阵
讨论
已有研究证实c-VEP适用于多类编码。一个伪随机码可以在较短的训练时间内生成多种类型。通过选择合适的编码组合，系统可以编码大量的刺激目标。表3为现有的基于c-VEP的多刺激目标BCI系统与本研究的系统的性能比较。可以看出，与其他基于c-VEP的研究相比，本研究中的120个刺激目标BCI系统的平均准确率为76.58%，平均ITR为265.74 bits/min，具有更多的刺激目标和更高的ITR。
表3.基于c-VEP的多刺激目标BCI系统性能比较
为了在滞后1位的BCI系统中实现多目标和高性能，需要考虑三个问题:
- 编码的选择。考虑编码优化标准、被试个体差异，结果和编码的组合可能有所不同。因此，个性化的编码组合可能比普通的将获得更好的性能。
- 算法进行优化。参考前人对SSVEP的研究对滤波器组进行了优化，而c-VEP是一个宽带信号。因此，可以对滤波器组的结构进行优化。
- 硬件的性能。基于c-VEP的BCI系统的分类精度强烈依赖于刺激的时间精度，不同的计算机配置或不同的显示器可能会得到不同的结果，几毫秒的延迟可能会显著影响系统的性能。图10中三条线的左上点显示了考虑此延迟时的结果，其中等效延迟为零，当系统需要对屏幕刷新精度进行严格约束时，需要考虑渐进式扫描的影响。
在未来的实际应用中，通过选择更适合脑电编码的编码，优化特征提取和分类算法，使用迁移学习方法进一步减少训练时间和同步转换为异步等方法，可以进一步提高系统性能。
参考
Qingyu Sun, Li Zheng, Weihua Pei, Xiaorong Gao, Yijun Wang, A 120-target brain-computer interface based on code-modulated visual evoked potentials, Journal of Neuroscience Methods,
Volume 375, 2022, 109597,ISSN 0165-0270,
https://doi.org/10.1016/j.jneumeth.2022.109597.
仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！
