脑机接口(Brain-Computer Interfaces，BCI)已被证明是一种很前景广阔的神经康复工具。然而，基于传统方法的BCI准确率和可靠性不高，不同的大脑活动模式并不是对所有的BCI用户都是最优的，而且信息传递率低。多项研究表明，结合不同的脑信号采集方法可以提高脑机接口的性能。
在本文中，我们旨在研究当将脑电图(Electroencephalography，EEG)和功能性近红外光谱(functional Near Infrared Spectroscopy，fNIRS)结合起来，对右手和左手抓取动作的运动想象(MI)任务进行分类时，脑机接口(BCI)的性能表现是否会增加。结果显示，使用EEG fNIRS的多模态BCI方法在分类准确度上与仅基于EEG的BCI相比，平均提高约8-10%。这表明使用混合方式的脑机接口能够提高脑机接口的性能表现。
g.Nautilus fNIRS生物信号采集系统
脑机接口(BCI)是一种利用大脑活动模式代替周围神经和肌肉，提供与外部世界通信的替代方式的技术。BCI的应用不只局限于恢复中风、自闭症或癫痫等残疾患者的交流和控制能力，而且也得到了健康用户的使用。BCI可以采用不同类型的非侵入性脑活动记录方法，如脑电图(Electroencephalogram，EEG)、功能近红外光谱(functional Near Infrared Spectroscopy，fNIRS)、脑磁图(Magnetoencephalogram，MEG)、正电子放射断层造影术(Positron Emission Tomography，PET)等。每种模式都有其优点和缺点。然而，传统的基于单一模式的BCI存在准确性和可靠性不高、信息传递率低、用户接受度低等缺点。不同的大脑活动模式并不是对所有BCI用户都是最优的。 不同受试者之间的神经生理信号可能存在显著差异，这意味着某些大脑活动模式可能对某些受试者更好，而对另一些受试者则会导致表现不佳的情况。比如，据汇总，大约20%的运动想象BCI用户没有表现出足够的控制性能表现。
脑电图是一种非侵入性技术，通过头皮电极测量与神经元活动相关的电压变化。它是BCI领域中最常用的采集方法之一。其特点是时间分辨率高，空间分辨率低，信噪比低。
另一方面，fNIRS以血流的形式测量血流动力学活动，即由神经元放电引起的氧合血红蛋白(Oxygenated Hemoglobin，HbO)和脱氧血红蛋白(Deoxygenated Hemoglobin，HbR)的浓度变化。它采用波长范围在650 - 950nm的多束源近红外探测器。当光进入头皮时，一些光子沿着一定的轨迹一路反射到光极头(一种光学传感器设备)，在路径中，HbO和HbR发色团以不同的吸收系数吸收它们。一般来说，近红外光谱仪是非侵入性的，便携式的，而且成本相对较低。然而，由于NIRS信号的缓慢变化和血流动力学反应达到其最大值所引入的长时间延迟，使得近红外光谱探测模式的时间分辨率很低
有几种特征提取和分类方法可用于混合BCI。基于fNIRS的特征提取采用信号的均值、信号的斜率、信号的峰值、信号的最小值、偏度和峰度，或峰值的数量和总和。根据被试者脑部的HbO与HbR变化，这些特征是可以被估算的。而基于EEG的特征信号可根据根据频谱，对μ和β频带进行提取分析。
许多研究表明，基于EEG或fNIRS的单模态BCI的成功实现。为了提高BCI性能表现，两种模式的融合也引起了学者们的研究和开发的兴趣。然而，这一领域的研究仍处于初级阶段，需要大量的研发成果才能将这种新方法用于临床目的。在本文中，我们的目标是通过结合EEG和fNIRS模式对运动想象任务进行分类来研究BCI的性能表现。
研究方法
A.受试者和数据采集
9名年龄在22岁到50岁(平均31岁)的健康右利手受试者，3名女性和6名男性，自愿参加了这项实验。这个实验(三个阶段)持续了大约75分钟，包括准备时间。参与者均没有任何神经、精神或视觉障碍史，而且他们都是初次尝试执行MI任务。使用使用g.Nautilus fNIRS生物信号采集系统(g.tec medical engineering GmbH，Schiedlberg，Austria)记录EEG和fNIRS数据。设备包含8个波长在760nm - 850nm的近红外光源(FCC6h，FCC4h，CCP4h，CCP6h，CCP5h，FCC5h，FCC3h，CCP3h)与2个光源接收器(C4，C3)，并且还包括15个EEG湿电极(Fz，FFC1h，FFC2h，Cz，C1，C5，FC3，CP3，C2，C6，FC4，CP4，CPz，CPP1h，CPP2h)与1个AFz位置的接地电极。
根据国际10-5排布系统将电极和光极头分别置于初级运动皮层的左右半球。以250 Hz的采样率记录EEG和fNIRS数据。在线滤波采用了0.5 ~ 30 Hz的带通滤波器，并使用48 ~ 52 Hz的陷波滤波器对50 Hz的电力线干扰。fNIRS-EEG设备的具体设置方式可参见图1。
图1. The configuration of EEG electrodes and fNIRS optodes. EEG electrodes (blue filled circles), NIRS detectors (green filled circles) and NIRS sources (red filled circles) were placed following the 10-5 system.
B.实验范式
在一个光线昏暗的房间里，受试者坐在一张舒适的椅子上，与17英寸的宽屏显示器保持大约1米的距离。受试者被要求在实验过程中始终保持一个较为舒服的坐姿并且身体不能有任何动作产生。在实验开始前，被试者要求跟从指令进行眨眼、转动眼球、咬牙动作以进行EEG信号质量的检查。实验范式是通过MATLAB/Simulink 2017a(The Math Works，Inc.)与g.HIsys library (g.tec medical engineering GmbH)进行编辑设计的。屏幕被分为两部分：三分之一的屏幕用于显示指令，其余部分用于虚拟替身动画的演示。图2所示为本研究单次试验的实验范式示意图。
图2. Schematic illustration of the experimental paradigm. Each session consisted of a 60 s pre-rest, 20 trials of 42 s each, and a 60 s post-rest period. A short beep was played at the beginning and at the end of the task period. Every trial started with 2 s of instruction of the task, followed by 10 s of the actual task and a resting period of 30 s.
实验由三个小节组成。每一小节包括测试前休整阶段60 s；20试次的运动想象任务阶段(想象右手或左手的抓握动作，每一试次为42 s)；测试后休整阶段60 s。一个小节中包含10次左手和10次右手的抓握动作运动想象。实验中的每一试次中，初始指令阶段为2 s，任务期为10 s，然后是30 s的休息期。指令是可视的，通过在任务期间在屏幕上显示“L”或“R”来表示想象左或右运动。左-抓握或右-抓握的指令(“L”或“R”)是随机的，以确保受试者不能预测下一次试验。在任务阶段的开始和结束时都播放了一个短的“哔哔”声。任务期间，指令屏幕显示“ ”，被试按照指令想象左手或右手的抓取动作。与此同时，他们还需将注意力集中在虚拟替身动画上，动画中的“手”可以一秒钟做出一个动作。在休息期间，指令屏幕显示“-”，并且实验对象被要求放松，避免思考以及做任何动作。由于血流动力学反应需要更长的时间才能稳定到基线水平，所以需要30秒的长时间休息。同一受试者的所有测试小节在同一天进行，其间有5-10分钟的间隔。
C.数据分析
EEG与fNIRS的信号数据是在线下通过MATLAB 2017a与g.BSanalyze (g.tec medical engineering GmbH)软件进行处理的。每位受试者的三个测试小节的数据集(EEG fNIRS)被连接合并，其中包含总共60试次。利用改进的比尔-朗伯定律(Modified Beer-Lambert Law)将光密度的fNIRS原始信号转化为氧和血红蛋白(HbO)和脱氧血红蛋白(HbR)的浓度变化。这些信号被从250 Hz降采样到10 Hz，并随后进行了偏差修正。全部的fNIRS通道都被用于后续信号处理。HbO与HbR信号被截至频率为0.2 Hz的三阶递归巴特沃斯(3rd-order recursive Butterworth filter)低通波器滤波，以减少呼吸、迈耶波(Mayer waves)和心跳的干扰。每次试验从任务前12 s和任务后20 s的基线数据中提取出42秒的数据段(包含MI task 10 s)。
在此之后，基线校正是通过对-12 s到-2 s数据的平均值进行的(相对于试验开始)，然后是趋势分离(Detrending)阶段。为了区分右手和左手抓握动作，采用长度为3 s，步长1 s的移动时间窗的方法提取了HbO和HbR浓度变化的平均值和斜率。采用线性判别分析(Linear Discriminant Analysis，LDA)作为分类器。在每个窗口对HbO与HbR都进行了10次的10着交叉验证(Validation was performed by 10 repetitions of 10-fold cross-validation at each time window)。
使用四阶递归巴特沃斯(4th-order recursive Butterworth filter)带通滤波器针对对数据中8-25 Hz的μ与β频段进行滤波。EEG数据段的提取方法与fNIRS中的提取方法相同。利用提取到的脑电图信号段中的-12 ~ -2秒(相对于任务开始时间)的数据进行基线校正。为了降低脑电信号的维数，最大化脑电信号的空间可分辨性，将脑电信号投影到四种最具鉴别性的共空间模式(Common spatial pattern, CSP)上，分别计算每个被试的脑电信号的空间可分辨性。在此空间滤波之后，通过使用与fNIRS特征相同的移动窗口和步长计算方差来发展特征向量。对提取的脑电信号特征进行归一化和对数变换。为了评估性能表现，对所有数据集进行了10次随机重复的10折交叉验证(a randomized 10 repetitions of 10-fold cross validation were applied on all datasets)。所有的处理步骤都经过交叉验证。
这项研究的主要挑战是将不同的分类器组合在一起。许多研究通过将不同模式的特征向量组合在一起得到了结果，例如，在Fazli, S (2012)等人的研究中，LDA被用作元分类器，在每个交叉验证步骤中重新估计分类器的权值， Zhu, G (2017)等人将EEG和fNIRS的所有特征融合在一起，应用PCA进行降维;Shin, J (2016)将收缩LDA(shrinkage LDA)作为元分类器，将各个分类器的输出结合起来，创建元分类器的特征向量。
图3. Classification accuracy plots of all subjects. The black line indicates the mean accuracy at different time points for all the subjects. The grey shaded region shows the task time period (0-10 s). The time is given relative to the task onset.
我们探索了所有可能的脑电图和fNIRS的组合：EEG HbO, EEG HbR, EEG HbO HbR。组合分类器的方法有多种，如多数投票规则(majority voting rule)、中值规则(median rule)、平均规则(average rule)等。在本研究中，我们采用基于决策方法的元分类器。在LDA的情况下，通过加权计算类概率(EEG, HbO and HbR)。然后选择概率最大的类作为元分类器的结果。请注意，在元分类中，我们给予了EEG和fNIRS染色团同等的权重。元分类器的交叉验证也遵循与fNIRS和EEG数据分析相同的交叉验证方法。个体分类器的结果标表示为：HbO、HbR、EEG和这些分类器的组合将在下一节中总结。
实验结果
A.分类精度
分别计算了EEG，HbO，HbR，HbO HbR，HBO EEG 和 HbO HbR EEG这几类情况下的分类精度。结果如表1所示。准确率以测试集中被正确分类的试次数的所占百分比表示。 这个二类实验的机会水平是50%(The chance level for this two-class experiment is 50 %)。
表1. Overview of all classification accuracies corresponding to different approaches.
仅使用单一种类生物信号进行分类(分别以HbO，HbR或 EEG)，实验对象S1、S3和S8使用HbO进行分类准确率最高，受试者S2、S4和S5使用HbR准确性最高，S6、S7和S9的使用EEG分类准确率最高。
通过将HbO、HbR这两类与EEG进行组合，产生了三种新的分类组合。实验对象S8通过结合HbO EEG获得了最高的准确率，受试者S2和S6使用HbR 脑电图的准确率最高，实验对象S1在HbO HbR EEG的结合下获得了最高的准确率。S7在HbO EEG和EEG HbR中表现出大致相同的准确率，S4和S5各自的HbR EEG和HbO HbR EEG的分类准确率几乎相同。在图3中，所有被试的个体分类精度图用不同的颜色表示，对于不同的模式及其组合，考虑到所有被试的平均分类精度用粗黑线表示。如图显示，与单独的分类准确率图相比，结合所有三种模式(EEG HbO HbR)可产生更高的叠加振幅。结果表明，混合方法在BCI中具有提高BCI性能的能力。
论述
本文研究了基于EEG和fNIRS结合的信号采集方法以测试使用混合采集与分析模式是否可以获得更高的BCI分类准确性。并在参与者执行右手和左手的运动想象任务时，使用混合BCI使用了两种生物信号的特征来分类大脑活动。
在过去的一些研究中(Fazli, S. 等人2012；Buccino, A.P. 等人2016)也表明，结合fNIRS和EEG可以提高基于MI的脑机接口系统的性能。这里，我们研究了控制混合BCI的最佳特征组合。结果表明，EEG和fNIRS特征分别有相似的结果(约70%)。然而，如表1所示，与单独使用模式相比，结合两种模式的特征平均具有更高的准确率。平均而言，使用HbR、HbO和EEG的混合系统的准确性高于使用fNIRS和/或EEG的任何子系统。EEG信号分类器的性能较弱可能与EEG信号通道数量较少有关。在这个实验中(Buccino, A.P. 等人2016)，使用了21个脑电图电极，这比其他研究中的要少。
如表1所示，除S9外，所有受试者对MI的尝试均为初次。因此可推断经验不足也会对BCI性能表现结果产生影响。另一个可能影响EEG分类器性能的因素是试次的次数少。特别是，这可能会对CSP产生负面影响，CSP是一种深受拟合影响的方法。作为一种使用标签数据的监督方法，有限的训练数据是一个重要的角色，因为由于10倍交叉验证，60个试次中只有54个可用于性能评估。由于时间控制上的原因，选择了60次试次。一组20次的试次持续了20分钟，这对于被试者集中注意力来说太长了。我们承认，与其他研究相比，这是一个相对较小的数字。
结果表明，在混合测试时，S6和S9在与EEG单独结合时表现较差。这种微小的差异可能是由于10折交叉验证的10次重复平均计算，因为两种准确性几乎相同，只有大约不同。 1 - 2%。
使用这种混合BCI的主要缺点之一是需要很长时间来设置两种模式。干电极可能为解决这个问题提供了一种可行的替代方法。另外，在长时间的试验中，很难维持42s的浓度水平，这也是个问题。需要更多的研究以减少记录时间。
从图3中可以看出，分类精度随时间的演化依赖于模态。这些是进一步研究中需要重要观察的，特别是当实施在线反馈和分类时。
结论
在本研究中，我们研究了一种利用fNIRS和EEG生物信号的混合脑机接口。实验结果发现，结合fNIRS和EEG特征用于分类可提高了脑机接口的性能。在未来的研究中，使用fNIRS EEG的混合BCI的实时分析系统将被研究。
参考文献
[1] Wolpaw, J.R., Birbaumer, N., McFarland, D.J., Pfurtscheller, G. and Vaughan, T.M., 2002. Brain-computer interfaces for communication and control. Clinical neurophysiology, 113(6), pp.767-791.
[2] Allison, B., Graimann, B. and Gräser, A., 2007, June. Why use a BCI if you are healthy. In ACE WorkshopBrain-Computer Interfaces and Games (pp. 7-11).
[3] Abdulkader, S.N., Atia, A. and Mostafa, M.S.M., 2015. Brain computer interfacing: Applications and challenges. Egyptian Informatics Journal, 16(2), pp.213-230.
[4] Amiri, S., Fazel-Rezai, R. and Asadpour, V., 2013. A review of hybrid brain- computer interface systems. Advances in Human-Computer Interaction, 2013, p.1.
[5] Banville, H. and Falk, T.H., 2016. Recent advances and open challenges in hybrid brain-computer interfacing: a technological review of non-invasive human
research. Brain-Computer Interfaces, 3(1), pp.9-46.
[6] Allison, B., Neuper, C., Tan, D.S. and Nijholt, A., 2010. Brain-computer interfaces: applying our minds to human-computer interaction.
[7] Ahn, S. and Jun, S.C., 2017. Multi-modal integration of EEG-fNIRS for brain- computer interfaces-current limitations and future directions. Frontiers in human
neuroscience, 11, p.503.
[8] Kamran, M.A., Jeong, M.Y. and Mannan, M., 2015. Optimal hemodynamic response model for functional near-infrared spectroscopy. Frontiers in behavioral
neuroscience, 9, p.151.
[9] Scholkmann, F., Kleiser, S., Metz, A.J., Zimmermann, R., Pavia, J.M., Wolf, U. and Wolf, M., 2014. A review on continuous wave functional near-infrared spectroscopy and imaging instrumentation and methodology. Neuroimage, 85, pp.6-27.
[10] Aloise, F., Schettini, F., Aricò, P., Salinari, S., Guger, C., Rinsma, J., Aiello, M., Mattia, D. and Cincotti, F., 2011. Asynchronous P300-based brain-computer interface to control a virtual environment: initial tests on end users. Clinical EEG and neuroscience, 42(4), pp.219-224.
[11] Hong, K.S., Khan, M.J. and Hong, M.J., 2018. Feature extraction and classification methods for hybrid fNIRSEEG brain-computer interfaces. Frontiers in human neuroscience, 12.
[12] Pfurtscheller, G. and Da Silva, F.L., 1999. Eventrelated EEG/MEG synchronization and desynchronization: basic principles. Clinical neurophysiology, 110(11), pp.1842-1857.
[13] Rahimpour, A., Dadashi, A., Soltanian-Zadeh, H. and Setarehdan, S.K., 2017, April. Classification of fNIRS based brain hemodynamic response to mental arithmetic tasks. In 2017 3rd International Conference on Pattern Recognition and Image Analysis (IPRIA) (pp. 113-117). IEEE.
[14] Naseer, N. and Hong, K.S., 2013. Classification of functional near-infrared spectroscopy signals corresponding to the right-and left-wrist motor imagery
for development of a brain-computer interface. Neuroscience letters, 553, pp.84-89.
[15] Fazli, S., Mehnert, J., Steinbrink, J., Curio, G., Villringer, A., Müller, K.R. and Blankertz, B., 2012. Enhanced performance by a hybrid NIRS-EEG brain computer interface. Neuroimage, 59(1), pp.519-529.
[16] Buccino, A.P., Keles, H.O. and Omurtag, A., 2016. Hybrid EEG-fNIRS asynchronous brain-computer interface for multiple motor tasks. PloS one, 11(1),
p.e0146610.
[17] Lu, H., Plataniotis, K.N. and Venetsanopoulos, A.N., 2009, September. Regularized common spatial patterns with generic learning for EEG signal classification. In 2009 Annual International Conference of the IEEE Engineering in Medicine and Biology Society (pp. 6599-6602). IEEE.
[18] Zhu, G., Li, R., Zhang, T., Lou, D., Wang, R. and Zhang, Y., 2017, May. A simplified hybrid EEG-fNIRS Brain-Computer Interface for motor task classification.
In 2017 8th International IEEE/EMBS Conference on Neural Engineering (NER) (pp. 134-137). IEEE.
[19] Shin, J., von Lühmann, A., Blankertz, B., Kim, D.W., Jeong, J., Hwang, H.J. and Müller, K.R., 2016. Open access dataset for EEG NIRS single-trial classification. IEEE Transactions on Neural Systems and Rehabilitation Engineering, 25(10), pp.1735-1745.
[20] Kittler, J., Hater, M. and Duin, R.P., 1996, August. Combining classifiers. In Proceedings of 13th international conference on pattern recognition (Vol. 2, pp. 897-901). IEEE.
[21] Naseer, N. and Hong, K.S., 2015. fNIRS-based braincomputer interfaces: a review. Frontiers in human neuroscience, 9, p.3.
[22] Lopez-Gordo, M., Sanchez-Morillo, D. and Valle, F., 2014. Dry EEG electrodes. Sensors, 14(7), pp.12847-12870.
仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！
