多模态EEG+fNIRS测量心理负荷

2022-02-28 09:54:21 浏览数 (2)

请点击上面“思影科技”四个字,选择关注我们,思影科技专注于脑影像数据处理,涵盖(fMRI,结构像,DTI,ASL,QSM,MRS,EEG/ERP,FNIRS,眼动)等,希望专业的内容可以给关注者带来帮助,欢迎留言讨论及转发推荐,也欢迎了解思影科技的课程及数据处理服务,可添加微信号siyingyxf18983979082咨询(电话18580429226,杨晓飞)。(文末点击浏览)

本文研究了多模态功能性神经成像技术用于量化心理负荷 (mental workload, MWL) 的效果。我们使用脑电图 (EEG) 和功能性近红外光谱成像 (fNIRS) ,招募17名健康受试者参与字母n-back任务,MWL水平设置0到3的四种难度。研究使用19个EEG通道覆盖全头,19个fNIRS通道覆盖前额(WM(工作记忆)最主要涉及的脑区)。多模态数据的block均值揭示了MWL水平变化期间氧合血红蛋白浓度的特别变化。已有研究使用机器学习来检测MWL水平,我们从EEG、fNIRS和EEG fNIRS多模态信号中提取不同特征作为MWL的生物标记,并作为训练集、测试集提供给线性支持向量机(linear SVM) 。我们也在fNIRS和EEG fNIRS系统中引入一类新的特征并系统评估了每个特征类别的分类性能。我们还评估了特征数量、窗口大小对分类性能的影响。除了分类器的交叉验证性能水平之外,我们还计算了其他指标(如灵敏度、特异性、预测值)来对三种成像技术用于机器学习分类的表现进行综合评估,结果显示多模态EEG fNIRS的准确率明显高于单模态的EEG或fNIRS。研究结果表明,EEG fNIRS的特征结合分类器能够有效区分出不同级别的MWL,在开发被动BCI和其他需要监测用户MWL的应用程序时,EEG fNIRS的效果会优于仅使用EEG或fNIRS。 本文发表在Frontiers in Human Neuroscience杂志。(可添加微信号siyingyxf或18983979082获取原文及补充材料,另思影提供免费文献下载服务,如需要也可添加此微信号入群,原文也会在群里发布)。

本文与思影曾做过相关文章解读,可直接点击以下链接结合阅读:

The Neuroscientist:是什么引导我们在神经和行为上与特定的

fNIRS在认知神经科学中的应用现状和未来

Science advances:新生儿的言语知觉

情绪对学习与记忆的影响

fNIRS研究行文指南

近红外光谱实验新手指南

Neuron:超扫描:不仅仅是超扫描

1.引言

心理负荷 (MWL) 会影响人机交互的表现。在日常生活中,因为需要在复杂界面中操作,人机交互可能有很高的认知需求,而精神负载可能损害用户的表现,甚至用户的安全(因为会导致犯错、疲劳、动力下降、反应时变长、忽视关键信息)。因此考虑用户的认知特征和局限性对于人机界面 (BMI)改良设计非常重要,我们可以通过让机器随用户MWL变化进行自适应来提高操作效率。

MWL被定义为操作员执行给定任务期间所需脑力的比例。根据多资源理论[资源被分为四个维度:加工阶段(感知或认知vs.反应)、感知形式(视觉vs.听觉)、视觉通道(焦点vs.环境)、编码加工(语言vs.空间)],执行不同任务时需要一组相互独立的资源,这些资源容量有限、可分配给不同任务。当两个任务需要同一维度的资源时,这两个任务之间会相互干扰,形成障碍并导致随后的任务表现下降;当两个任务需要不同维度的资源时,这一现象不会发生。而在边开车边打电话的情况下,当其中一项任务吸引过多注意力时,不同维资源不相互干扰的优势也被消除了。

MWL受任务属性、执行任务的环境、执行人员的个性特征影响。任务属性包括任务难度、单调性、使用的资源类型;环境包含不同程度的干扰和噪音;操作员个性特征涉及培训、专业知识、不断变化的疲劳、动力、警惕性水平。我们可以通过调节这些变量的子集并控制其余变量来系统地调整MWL。

确定MWL的方法可分为三大类:

(1) 使用标准问卷如NASA-TLX进行自我报告和主观评分;

(2) 行为测量,例如主、次要任务的表现;

(3) 基于用户生理的测量,包括:心率变异性、动眼神经活动、瞳孔测量、肌电图、皮肤电反应和大脑活动。

自我报告和行为信息是分散、侵入式获得的,往往产生延迟,此外基于行为表现的信息可能被误解,因为不同MWL水平可能伴随相同的行为表现。生理测量不需要被试有明显的行为,几乎不干扰用户执行任务,且可以连续记录信息并无显著延迟。生理测量的优势随着轻量化化无线技术的进步也进一步扩大。

出现大量使用EEG开发BMI的研究之后,大多数基于脑功能的MWL研究都使用了脑电图 (EEG)[不尝试直接控制设备,而是根据实时的用户状态来调整用户界面的BMI(human-machine interfaces)被称为被动BMI]。功能性近红外光谱成像 (fNIRS) 作为一种较新技术,在BMI应用中具有潜力,已有研究发现fNIRS可用于区分不同的运动任务或解码被试的二元决策。MWL与中枢神经系统活动之间的关系也被确立。近期,同时使用EEG和fNIRS的多模态技术因其能提供相对丰富的信息而广受欢迎。已有证据表明,测量MWL相关大脑活动可比眼部、外周生理测量提供更多的信息。

同时使用EEG和fNIRS称为EEG fNIRS,其比单独使用EEG或fNIRS更为准确,是一项很有前景的技术。fNIRS通过头皮上的近红外光源与探测器测量脑血流量 (CBF) 和相关血红蛋白的浓度变化,提供与EEG互补的信息。fNIRS在便携性上可与EEG相媲美,且不受肌电图 (EMG) 和眨眼伪迹的影响,其信号与功能性磁共振成像(fMRI)测量的血氧水平依赖 (BOLD) 信号密切相关[BOLD信号也是测量脑血流动力学的黄金标准]。除了集合不同类型信号的优势外,EEG fNIRS还能提供新的特征类型:基于神经血管耦合(NVC)的神经活动调节局部血流、氧合的级联过程[NVC的相关特征不能通过EEG或BOLD单模信号来分辨]。

工作记忆(WM)短时保存、处理复杂认知任务所需信息。先前的功能性神经影像学研究将前额叶皮层(PFC)确定为WM最相关的激活脑区。已有研究使用EEG、fNIRS以及EEG fNIRS研究了以WM负荷为实验范式的MWL检测。如上文所述,NVC(神经血管耦合)相关信息可以通过EEG fNIRS得出,最近的研究也显示出了EEG fNIRS应用于主动BCI的潜力。在本研究中,我们在这些工作的基础上探索了EEG fNIRS应用于MWL检测的效果。

N-back任务可用于测量WM(工作记忆)的水平,在认知神经科学领域中经常使用。Gevins和Smith表示,在高任务负荷的条件下,被试执行n-back任务时EEG的额中线theta波活动增加,alpha波活动减弱。fNIRS研究发现在执行n-back任务时WM负荷会激活 PFC。n-back任务涉及WM,并会随着n值增加而变得更加困难,因此我们使用n-back任务作为实验范式,n的范围从0到3。本研究仅招募没有此任务经验的健康成年志愿者,所有其他条件保持不变,在相同的实验室条件下进行实验,实验设计与大部分以WM负荷作MWL标记的BMI研究一致。

研究目的:

1)引入、验证在单个帽子中同时使用EEG fNIRS的有效性。

2)开发使用EEG fNIRS区分MWL水平的方法,并证明其有望在现实环境中准确量化MWL。

3)严格对比单模态和多模态的分类性能。

2.方法

2.1.被试

平均年龄26.2岁(标准差7.7岁)的17名健康志愿者(16名男性,1名女性),均为大学学生或员工,实验程序得到休斯顿大学机构审查委员会的批准。执行n-back任务期间,被试通过空格键检测目标字母。所有被试都是右利手并使用惯用手进行实验。没有受试者曾参加过n-back任务相关研究,因此没有预期的训练效果。

2.2.实验设计

MWL评估最常见的WM(工作记忆)范式之一是n-back任务。字母n-back任务中,被试将观察一系列单个字母,每个字母间隔一定时间;他们要决定字母是否是目标字母[与序列中前n次出现的字母是否相同]。随着n值增加,任务难度变高,研究通常使用0-back任务作为控制状态。图1说明了字母n-back任务在n为 0、1、2或3时的模式。被试根据n值找到目标字母并执行操作。

每个实验有40个session,以伪随机顺序呈现,每个n-back任务(0123-back)10个session。每个session中,首先出现一个指令block,指令显示5秒,告知受试者将要开始哪种n-back任务。随后,22个随机选择的字母依次出现(任务block),每个字母呈现500毫秒,受试者有1500毫秒的时间进行按键反应。每个session结束时有一个25秒的休息block,休息期间受试者保持放松,专注于屏幕上的十字注视点,让大脑激活返回基线状态。图2显示了一个示例session,总时长50分钟。实验程序使用Presentation编写,目标字母识别准确率太低(0-back<90%或1-back<80%)的受试者将被筛除。

图1. n为0,1,2,3时的字母n-back任务示意图

图2. 字母n-back任务实验设计,每个session包括指令、任务和休息block

2.3.数据采集和预处理

一项元分析发现字母n-back任务强烈激活的皮质区Broadman区6、7、8、9、10、32、40、45、46、47和辅助运动区)。我们参考此信息与之前的EEG研究结果为19个EEG电极选择最佳位置,Fpz作接地电极,Cz作参考电极。使用microEEG设备采集EEG数据,采样率250Hz(图3a),电极阻抗保持10千欧以下,使用128通道电极帽(EasyCap,德国)。如图3c所示,fNIRS光极覆盖受试者额头[完全覆盖PFC],7个光源和7个探测器形成19个通道,光源-探测器(S-D)距离3厘米。根据标准10-20系统(图3b,c),S4和D4位于前额中心,其中D4位于AFz的位置,通道10位于Fpz的位置。我们在前额上使用三元组支架(triplet-holder)将每个EEG电极保持在S-D对的中间,并固定传感器的距离。使用NIRScout采集fNIRS数据,采样率8.93Hz,通过常用事件触发器(common event triggers)与EEG数据同步(图3a)。NIRScout是一种双波长的连续波系统,对EEG信号进行0.5-80Hz的带通滤波以及60Hz的陷波滤波来降低工频干扰。

图3. (a)EEG fNIRS的记录设置。被试与计算机交互,同步、记录EEG和fNIRS信号并传输到采集平台。

(b)受试者的头颅视图,显示放置fNIRS光和EEG电极的近距离视图。

(c)fNIRS光源(Si,黑色)和探测器(Di,红色)、EEG电极(绿色)的地形图。

我们使用空间拉普拉斯变换从EEG信号中去除肌电伪迹,每个EEG信号减去了相邻电极的平均EEG值,图4显示了19个EEG通道的相邻电极配置。NIRScout设备以两种不同的波长(760和850nm)记录信号,氧合、脱氧血红蛋白浓度变化(HbO和HbR)使用修正版Beer-Lambert定律,通过发色团消光系数和差分路径长度因子标准值计算得出。fNIRS可能受到运动、心率和Mayer波伪迹的影响,为了最大程度保留信息量并减少伪迹的影响,我们对fNIRS信号使用0.01–0.5Hz的带通滤波,排除伪迹超过10%的数据。图5显示了其中一个受试者的一段预处理数据,该图显示了用于做特征提取的fNIRS和EEG时域信息。第一、二行分别是fNIRS通道17的HbO和HbR,第三行是O2通道的EEG。

图4. EEG地形图展示了拉普拉斯空间滤波的相邻模式。

图5. 一名受试者的样本预处理EEG fNIRS数据。

(a)通道17的氧合血红蛋白(红色曲线)和脱氧血红蛋白(蓝色)的浓度变化;

(b)通道O2的EEG时频图。

预处理后每个任务block(0, 1, 2, 3-back)和休息block使用5、10、20或25秒的窗口,以评估窗口大小对分类的影响。图6显示了四种不同的窗口标记类型。大多情况下相邻标记存在重叠(标记长度的一半),这种重叠是为了捕捉每个人独特的时间响应[因为血液动力学响应达到峰值所需的时间和/或峰值数量可能存在个体差异]。此外在分类阶段,每个类中特征数量不同会使训练效果偏向于数量更多的类。当窗口大小从5秒更改至25秒时,每个任务block分别提取16、8、4和2个特征,休息block提取5、4、2和1个特征。

图6. 基于窗口长度的四种不同模式。

任务block和休息block分为(A)5、(B)10、(C)20和(D)25秒的窗口(wi)。

2.4.特征提取

每个窗口提取了三类主要特征:EEG(单模态)、fNIRS(单模态)、EEG fNIRS(多模态)EEG的特征提取为频带功率 (PSD)、相位锁值(PLV)、相振幅耦合(PAC)以及左右半球之间频带功率的不对称性(Asym_PSD)。使用短时傅立叶变换对数据进行时频变换,窗长为1s,步长为半个窗宽,频率分辨率为1Hz。计算8个频段的功率,每个频带的宽度为4Hz,范围为0到32Hz,使用f1到f8表示8个频段。PLV用于度量不同神经元群之间的相位同步程度,在三种电极对[半球内、对称半球间和非对称半球间]、四个目标频带([3-5]、[9-11]、[19-21]、[39-41] Hz)总进行计算。PAC测量低频相位与高频振幅的耦合关系,用于估计局部多频组织神经元活动。选择8个左右半球之间的EEG通道对计算Asym_PSD。

fNIRS特征为:HbO和HbR的幅度(HbO/R Amp.)、斜率(HbO/R slope)、标准差(HbO/R Std.)、偏度(HbO/R Skew.),以及HbO和HbR的峰度 (HbO/R Kurt.)。 HbO和HbR的统计数据通常用作MWL和BMIs的fNIRS特征,研究包含的特征数据揭示了HbO和HbR的时域、区域相关性,因此我们还纳入了HbO和HbR的零滞后相关性(HbO-HbR Corr.)作为附加特征。

多模态特征基于EEG和fNIRS的特征以及同时依赖两个系统的特定混合量,我们选择了一个可在目标时间窗口内轻松计算的值:Hb(HbO或HbR)幅度与EEG频带功率的零滞后相关性,分别表示为NVO(氧化神经血管耦合)和NVR(脱氧神经血管耦合)。

2.5.分类与验证

分类与验证使用了SVM分类和k=10的k-fold(十折)交叉验证。SVM已在医学诊断、光学字符识别、电力负荷预测等领域取得理想成果,在数据不规则的情况下具有优势。线性SVM构建了一个最优超平面,由此创建决策面,最大化属于不同类别的最近邻数据点间的分离边界。k-fold将数据随机分成k个大小大致相同的组,选择一组作为测试集,其余作为训练集。每个特征组都做了主成分分析(PCA)。计算PCA后产生19个主成分(PC)及其相关的时间序列,用作新的特征组,类似的PCA继续应用于每个特征组,生成包含一组权重值,这可以解释为脑区激活地图。由此,我们通过PCA解释了与每个特征相关的激活分布。PCA还能生成与该特征的方差相应的特征值,这个值通常会急剧下降,前几个的总和几乎占19个PC的所有能量。然而如结果所示(表1),能量最高的PC(主成分)不一定提供最多信息。为了估计区分特征的能力,我们使用皮尔逊相关系数,用代表休息或任务难度级别的整数标记窗口来构建参考时序({0(休息),1(0-back),2(1-back),3(2-back)),4(3-back)}),使用R2(时间序列和参考信号间皮尔逊相关的平方)对特征集进行排序。

本研究中有10对可能的二元分类对应五个不同类别(rest,0/1/2/3-back),我们选择{1-back v rest}、{2-back v rest}、{3-back v rest}、{1-back v 0-back}、{2-back v 0-back} 和 {3-back v 0-back}来研究不同特征组区分WM(工作记忆)负荷的能力。我们还研究了多元分类区分MWL的能力,使用全对(all-pais) ECOC(纠错输出码多类模型)模型,用训练数据中的类别来训练分类器,为测试数据中的新实例分配标签,最小化所有二元分类器预测的汉明损失[与替代方案相比,这种方法已被证明可提高准确率同时保持较低的运行时间复杂度]。多元分类包括四组多类集:{3-back v 2-back v 1-back}、{3-back v 2-back v 1-back v 0-back}、{3- back v 2-back v 1-back v rest}和{3-back v 2-back v 1-back v 0-back v rest},最后交叉验证重复k次,每组观察值仅用作测试数据一次,总准确率为重复验证的均值。除了整体准确率之外,还通过混淆矩阵(confusion matrices)评估分类性能,

主要指标为:

(a)A类(Sens.A)的灵敏度,描述分类器识别A类观察的能力;

(b)A类(Spec.A)的特异性,描述分类器识别不属于A类观察的程度;

(c)A类的阳性预测值(PPVA),告知给定预测是A类且观察结果真正属于A类的概率;

(d)A类的阴性预测值(NPVA),告知给定预测不属于A类且实际样本也不属于A类的概率。

我们集合k-fold交叉验证所有k混淆矩阵计算Sens.A、Spec.A、PPVA和NPVA,所有计算使用Matlab R2015b完成。

3.结果

图7. 被试在难度增加的任务条件下的行为表现: 准确率(红色)与反应(黑色)。

误差条表示被试间变异的标准偏差,星号表示统计显著性(*p<0.05,**p<0.001,***p<0.0001)。

首先调查受试表现与任务难度之间的关系。图7显示所有受试者的准确率和反应时,误差条显示被试间变异的标准偏差。该图显示,准确响应的比例随任务难度的增加而降低,0和1-back任务之间的准确率几乎没有下降。此外,受试者正确反应的反应时随任务难度增加而增加(最终增加了一倍多)。

图8. (a)0-back, (b)1-back, (c)2-back, (d)3-back, (e)休息期间的标准化HbO(红色)和 HbR(蓝色)的总block平均值。粗曲线表示所有通道、被试的平均值,阴影区域表示被试间变异的标准偏差。

我们接下来检查心理负荷变化期间的HbO和HbR模式。图8(a-e)显示了HbO(红色)和HbR(蓝色)波幅的block平均值,阴影区域显示了被试间变异的标准偏差,总block平均表示所有通道、所有被试在同一类block的平均值。神经激活后,局部血流和血容量通常以秒为单位增加,且在任务开始时PFC的局部氧合增加产生HbO的正峰值,几秒钟后由于氧的代谢消耗,氧合血红蛋白浓度下降导致负的HbO幅值。任务block之后的休息期间,氧合血红蛋白浓度开始增加,HbO回到基线,而在休息即将结束时,即将到来的任务预见了HbO的升高。任务期间HbO的变化幅度明显高于HbR,其正峰值从0到2-back增加,而后从2到3-back降低。HbO和HbR具有相反的变化趋势,休息状态下二者短时间负相关,在任务期间变化取决于n值。HbO变化的范围随着n的增加而增加,从2变为3时略有下降。在图8f与8g中我们展示了一个特定的fNIRS通道(通道10,位于Fpz,近前额中心),休息与所有n值任务的曲线显示在同一个图中以便于比较。我们只显示n-back任务block的前25秒(在完整的44秒中),为清楚显示信息省略了标准偏差的阴影区域。图8f显示,HbO的峰值幅度在任务表现时是正值,休息时是负值,当n>0时随着负荷的增加而减小。曲线下的面积清楚区分了休息和任务block,在休息期间为负,在所有n-back任务中为正,10秒后出现的HbR的block平均峰值(图8g)与心理负荷水平呈正相关。在0-back任务中没有观察到这些变化,因为它只与感知有关,与WM的关系较小。

图9. 5秒窗口特征标准化的总block平均值:

(a)通道O2的PSD(delta、theta、alpha波段),

(b)通道10的HbO/R Amp.,

(c) (d) 通道10的NVO与NVR(delta、theta、alpha波段),阴影区域表示被试间变异的标准偏差。

图9显示了WM(工作记忆)负荷程度变化时,EEG提取的PSD、fNIRS提取的HbO/R Amp.、EEG fNIRS提取的NVO/R特征,图中一个session包含一个任务block和随后的休息block。对于每个认知状态(0/1/2/3-back),每个被试都经历10个session,窗口为5秒时每个session得到21个特征值(16个来自任务block,5个来自休息block)。图9的曲线通过三角移动平均滤波器计算,每一步覆盖三个样本,然后是三次样条插值(cubic spline interpolation)。该图显示EEG的theta、alpha波段在0-back和1-back期间为正,在2-back和3-back任务中变为负值;HbO从0到2-back显示正峰值,3-back略低于2-back;多模态特征(如delta范围内的NVO)通常类似于相应的单模特征(如delta范围内的HbO和PSD)的变化,但HbO和PSD均不受NVO支配,表明多模态特征包含额外信息。

表1.三个具代表性的被试的休息 v 3-back二元分类特征排名(通过R2排名)。

表1显示了3-back v rest分类中三名受试者排名最高的10个特征(基于R2排名),特征由缩写(如PSD、PLV、HbO,详细信息见方法部分)和特定频段表示[频段仅适用于脑电图和神经血管特征]。根据特征值的量级显示了特征的顺序[从能量最高的(1)到最低的(19),因为PLV没有使用PCA,给出通道标签而非PC(主成分)顺序]。例如,被试1中排名最高的特征是能量排名第三的PC(主成分),EEG的theta波(4-8 Hz),受试者3中排名最高的特征是能量第二高的PC,基于HbR与EEG高Beta范围(28-32Hz)的神经血管特征。这说明排名靠前的特征类型可能因被试而异,特征的区分能力高并不意味着PCA的能量高。

图10. 使用5秒特征窗口对rest v 3-back分类时各特征类型的准确率。

误差条表示受试者间变异性的标准偏差,神经血管特征联合缩写为NV,从不同系统中提取的特征:EEG(灰色条)、fNIRS(红色条)和多模态(绿色条)。

图10显示了各系统的分类精度,包括使用5秒窗口的3-back v rest的多模态系统。误差条代表被试间变异的标准偏差。在EEG组(灰色条)中,最左边的条是仅基于PSD特征的准确性,往右是仅基于PLV特征的准确性,对于PAC和其他特征类型也是如此。 EEG组中最右侧的条显示了完整EEG系统的准确性,其中包括基于EEG信号的所有特征类型。显然,PSD是EEG区分能力的主要贡献者,然而通过包含其他特征类型,该系统的准确性似乎略有提高。在fNIRS系统(红色)中,最左的条形表示Hb幅度,Hb幅度和HbO-HbR相关是检测准确性的主要贡献者。与EEG系统不同,斜率和高阶统计量等其他特征类型显著提高了fNIRS系统的准确性。fNIRS系统的整体精度低于EEG系统。仅基于神经血管特征的准确率由多模态组(绿色)中最左侧的条形指示,多模态组的中间条代表来自EEG和fNIRS系统的所有特征的合集,在多模态系统中包含神经血管特征(最右绿色条)略微提高了准确性。

图11. (a)准确率和(b)EEG(黑色)、fNIRS(红色)、多模态(绿色)系统的R2累积总和作为系统规模的函数。

被试的平均值和标准偏差分别由实线、阴影区域表示,分类任务为rest v 3-back,特征窗口大小为5秒。

图10比较了各成像系统的准确率,每个系统都包含属于它的全套特征,其数量有所不同,如EEG、fNIRS和多模态系统分别包含360、209和873个特征,这可能导致系统准确性受特征数量的影响,因此我们使用R2排序在不同的系统间选择相同数量的特征进行后续分析。图11a表明fNIRS系统的准确率最低,EEG的表现更好,多模态始终优于前二者。图11b显示了随特征数量的上升时,三个系统的R2指数总和的变化,计算的是5秒窗口大小的3-back v rest,其在性质上与其他窗口大小的其他类别对的分类结果(未显示)一致,阴影区域表示被试间变异的标准偏差。

表2-3. 表2.研究中所有受试者(S1至S14)的二元分类准确率。

表3. 研究中所有受试者(S1到S14)的多类分类准确性,均用10折交叉验证。

图10仅提供了一种二元分类(3-back v rest)的结果及作被试间变异,然而检查所有被试的结果以及二元、多元分类的结果也很重要。表2、3分解了每个被试(S1、S2、...、S14)、系统类型(EEG、fNIRS、多模态)和分类(二元、多元)的准确率,所有受试的均值及最小、最大值在左侧分三列呈现。图10中EEG(灰色)、fNIRS(红色)和多模态(绿色)组中最右侧条的高度对应表2“均值”列下的准确率百分比83.5、75.3和90.1。单个受试的列中,表2显示10折交叉验证的平均准确率和标准偏差。如表2所示,基线校正后任务分类的平均准确率随n值增加而增加,0-back v n-back的分类精度比rest v n-back(n>0)略高[例如1-back v rest为87.2%,1-back v 0-back为91.4%]。表3显示了多元分类的结果,随着分类中包含更多的类,准确率略有下降。在所有被试和分类中,无一例外,多模态系统的准确率最高。我们调查了这一优势是否具有统计学意义,使用系统(EEG、fNIRS、多模态)和被试作为两个因素,对每个分类进行双因素方差分析,被试间的准确率差异不显著,系统与被试也没有交互作用,不过多模态和单模态系统之间的准确性存在显著差异,p<0.001。

表4. 灵敏度 (Sens.)、特异性 (Spec.)、阳性预测值 (PPV) 、阴性预测值 (NPV) 以百分比 (%) 列出,适用于所有分类情况(二元和多类)与所有系统(EEG、fNIRS、多模态)。

表4列出了每个分类的灵敏度(Sens.)、特异性(Spec.)、阳性预测值(PPV)和阴性预测值(NPV),并总结了EEG、fNIRS和多模态系统的所有指标,以便更容易地比较它们的分类性能。

上述结果均使用5秒的窗口,其他窗口大小所观察到的结果也与其一致。我们还评估了窗口大小(5、10、20和25秒)对EEG、fNIRS、多模态系统分类精度的影响。图12显示了评估结果,窗口大小的变化对三种系统都有相同的影响,从5秒增加到20秒,精度先增加,后下降。

图12. 当EEG(灰色)、fNIRS(红色)和多模态(绿色)系统使用不同窗口大小时rest v 3-back分类的准确性,误差条表示被试间变异的标准偏差。

4.结论

研究结果表明,EEG fNIRS与分类器相结合能够有效区分不同级别的MWL心理负荷 (mental workload, MWL) 。在本研究中,多模态系统对每个被试的准确率都高于单独的EEG或fNIRS。EEG和fNIRS特征合并,以及加入神经血管特征使协同作用增强而。在航空、手术等关键任务环境中,即使微小的MWL检测的改进也可显著提高安全性和效率。本研究使用WM负荷(通过n-back任务)调整MWL的水平。EEG和fNIRS可以在低成本,较少干扰用户的情况下同时使用。综上,开发被动BCI和其他需要监测用户MWL的应用程序时时,EEG fNIRS结合应优先于单独的EEG或fNIRS。

0 人点赞