运动想象脑机接口编码:运动想象的执行与能力评估及提高方法 || 伏云发教授等

2022-09-22 11:09:28 浏览数 (2)

运动想象(MI)是驱动脑机接口(BCI)的一种重要范式,但 MI 心理活动不易控制或习得,MI-BCI 的性能严重依赖被试 MI 的表现。因此 MI 心理活动的正确执行以及能力的评估和提高对 MI-BCI 系统性能的提升及应用具有重要的甚至关键性的作用。然而,在 MI-BCI 的研发中,已有研究主要聚焦于解码 MI 的算法,对 MI 心理活动的这三个方面没有足够的重视。本文针对 MI-BCI 的这些问题进行详细论述,指出被试易把动觉运动想象执行为视觉运动想象;未来需要研发客观的、定量可视化的 MI 能力评估方法,并且需要研发有效的、训练时间短的 MI 能力提高方法,也需要在一定程度上解决个体之间和内部 MI 的差异性、共性和 MI-BCI 盲问题。

脑机接口(brain-computer interface,BCI)是一种变革性的人机交互[1-4]。在典型的 BCI 范式中,运动想象(motor imagery,MI)是一种重要的 BCI 范式,MI-BCI 在运动功能障碍康复训练中具有重要的应用价值[5-7],也能用于脑控智能设备(如脑控智能机器人[8-9]),如图 1 所示。

图1 MI-BCI 系统示意图

在图 1 中,执行 MI 心理活动的人是整个 MI-BCI 系统的控制器,MI-BCI 的性能严重依赖于被试 MI 的表现。然而,MI 心理活动不易控制或习得,存在 BCI 盲或操控 BCI 较差的被试[10]。因此,MI 心理活动的正确执行、能力的评估和提高这三个方面的研究对 MI-BCI 系统性能的提升及应用具有重要的作用。迄今为止,已有的 MI-BCI 研究主要聚焦于解码 MI 的算法[11-13],对上述 MI 心理活动的三个方面研究不多或不够深入,也没有足够的重视,也少有文献对 MI 心理活动的这些内容进行阐述。本文针对 MI-BCI 的这些问题进行详细论述,指出存在的问题和需要注意的事项,并提出未来的研究方向。

1、实际运动、动觉运动想象

与视觉运动想象

肢体或身体其他部位的运动对人们的日常生活极为重要,运动功能的障碍或丧失会给患者的生活带来极大的不便[5-6]。MI-BCI 有望为运动功能障碍的患者提供可选的康复训练新方法[7,14-15],改善其与外界的交流。BCI 中的 MI 范式涉及肢体或身体其他部位运动的想象,大多数 MI-BCI 文献报道的是动觉运动想象(kinesthetic motor imagery,KMI),但实际上还有另一类 MI 是视觉运动想象(visual motor imagery,VMI)[16-17]。

1.1 实际运动的执行

在日常生活中,人们频繁地执行一些肢体或身体其他部位的运动(即实际运动的执行,motor execution,ME),如步行、左右手臂运动、左右手部运动、头部运动、眼球运动、面部肌肉运动、舌部运动、咀嚼或咬牙等,除此而外,也执行不同肢体的一些协调运动或复合运动,其方式具有多样性。一些肢体或身体其他部位的运动如图 2 所示。

图2 肢体和身体其他部位运动示例

a. 步行;b. 舌部运动;c. 眼动;d. 手臂伸曲;

e. 脚前掌轻敲;f. 微笑;g. 穿针引线;h. 握拳;i. 咬牙

当个体准备 ME 时,其中枢神经系统(central nervous system,CNS)会进行运动规划,即产生运动意图,特定的脑区或脑网络被激活[1-2]。之后,CNS 传出的运动控制信号通过外周神经系统被发送到相应的肌肉组织,产生相应的运动,如图 3a 所示。运动的意图或想象可以通过 BCI 进行探测,直接产生运动,而旁路肌肉组织不会被激活,如图 3b所示。

图3 CNS产生的基于肌肉的动作与基于BCI 的动作相比较[1-2]

a. CNS/肌肉系统;b. CNS/BCI 系统

在图 3a 中,CNS 控制 ME 通常包括三个阶段:运动准备和规划阶段、运动执行阶段和运动精确控制阶段[18]。这三个阶段分别诱发三种不同的电位:准备电位、运动电位和运动监测电位。CNS“自上而下”地把运动意图、执行和精确控制的指令传递给外周神经和肌肉以实现运动,运动的结果又通过肌肉和外周神经“自下而上”地传递到 CNS,通过比较运动或动作的目标与系统的当前状态来控制动作,以达成运动的目标。

1.2 动觉运动想象的执行

与上述 ME(可见的显式运动)相比,KMI 要求被试以第一人称视角在心里感觉或排演自己肢体或身体其他部位的运动过程但不发生实际运动[16,19-20],即 KMI 要求个体一方面在心里创建运动的心理表征和肌肉收缩的感觉,但同时又要阻止该动作实际发生[21],这是一种矛盾的对抗过程,是一种不自然的心理活动,不易执行和控制该心理活动[22]。

KMI 能力的习得往往需要大量的训练,因为人们在日常生活中很少进行这种心理活动,从而缺少操控该心理活动的经验或技能,存在较严重的运动想象盲(MI illiteracy)[23]。在这里,运动想象盲主要是指没有 MI 能力或者 MI 能力很差的被试,即使经过训练也难以获得 MI 能力[23]。图 4a 为被试在心里执行握拳的 KMI 示意图。

图4 KMI 和 VMI 示意图

a. KMI 示意图;b. VMI 示意图

1.3 视觉运动想象的执行

还有一类 MI 是 VMI,目前已有基于 VMI 的 BCI 研究[24-25]。VMI 要求被试在心里可视化特定肢体或身体其他部位的动作,即被试应以第三人称视角在脑海中清晰地看到自己或他人特定肢体或身体其他部位运动过程的画面[26]。与需要大量训练的 KMI 心理活动相比,VMI 心理活动仅需要少量的训练,甚至不需要训练,因为人们在日常生活中经常进行视觉想象(visual imagery,VI),如在脑海中回忆或看到某个情景或图片[25]。VI 是一种自然的心理活动,被试往往可以熟练地、自由地操控此种心理活动。例如,我们能在脑海中浮现出自己母亲清晰的面孔,更能够在脑海中浮现出自己的形象;也能够轻易地在脑海中浮现出一个物体并在心里操控该物体做各种运动,例如旋转;我们还能够在脑海里回忆一段电影里的视频或日常生活中的一个社交场景,这些均是 VI 心理活动。VMI 是 VI 中的一种,图 4b 为被试在心里执行步行的 VMI 示意图。

1.4 实际运动、动觉运动想象和视觉运动想象的比较

1.4.1 执行的差异

ME 是自己执行的显式运动,自己和他人往往能够观察到该运动的外在表现,是长期大量训练而习得的自然运动,已习惯或自动化了,容易执行,通常不需要投入过多的心理资源或脑力。与 ME 相比,KMI 和 VMI 都是内隐性或内源性的心理活动,即隐式的运动,自己和他人往往观察不到该运动的外在表现。然而,KMI 和 VMI 是两种不同的心理活动,KMI 是以第一人称视角在心里感觉或排演一个实际运动过程但不显示出来,而 VMI 则是以第三人称视角在心里看到或回忆之前观察到的运动画面。表 1 列举了 5 种运动的 ME、KMI、OOM 和 VMI 的执行比较。其中 OOM 为观察运动(observation of movement),是指个体观察特定肢体或身体其他部位运动的过程或计算机屏幕上显示的特定肢体或身体其他部位运动过程的动画或视频[16]。

表1 5种运动的 ME、KMI、OOM 和 VMI 的执行比较

1.4.2 脑成像的差异

上述四种运动模式(ME、OOM、KMI 和 VMI)的执行在心理和行为上存在差异,这些执行上的差异会使它们的脑成像存在差异,在 MI-BCI 的研发中,需要特别注意这些差异。除了执行上的差异,不同肢体的不同运动方式或不同的运动学和动力学参数(如运动时间、运动路径、运动速度和作用力等)也可能诱发不同脑区和脑网络回路的激活[23,27],如左、右脚 MI 的成像就有差异[28-29]。因此,在 MI-BCI 的研发中,需要指明参与运动的肢体和具体的运动方式和运动参数,即明确特定肢体的特定运动。

关于 MI 激活的脑区目前还没有统一的结论,这是由于不同研究采用的实验范式存在差异(MI 涉及的肢体不同,运动的方式也不同)。尽管如此,通过总结 MI 脑成像的相关文献[30-32],仍然可以发现一些目前已达成共识的激活脑区,如表 2 所示。

表2 ME、OOM 和 MI 激活的脑区比较

为了使读者更好地理解表 2 的内容,图 5 示意了 ME、OOM 和 MI 激活脑区的元分析[28]。

图5 ME、OOM 和 MI 激活脑区的元分析

从表 2 和图 5 可以看出,MI 与 ME 激活的区域较为接近,这与许多已有研究的结果一致,即 MI 与 ME 具有相似的神经机制,都会诱发与运动相关的脑节律事件相关去同步(event-related desynchronization,ERD)[17]。需要注意的是,由于 MI 心理活动需要抑制实际运动的发生,因此,MI 与 ME 激活的脑区或脑网络并不完全一样。关于 MI 的神经机制,还有很多争议的地方,如因脑区定义的不清晰而导致存在争议的初级运动皮层[17]、早期视觉皮层[33]等。

如前所述,KMI 与 VMI 是两种不同的心理活动,可以假定这两种心理活动激活的脑区存在差异。归纳关于这两种心理活动脑成像的研究,目前为止发现差异具有统计学意义的是:与 KMI 相比,在 VMI 期间,视觉皮层的活动抑制程度更高[30-31]。这也提示我们在研发 KMI-BCI 和 VMI-BCI 时,需要注意脑区激活和抑制的差异并选择合适的电极。对这两种不同的 MI 心理活动,未来需要深入研究它们的神经机制。

1.5 特别值得注意的问题

1)MI 不是瞬间完成的,需要持续一段时间,着重感觉运动的过程,且 MI 过程的时间与相应的 ME 过程时间一致[34]。因此,无论是 KMI-BCI 还是 VMI-BCI,要求被试控制自己想象过程的时间要和相应的 ME 过程时间一致,避免仓促完成 MI 而导致 MI-BCI 性能降低。

2)在构建 MI-BCI 过程中,既有构建基于 KMI 的 BCI,也有构建基于 VMI 的 BCI[35-36]。目前,对训练有素的 MI 被试,KMI-BCI 的分类精度要高于 VMI-BCI 的分类精度[14]。尽管 VMI 要比 KMI 容易执行,但 VMI 的分类比 KMI 的分类挑战性更大。

目前已有少量研究对 VMI-BCI 进行了探索[35-37],但总体而言,实验范式的设计尚存在局限,这严重影响了分类精度[24]。从这一方面来看,VMI-BCI 还需要更深入的研究。未来,VMI-BCI 需要精心设计 VMI 任务组,使得任务组相关的脑电特征具有显著的差异,或者进一步提取具有可分性的特征。

3)被试易把 KMI 执行为 VMI,反过来则较少。这是因为对大多数人来说,VMI 要比 KMI 容易执行。为了确保被试正确地执行 KMI 或 VMI,需要设计精确的实验指导语(如左手食指轻敲的实验指导语,可以参考表 1),并在实验开始之前对被试进行离线训练。例如,对于 KMI-BCI 实验,可以先让被试执行肢体或身体其他部位的实际运动,紧接着要求被试在心里排演或感觉实际运动的过程,重复训练一定时间;对于 VMI-BCI 实验,先让被试观看肢体或身体其他部位运动的过程,紧接着要求被试在心里回忆或看到之前观看的运动过程画面,重复训练一定时间。

为评估被试是否正确执行 KMI 或 VMI 心理活动,可通过下文介绍的 MI 能力评估方法确定,如脑功能成像方法或神经反馈(neurofeedback,NF)可视化方法等。

4)在 MI-BCI 范式创新设计时,可供考虑的建议:① 与单个肢体 MI 相比,涉及多个肢体参与的协调 MI 或复合 MI,具有重要的研究意义和价值,如图 1 中的步行和穿针引线;② 与粗略的肢体 MI 解码相比,更加精细的肢体 MI 解码更具有挑战性和价值,如不同手指的运动;③ 与识别参与 MI 的肢体类型相比,解码 MI 的运动学参数(如运动时间、运动轨迹、运动速度)和动力学参数(如作用力的变化和加速度)更具有挑战性和潜在的价值,如步行的速度、轨迹等[27]。

2、动觉运动想象

和视觉运动想象能力的评估方法

一些被试 MI 能力较强,但也有一些被试 MI 能力较差或没有 MI 能力(MI 盲[23])。在 MI-BCI 的研发中,对被试 KMI 和 VMI 能力的评估至关重要,可以根据评估结果初步确定其是否有操控这一类 BCI 的潜在能力,也可为提高这类被试或用户的 MI 能力提供方案。

尽管 MI 是一种主观的心理体验,但在过去的几十年中,许多研究表明,对 MI 的能力进行客观的评估和分析是可能的[38-40]。目前常用的 MI 能力评估方法有问卷调查法(或国际量表)[7,40]、心理测时法(mental chronometry)[34]、脑功能成像、NF [41]、心理旋转法(mental rotation)[38,42]等。MI 是由一系列过程组成的,包括运动图像(motor images)的生成、维持、操纵和可控性 [43-44],这 4 个成分代表了 MI 的不同阶段或维度[34,44],并分别可以采用问卷调查、心理测时法、心理旋转法和可控性测试进行评估[45]。

2.1 国际量表

迄今为止,有若干评估 KMI 和 VMI 能力的国际量表,有的量表针对健康个体,如运动想象问卷调查(Movement Imagery Questionnaire,MIQ)[46];有的量表针对运动残疾患者,如动觉和视觉想象问卷调查(Kinesthetic and Visual Imagery Questionnaire,KVIQ)[40];有的针对 MI 的可控性,如运动想象的可控性测试(Controllability of Motor Imagery Test,CMI test)[47];有的针对 MI 的生动性,如运动想象生动性问卷调查(Vividness of Motor Imagery Questionnaire,VMIQ)[48]。MI 能力的两个关键特征是生动性和可控性[49],MI 能力问卷调查量表主要围绕这两个关键特征进行评估。下面主要介绍常用的 4 种 MI 问卷调查量表。

2.1.1 运动想象问卷调查

MIQ[46]从视觉和动觉各 9 个任务项目评估被试的 MI 能力,采用 7 分制,是一种依赖被试自我报告的调查问卷形式。该问卷要求被试在 MI 前执行实际运动,并为被试提供 MI 指导语。由于 MIQ 需要参与者执行一些实际运动,在运动功能障碍人群中难以推广,因此常用于健康人群和运动员。目前有 MIQ 和 MIQ-R 两个版本。

2.1.2 运动想象生动性问卷调查

MI 的生动性及其评估很重要。VMIQ 旨在评估 MI 在视觉和动觉方面的生动性,其从第一人称视角和第三人称视角两个角度评估被试的 MI 能力,每个角度各 24 个任务项目,采用 5 分制打分表,被试在 MI 评估之前无需进行实际运动。VMIQ 的打分机制如表 3 所示[48]。目前有 VMIQ 和 VMIQ-R[50]两个版本。

表3 MI 的清晰度/生动性评价量表

对 VMIQ 的可靠性和有效性的研究表明,它是一种很有前景的方法,但该问卷目前的项目更侧重于评估运动的 VI 而不是动觉想象(kinesthetic imagery,KI)的生动性[50]。然而,评估运动的 KI 生动性极为重要,因为在目前的 MI-BCI 研究中,主要采用的是 KMI,具有生动性的 KMI 可能会诱发显著的 EEG 特征,有利于 KMI-BCI 的分类。此外,通常来说,KMI 不容易正确执行,往往缺少生动性,而 VMI 相对容易执行,其生动性较好,因此更需要侧重评价 KMI 的生动性。

2.1.3 运动想象的可控性测试

CMI 是指被试根据顺序运动的指示,自主地按顺序想象操控自己肢体的能力,可以采用 CMI test 来评估这项能力[47]。CMI test 由 15 个不同的任务项目构成,每个任务项有 6 个想象控制项(即测试指导语)。表 4 为 CMI test 中 1 个任务的 6 个想象控制项示例。

表4 CMI test 中 1 个任务的 6 个想象控制项示例

CMI test 要求被试想象一种基本的运动姿势(即第 1 个想象控制项),然后根据实验指导语依次想象控制或操纵该姿势。在连续想象 6 个控制项后,要求被试从 6 个选项(包括 5 种不同的肢体姿势和忘记选项,以图片的形式展示)中选择与内心想象的肢体姿势相匹配的选项。被试完成 15 个任务项的测试,根据被试选择的正确率来评估被试 MI 的可控性,准确率越高,说明被试对 MI 的控制性越好。

上述 MI 的可控性及其测试很重要,因为 MI 要求被试在心里排演相应的实际运动过程,想象该过程的顺序控制和所需的时间要求与实际运动过程一致,良好的 MI 可控性可能诱发显著的头皮脑电(electroencephalography,EEG)特征,进而有利于 MI-BCI 的解码。

2.1.4 动觉和视觉想象问卷调查

KVIQ[39-40,51]综合了 MIQ 和 VMIQ 的优缺点(MIQ 评测前需要被试执行实际动作,不适合运动功能障碍患者,VMIQ 更侧重 VI),问卷调查者根据被试执行 KMI 或 VMI 时的主观感受进行评分。也就是在想象结束后,被试根据评分等级的评估词,如“不能想象”或者“没有感觉”等,向问卷调查者描述 VI 内容的清晰度和 KI 的感觉强度,然后由调查者按 5 分制进行评估,如表 5 所示[52]。被试在 KVIQ 评估之前无需进行 ME,因此,该问卷适合那些因故不能站立或执行复杂动作的人,如脑卒中患者[39,51]。目前,KVIQ 有 KVIQ-20 和 KVIQ-10 两个版本,其中 KVIQ-20 有 20 个任务项目,而 KVIQ-10 只有 10 个任务项目,耗时短,常用于临床。

表5 KVIQ 评分表Table5. Rating scales of the KVIQ

以上介绍的问卷调查评估方法具有一定的局限性,因为被试心理想象的过程和结果只有被试本人知道,实验者无法知道,被试做出选择的正确与否或评分依赖被试的判断,具有一定的主观性。而 NF 等评估方法可能在一定程度上克服这个局限。

2.2 心理测时法和心理旋转

除了上述问卷调查法,还可采用心理测时法针对 MI 的执行时间来评估 MI 的能力[34]。此外,肢体的心理旋转也是一种 MI,可以作为驱动 BCI 的一种心理任务,其往往与心理测时法相结合。

2.2.1 心理测时法

心理测时法是对人脑信息加工的时序或心理活动过程的精确测量[34]。执行心理任务所花费的时间反映出该心理任务的认知过程,心理测时法可评测认知加工速度。认知加工速度常采用反应时间(reaction time,RT)衡量,RT 为从刺激(如视觉或听觉)或提示出现到被试做出反应所需的时间。心理测时法通常采用基本的、简单的认知任务,包含的心理过程或操作数量相对较少,RT 为毫秒级。

MI 是一个过程,往往不是瞬间就完成的,需要花费一定的时间,因此心理测时法可以作为评估被试 MI 能力的一个指标[53-54]。在周期性的运动中,MI 和相应 ME(如抓握、书写和跑步)的持续时间相一致[34],因此被试执行 MI 的持续时间与相应实际运动的持续时间越接近,表明该被试的 MI 能力越强。MI 能力的心理测时法是对 MI 感知加工速度的测量,执行 MI 所花费的时间反映出该心理任务的感知过程。

MI 的 RT 可以这样测量:提示 MI 开始的时刻与 MI 结束时被试的按键反应时刻之差,该时间反映了在心里排演一个实际运动的感知过程或处理速度。

2.2.2 心理旋转

心理旋转是一种在心里操控物体旋转的认知任务,要求被试“旋转”二维或三维物体的心理表示[55]。研究表明肢体某部分或整体(不一定是被试的)的心理旋转过程也会使被试的相应肢体参与心理旋转运动[38],这提示我们,在运动功能障碍康复训练的 BCI 研发中,可以设计肢体的心理旋转作为驱动 BCI 的一种心理任务,把肢体的旋转图像先呈现给被试,然后让被试在心里旋转该肢体。

由上可知,心理旋转是一种心理任务,而心理测时法是一种测量心理加工速度的方法,心理旋转因其可操控性,可作为心理测时法的心理任务,因此通常把心理旋转和心理测时法结合起来进行研究和应用。作为具体应用,肢体的心理旋转及其心理测时法评估通常分以下几个认知阶段:① 从所要求的角度在心里创建肢体旋转的图像(旋转的起始位置);② 在心里旋转肢体图像,直到可以进行比较(旋转的目标位置);③ 执行比较;④ 确定肢体的心理旋转角度是否达到要求;⑤ 做出决策(按下按钮时记录 RT)。被试完成肢体心理旋转的反应时间越短,准确率越高,表明被试的 MI 能力越好[38]。

2.3 脑功能成像

MI 期间的脑成像特征可以作为评估 MI 能力的一种客观指标。目前,常用的脑成像方法有 EEG[16]、功能磁共振成像(functional magnetic resonance imaging,fMRI)[56-58]、功能性近红外光谱成像(functional near-infrared spectroscopy,fNIRS)[59]等。其中 fMRI 具有较高的空间分辨率[56-57],可以定位特定感觉、知觉或认知任务下大脑的功能激活分布[58],因此可以用来评估 MI 期间大脑激活的分布特征。一种可选的方法是,首先在被试 KMI 和 VMI 任务态期间进行 fMRI 成像并提取特征,然后以具有较强 MI 能力被试的 fMRI 成像特征作为参考来比较,如果具有可比性,可评估为具有较强的 MI 能力,如果没有可比性,可评估为 MI 能力较差[60]。

除此而外,也有研究采用静息态下的 fMRI 和 EEG 成像来评估 MI 能力[61],但这两种方法不是在 MI 任务态下进行评估,可作参考。

2.4 神经反馈

NF 是生物反馈的一种,有若干可以实现 NF 的脑信号采集方法[如 EEG、fMRI、fNIRS[59]和神经元脉冲发放(Spikes)等],其中 EEG 具有较高的时间分辨率,基于 EEG 的 NF 可以在线实时可视化呈现被试大脑活动的分布特征[62],如 MI 期间大脑活动分布特征的实时呈现。

如前所述,MI 是一种隐式的运动或心理活动,实验者无法直接得知被试想了没有以及想象如何,也观察不到该运动的外在表现,因此难以评价被试 MI 的能力或表现[27]。然而,MI 期间的 EEG-NF 能够可视化地显示 MI 诱发的 EEG 特征,因此,EEG-NF 可以作为评估被试 MI 能力的一种方法,具有一定的客观性。利用 EEG-NF 评价 MI 能力的一种可选方法是,通过呈现被试的 MI 脑电特征分布的地形图、分类结果或控制外部设备的效果,以此作为评价被试 MI 的能力。

2.5 事件相关同步/去同步

在执行左右手 MI 时,对侧感觉运动区 EEG 中 μ 频段和 β 频段出现振幅降低,即 ERD,表示该运动区激活。同时,同侧感觉运动区 EEG 中 μ 频段和 β 频段出现振幅增加,即事件相关同步(event-related synchronization,ERS),表示该运动区去激活[59]。基于 MI 的 BCI 主要利用这一差异对 MI 任务进行解码[29]。ERD/ERS 可以用来反映被试脑区的激活强度[63],通过观察 ERD/ERS 特征是否稳定来判断被试 MI 能力。

3、动觉运动想象

和视觉运动想象能力的提高方法

目前,要能够或熟练操控 BCI 系统,通常需要掌握操控 BCI 系统的技能,这种技能可以通过训练获得。有研究表明,被试或用户需要学会调节或控制自己的脑活动以产生差异显著的特定 EEG 成分,从而驱动 BCI 系统,该研究认为 BCI 技术依赖于个体自主和可靠地产生脑电活动变化的能力[64]。

迄今为止,MI 是 BCI 中最常用的任务,然而,MI-BCI 的性能严重依赖被试或用户的 MI 能力或表现,为提高该类 BCI 系统的操控性,被试或用户需要接受一定量甚至是大量的训练。无论是 KMI-BCI 还是 VMI-BCI,均需要相应提高 KMI 和 VMI 的能力。

3.1 动觉运动想象能力的提高方法

通常采用两种方法提高 KMI 能力:离线训练和 NF 训练。

3.1.1 离线训练

被试离线操控 BCI 系统,首先以特定的肢体(需要明确参与运动的肢体,如右手食指)和运动方式(需要明确运动方式,如轻敲、屈伸或按压)及运动参数[需要明确运动参数,如轻敲或屈伸的速度(0.5 Hz/1 Hz/2 Hz 等)、按压力的大小(如最大/中等/最小等)]执行实际运动,获得 ME 过程的体验,然后在心里排演或模拟刚才执行的 ME 过程,但不发生实际运动[27,65-67],要求 KMI 过程与 ME 过程所用时间一致。重复以上过程,通过一定的训练量,直到获得一定程度的 KMI 生动性和可控性,训练后填写 KMI 能力问卷调查表进行评估[68]。

特别值得注意的是,不同的肢体以不同的运动方式和运动参数进行运动,其诱发的脑信号可能不完全相同,对应的 KMI 相关的脑信号也可能不完全相同[27]。经离线训练后具有一定 KMI 能力的被试可作为 MI-BCI 的候选被试,其他被试可以排除。由于此种方法是离线训练,提高 KMI 的能力有限[69],训练后的问卷调查评估具有一定的主观性,可能纳入或排除了不合适的被试。

3.1.2 NF 训练

NF 除了可以作为评估被试 MI 能力的一种方法,还可以作为训练并提高被试 MI 能力的手段,它是一种在线训练方法。有研究表明,被试可以通过脑电 NF 学习调节感觉运动皮层的电活动[70],这样自我诱发的脑电变化可以作为 BCI 的控制信号[62]。在反馈调节 KMI 期间,所有被试在对侧中央区域均出现显著的 ERD,与无反馈的初始对照实验相比,ERD/ ERS 显示出增强的半球不对称性,NF 训练后,所有被试的分类准确率达到 85%~95%[71]。其他 MI-BCI 研究[69,72]也表明 NF 训练可以在一定程度上提高被试的 MI 表现或能力。

用 NF 训练提高被试 MI 的能力,通常的方法是:被试根据计算机显示器上呈现的视觉提示执行相应的 KMI 运动。被试 KMI 任务的表现由设计的反馈形式(如反馈条[73]、脑激活地形图[74]、控制光标移动[75]、控制移动机器人[8]、控制机械臂[76]、控制智能小车[72]、控制简单有趣的游戏[77]等)在线实时可视化呈现,这些反馈形式代表了当前的脑电模式。被试根据 NF 呈现的结果可以了解自己的 KMI 表现,同时可以调整自己的 KMI 心理策略,直到看到满意的反馈结果[15],通过这样的 NF 训练,找到适合自己的 KMI 执行方式,从而提高自己的 KMI 能力。图 6 为 MI-BCI 控制机器人的神经反馈训练示意图。

图6 KMI-BCI 控制机器人的神经反馈训练示意图

与离线训练方法相比,NF 训练方法的独特优势是在线实时学习和调节,把隐式的 KMI 心理活动以可视化的反馈形式呈现出来,即“所想即所见”,从而提高 KMI 表现。

3.2 视觉运动想象能力的提高方法

对被试的 VMI 进行提高,可以先为被试示范相应的动作,或者播放演示动作的视频,然后要求被试在内心可视化之前观看到的肢体动作[68]。即被试先仔细观察运动过程和细节,进行记忆(情景记忆),然后在脑海中回忆观察到的运动过程(情景回忆)。对于大多数人,无需训练即可获得正常的 VMI 能力,并且该能力比 KMI 能力强[45]。

3.3 冥想训练

冥想是一种提高正念和意识的心理训练方法,对人的精神状态有积极作用。冥想训练也是提高 MI 能力的一种方法,因为冥想可增强注意力和控制脑节律[78-79]。如在使用 MI 控制一维和二维光标的任务中,冥想者的表现均优于无冥想经验者,并且在冥想者组中,BCI 盲的人数较少[78]。最后,对冥想组和无冥想经验组进行神经生理学分析,结果表明冥想者在任务期间的静息感觉运动节律预测因子更高,静息态 μ 节律更稳定,并且控制信号比对照组更强[78]。值得一提的是,冥想训练和 MI-BCI 是相互促进的,MI-BCI 也可以提高冥想者的专注度[80]。

4、BCI 中运动想象的执行、

能力的评估和提高方法:未来的趋势

4.1 MI 的自动化执行、实时可视化客观评估和高效的神经反馈训练

4.1.1 BCI 中 MI 的执行:训练直到自动化

无论采用 KMI 还是采用 VMI 心理活动驱动 MI-BCI 系统,在最初阶段都需要正确的指导语来指导被试正确地执行这两种心理活动,以诱发出期望的脑信号特征。随着被试操控 MI-BCI 系统经验的积累,可通过操作性条件反射训练找到适合他自己的 MI 心理策略,甚至可望达到不需要投入过多的脑力资源,也能自动化地执行 MI,并很好地操控 MI-BCI[64]。

4.1.2 BCI 中 MI 能力的评估:在线实时可视化的客观评估

由于 MI 是一种隐式的心理活动,被试和实验者均难以显式地进行监测或评估,为此需要采用脑成像的方法把 MI 期间激活的脑区分布或脑网络特征(定量指标)可视化地呈现出来。除此而外,离线的问卷调查存在一定的主观性,为弥补此缺点,需要在线实时、定量、客观地评估 MI 表现。总之,未来需要研发客观的、定量的 MI 能力评估方法。

4.1.3 BCI 中 MI 能力的提高:在线实时高效的 NF 训练方法

为提高被试 MI 的能力,离线训练可以作为初级阶段的训练,进一步的训练则需要通过 NF。基于精准的时-频-空特征[精准的脑区(对应电极)、精准的频率、精准的时间]NF 调节训练是未来的一个研究方向。这种训练需要对 MI 相关脑区[KMI 激活的感觉运动区、VMI 激活的额叶和顶枕区(与电极位置对应)]的神经振荡频段或频率(如 μ、β 和 γ 节律)的功率、运动相关电位的成分进行精准的调节。

除上面精准特征的 NF 调节外,NF 的形式设计也很重要,反馈信号丰富的视觉再现可以促进被试的学习,并且呈现 NF 内容的可视化界面要求易理解、直观和美观。总之,NF 的内容和形式要求能够集中被试的注意力,如可以将 MI-BCI 和虚拟现实(virtual reality,VR)相结合,构建高度逼真、沉浸感强的 NF 训练系统[81],这样训练效果可能会更好。因此,未来需要研发新的、更有效、训练时间短(5~10 min)的 MI 能力提高方法。

4.2 个体之间和内部 MI 的差异性、共性和 MI-BCI 盲问题

4.2.1 个体之间和内部 MI 的差异性、共性问题

充分考虑个体之间 MI 诱发脑信号的差异性,需要为特定个体定制 MI-BCI 系统;另一方面,也要考虑个体之间 MI 诱发脑信号的共性,可以采用迁移学习[11,82]构建具有一定通用性的 MI-BCI 基本模型。除此而外,还要充分考虑个体内部不同时间段 MI 的差异和共性,可以采用自适应的机器学习算法[83]、自适应的通道选择[84]和深度学习[85]等方法进行优化。

4.2.2 MI-BCI 盲

没有 MI 能力或经过 MI 能力提高训练之后其 MI 表现依然较差的被试,可建议不选用 MI-BCI 系统,而是考虑其他类型的 BCI 系统。通过 MI 能力提高训练后,原来 MI 能力较差的被试如 MI 表现提高了,则可以考虑采用 MI-BCI 系统。

5、结束语

MI-BCI 是一种重要的 BCI,其中 MI 心理活动的正确执行、能力的评估和提高方法对该类 BCI 具有重要的作用。本文阐述了与 MI-BCI 相关的 ME、KMI 和 VMI 的执行,进而对它们进行了比较,并指出需要特别注意的问题。接着论述了 KMI 和 VMI 能力的评估方法,包括评估二者能力的国际量表,主要是 CMI test、VMIQ 以及 KVIQ;还介绍了心理测时法、脑功能成像以及 NF 评估 MI 的能力。然后,概述了 KMI 和 VMI 能力的提高方法,包括离线训练、在线 NF 调节训练和冥想训练。最后指出 MI-BCI 中 MI 执行、能力的评估和提高方法是未来需要进一步研究的问题。希望本文能够启示和促进 MI-BCI 系统的研发并走向实用化。

利益冲突声明:本文全体作者均声明不存在利益冲突。

田贵鑫, 陈俊杰, 丁鹏, 龚安民, 王帆, 罗建功, 董煜阳, 赵磊, 党彩萍, 伏云发. 脑机接口中运动想象的执行与能力的评估和提高方法. 生物医学工程学杂志, 2021, 38(3): 434-446. doi: 10.7507/1001-5515.202101037


仅用于学术交流,不用于商业行为,若有侵权及疑问,请后台留言,管理员即时删侵!

vi

0 人点赞