通过沉浸式虚拟现实观察动作增强运动想象训练

《本文同步发布于“脑之说”微信公众号，欢迎搜索关注~~》

1、研究背景 增强运动想象的一种方法是动作观察，也就是观察与运动想象任务相关的身体部位的运动。先前的研究表明，镜像神经元通过模仿来进行动作的理解和学习，从而引起相应区域的激活。因此，当一个人观察到另一个实体反映想象的身体运动时，动作观察起到了诱导镜像神经元的刺激作用。 2D和3D运动的事件相关去同步化(ERD)模式有显著差异，3D可视化组的ERD增强。更丰富的可视化和对观察到的运动的更强的所有权可诱导更好的ERD发生。 近期，发表在《IEEE TRANSACTIONS ON NEURAL SYSTEMS AND REHABILITATION ENGINEERING》杂志上的一篇研究论文通过对握手动作的动作观察，探讨虚拟现实(VR)的丰富沉浸感是否会影响重复的运动想象训练。为了研究显示介质的不同是否会影响进行运动想象时的动作观察，研究者通过两种不同的显示器显示了相同的图形握手动作：沉浸式VR耳机和显示器。此外，该研究以图形情景为刺激，更加强调沉浸式VR中的错觉和具体化对运动想象训练中动作观察的影响。为了检查使用这两种不同介质时的大脑活动，研究者使用了EEG，并识别了感觉运动皮层诱发的神经信号的变化。为了测量不同运动想象任务中空间脑活动模式的可区分性，研究者应用了脑机接口中常用的机器学习技术来学习和区分不同类型的运动想象中的脑活动。

2、研究流程 研究者对每个参与者进行了两个实验，以调查在运动想象训练中使用沉浸式VR耳机提供动作观察是否对表现有影响： (1)基于沉浸式VR的运动想象(IVR-MI)：利用沉浸式VR头戴式耳机为运动想象训练提供图形握手场景的实验。 (2)基于显示器显示的运动想象(MD-MI)：在运动想象训练中使用非沉浸式显示器显示相同场景的实验。 以MD-MI结果为对照，分析VR对运动想象的影响。

2.1 被试 共有20名年龄在20岁到37岁之间的健康参与者参加了这两个实验。在实验之前，所有参与者还被要求使用较长时间的VR头戴式耳机，以确保他们在使用VR头戴式耳机时没有任何问题。参与者被随机分成两组，人数相等：A组在IVR-MI之前进行MD-MI，B组在MD-MI之前进行IVR-MI。为了降低前一实验影响后一实验成绩的可能性，后一实验至少在前一实验后7天进行。实验结果也要到两个实验结束时才向参与者透露，以避免产生任何可能影响表现的反馈。从每个参与者那里收集的数据都经过了目视检查，排除了其中两名参与者的数据，因为他们显示出广泛的噪音，最终总共留下了18名参与者进行分析。

2.2 方案 这个图形化的场景由两只虚拟的手和黑色背景上的箭头组成，是用Unity游戏引擎实现的。在每次实验之前，调整虚拟手的位置，使得两只虚拟手之间的距离大致等于参与者的肩宽(图1a)。 (1)IVR-MI设置：参与者戴上带电极的EEG帽后，佩戴Oculus Go，不使用垂直带，以防止重叠电极上的带子收紧。 (2)MD-MI设置：在参与者面前的桌子上放置一个带显示器臂的显示器，该显示器臂可提供三个自由度。每个参与者都可以自由调整显示器臂的角度。 每个参与者都可以在Unity应用程序中调整相机视角，以最大限度地提高虚拟手的所有权。参与者被要求将他们的手放在桌子上，这样他们自己的手就会被虚拟手重叠替代。

图1 实验的环境设置和实验方案。(a)MD-MI和IVR-MI的环境设置；(b)用于测量参与者的EEG信号的电极位置。

2.3 数据采集 BrainProducts的actiChamp和actiCAP被用来从每个参与者的头皮中检索脑电数据。数据以500Hz的采样率采样，有源电极按国际10-20系统放置。在整个实验过程中，记录了放置在感觉运动皮质周围的20个电极(FC5，C5，CP5，FC3，C3，CP3，FC1，C1，CP1，Cz，CPZ，FC2，C2，CP2，FC4，C4，CP4，FC6，C6，CP6)的脑电信号，接地电极和参考电极分别位于AFz和Fz位置(图1b)。用BrainVision记录脑电信号，并将每个电极的阻抗控制在5k以下，以获得高质量的数据。数据在8-25 Hz的频率之间进行带通滤波。在收集之后，然后通过在所有使用的电极位置上应用平均参考来重新参考EEG数据。将得到的预处理数据用于神经活动的分析。

2.4 实验设计 实验在一个黑暗、隔音的房间里进行，以最大限度地减少任何环境干扰。每个运动想象实验由六个阶段的10个连续的运动想象实验组成。如果需要，参与者可以在两次阶段之间休息。每个试验由一个随机序列组成，该序列包含一个连续的右手抓取运动想象任务、一个连续的左手抓取运动想象任务和一个休息任务(图2a)。 单个任务包括最初的4秒指令周期和随后的6秒运动想象周期，然后是2秒的休息期(图2b)。在指导期间，参与者被给予一个指示休息任务的十字形线索，或一个指示左手或右手抓取运动想象任务的箭头线索，以告知参与者下一个任务是什么，并指示他们凝视相应的手。在指令周期之后的整个运动想象周期中，与箭头线索相对应的虚拟手模拟一系列抓握动作，并指示参与者观察并想象以运动方式执行相同的动作。最后，在休息期间，虚拟手保持不动，参与者被允许移动或眨眼，以防止眼睛疲劳。在指导期和运动想象期，受试者都被指示避免任何动作，包括眨眼。在整个实验过程中，两只虚拟的手都被展示出来，参与者被期望将它们想象成自己的手。

图2 (a)左手抓取、休息和右手抓取运动想象的实验任务；(b)单个运动想象任务的时间表。

3、研究方法 3.1 ERD分析 对应于电极位置C3和C4的大脑区域分别与右手和左手的抓握动作相关。为了测量单个时段大脑活动的变化，我们首先用下面的方程式计算了三个运动想象任务记录的脑电数据的平均功率谱：

为了分析受试者在每次会话的左右握持运动想象中诱发的ERD幅度随时间的变化，我们使用以下公式计算了两个运动想象任务相对于休息任务的ERD比率：

因此，每一阶段的ERD比率是根据在每个电极位置的不同运动想象任务期间诱发的大脑模式特征的差异来计算的。 为了分析每个实验的运动想象表现，研究者进一步计算了每个实验参与者的平均ERD比率，应用以下公式：

考虑到最活跃的频带对于每个个体可能不同，通过选择带宽为2Hz的频带来确定两个方程中每个参与者的频带，该频带导致来自两个实验的所有任务的最大平均ERD比率。 分别对右手和左手握持运动想象的C3和C4的ERD结果进行分析，探讨被试在两种不同任务中的表现。为了考察使用不同的显示介质对每个参与者的影响，该文对计算的平均ERD值进行了双向方差分析，其中指定的组(表示实验顺序)和显示介质作为两个因素。为了进一步检验参与者在每次会话中ERD的统计增强，该文应用了Dunnett型非参数多重对比检验，其中使用第一次会话的ERD比率作为对照。因此，在两个实验中，分别比较了右手运动想象任务和左手运动想象任务的ERD比率(图3)。

图3 IVR-MI和MD-MI受试者在左手握持和右手握持运动想象过程中的平均时频曲线图。左手和右手运动想象的电极位置C4和C3用于测量和比较参与者在IVR-MI和MD-MI期间的ERD比率。

3.2 判别分析 通过对两个实验中神经活动的判别分析，构建了经典的机器学习模型以进一步评估性能。为了比较两个实验中每个参与者的分类准确率，提取了每个运动想象周期的6秒脑电数据。为了增加模型要学习的数据量，该文进一步对每个6秒的EEG数据进行了数据增强，将数据以100毫秒的步长划分为2秒长的时间窗口。 应用公共空间模式(CSP)算法从预处理的EEG数据中提取空间特征，并且使用Fisher线性判别分析(LDA)来创建分类模型，该分类模型预测EEG数据段是否涉及休息、左手或右手运动想象任务。为了评估运动想象脑电图数据，我们采用了两种不同的交叉验证方法：1)6折交叉验证，其中分析来自单个实验的数据，并且每个折叠对应于从10个运动想象试验的单个会话中检索到的数据；2)10折交叉验证，其中使用来自单个会话的数据，并且每个折叠对应于从单个试验检索的数据。采用交叉验证法检验区分左手抓握、右手抓握和静止状态三种不同运动想象任务的准确性。为了进行统计分析，该文对6折交叉验证结果进行了双向方差分析检验，以表明每个实验的总体表现。为了进一步检验神经活动辨别力的统计增强，该研究对10折交叉验证结果使用了Dunnett型非参数多重对比检验，其中以第一次会话的准确性作为对照。

4、研究结果 4.1 统计分析假设验证 在对左手和右手运动想象的ERD结果进行方差分析以及交叉验证准确性结果的参数检验之前，验证了必要的假设。表1显示了Shapiro-Wilk正态检验和Levene齐性方差检验的结果。P值结果表明，所有病例的方差均未违反正态性和均匀性(p>0.05)。

表1 双向方差分析假设检验的P值结果

4.2 ERD表现的实验分析 为了比较使用两种不同显示介质的参与者的表现，我们分析了ERD比率和ERD幅度，ERD比率由参与者在运动想象期间的平均ERD比率表示，ERD幅度代表从每次会话收集的ERD随时间的平均值。 两个实验的左手和右手运动想象的ERD比率和ERD幅度进行了比较，如图4所示。图4a的方差分析结果显示，左手运动想象中IVR-MI的ERD比MD-MI大(IVR-MI和MD-MI分别为49.32±12.08和34.75±14.75)，差异有非常显著性意义(F(1，16)=20.182，p<0.001)。与MD-MI相比，IVR-MI的右手运动想象的ERD值也较大(分别53.29±12.57和41.32±15.19)，差异有非常显著性意义(F(1，16)=14.693，P<0.01)。另一方面，两组受试者左手和右手运动想象差异均无显著性意义(F(1，16)=0.131，p>0.72；F(1，16)=1.034，p>0.32)。 图4b显示了参与者相对于时间的ERD幅度，该幅度是通过平均每个参与者在所有会话中的ERD幅度来计算的。IVR-MI和MD-MI的红色和蓝色波幅图显示，在运动想象期间，左手和右手的ERD均有显著差异，IVR-MI的ERD波幅大于MD-MI。如x轴上的灰标所示，左手运动想象的时域范围为1.05.4秒和6.27.0秒之间，右手运动想象的时域范围为1.45.8秒和6.07.2秒之间，两种幅度有显著差异。在指导期(左手运动想象 t<1.0s，右手运动想象 t<1.4s)和静息期结束时(左手运动想象 t>7.0s，右手运动想象 t>7.2s)，两组间差异无统计学意义。

图4 (a)MD-MI和IVR-MI的所有参与者的总体平均ERD比率。误差栏表示ERD比率的标准偏差。**p<0.01，*p<0.001。(b)所有受试者的ERD总平均波幅图。阴影区域表示ERD幅度的标准差，x轴上的灰线表示其中p<0.05的时域。

4.3 Experiment-Wise交叉验证 图5显示了IVR-MI和MD-MI的6折与对象相关的交叉验证精度结果，其中单个折叠表示从每个会话获取的数据。方差分析结果显示，两种介质的准确性差异非常显著(F(1，16)=20.990，p<0.001)，且IVR-MI的准确性高于MD-MI(分别为67.85±13.50和57.49±13.96)。相反，两组组内的差异无统计学意义(F(1，16)=0.008，p>0.93)。

图5 对左手抓握、右手抓握和静止状态运动想象进行分类的总体平均受试者交叉验证准确率。误差条表示交叉验证准确度的标准偏差。*p<0.001。

4.4 ERD表现的Session-Wise变化 该研究进一步分析了左手和右手运动想象的ERD表现是如何随着训练时间的变化而变化的。如图6所示，左手运动想象期间IVR-MI和MD-MI的ERD率均呈线性正相关(IVR-MI r=0.345，p<0.001；MD-MI r=0.260，p<0.01)。右手运动想象也有相似的结果(IVR-MI r=0.362，p<0.001；MD-MI r=0.181，p>0.001)。在左手和右手运动想象中，IVR-MI的r值和p值比MD-MI在统计学上更强。

图6 受试者在每次训练中左手和右手运动想象的平均ERD比率。每个方框图上的显著性水平表示相应会话与第一个会话相比的统计差异。没有统计意义的保留为空。*p<0.05，**p<0.01。

第一次会话的ERD比率被选为基线，并与其他会话的ERD比率进行比较，以分析与各次会话相比ERD性能的改善情况，如图6和表2所示。对于左手运动想象，IVR-MI和MD-MI的参与者从第5次开始都有显著的改善，但IVR-MI和MD-MI的改善程度更强(第5次的IVR-MI和MD-MI的P<0.01和P<0.05，第6次的IVR-MI和MD-MI的p=0.014和p=0.032)。对于右手运动图像，参与者只有在使用VR头戴式耳机时才能表现出显著的差异(第4次和第6次分别为p<0.05和p<0.01)，而在使用显示器屏幕的重复测试中，没有观察到显著的改善。

表2 ERD表现与基线的多重对比结果

4.5 交叉验证的Session-Wise变化 图7示出了在每个会话中使用10折交叉验证来区分脑活动模式的结果，其中单个折叠代表来自每个试验的数据。对于IVR-MI和MD-MI，准确度结果均呈正线性关系(分别为r=0.276，p<0.01和r=0.136，p>0.05)。与MD-MI相比，IVR-MI的交叉验证准确性的r值和p值更强。

图7 每个会话中参与者对左手、右手和休息状态进行分类的依赖于主题的交叉验证准确率的平均值。每个方框图上的显著性水平表示相应会话与第一个会话相比的统计差异。无统计学意义留空，误差条代表交叉验证准确度的标准差。*p<0.05，**p<0.01。

为了分析不同时段交叉验证准确率的提高，我们对第一个时段的准确性结果进行了Dunnett型非参数多重对比检验。图7和表3中的结果表明，IVR-MI期间的参与者能够从第5次会话开始在辨别力方面表现出显著的改善(第5和第6次会话分别为p<0.01和p<0.05)，而在MD-MI期间没有观察到显著差异。

表3 与基线交叉验证的多重对比结果

4.6 Fisher比值地形图 为了进一步研究从不同的手想象任务中获得的空间特征，我们使用ERD结果在每个电极上应用了Fisher比值。如图8所示，电极位置C3和C4是区分左手和右手运动想象的主要因素。与MD-MI的Fisher比值(C3和C4分别为0.544和0.377)相比，IVR-MI组C3和C4的Fisher比值均较高(C3和C4分别为0.997和0.566)。

图8 在参与者选择的频段内的每个电极位置上的Fisher比值。左边的地形图表示使用VR头戴式耳机的左手和右手运动想象之间的比值，而右边的地形图表示使用显示器显示的左手和右手运动想象之间的比值。

5、讨论 该研究采用VR头戴式耳机和显示器作为观察左右手动作的媒介，考察沉浸和错觉对运动想象训练的影响。通过比较两个实验获得的ERD比率和交叉验证精度，该文提供了证据，证明在训练中通过不同的媒介感知相同的动作可能会导致不同的运动想象表现。 研究结果表明，参与者在使用VR头戴式耳机时能够获得更好的运动想象表现。在通过反复训练练习运动想象方面，不仅证实了重复动作观察会影响受试者的运动想象表现，而且发现使用VR头戴式耳机可能会以更少的时间成本提高运动想象表现。通过对使用VR头戴式耳机的ERD比率和交叉验证准确率的结果都显示出较大的改善，该文证实使用VR头戴式耳机比使用显示器显示在改善ERD性能和增加大脑活动的空间区分性方面更有效。 研究者还研究了ERD振幅和Fisher比值，以解决仅仅有不同的显示介质影响中央运动皮质(C3和C4)的ERD比率的担忧。该研究的结果显示ERD振幅模式在指导期略有增加，没有显著差异，然后在两个实验之间有统计上的显著差异，在运动想象期间有较大的增加，然后在静息期出现下降(图4b)。虽然研究者预计在指导期内没有显著差异的轻微增加是被指导动作的准备和计划的结果，但IVR-MI的ERD幅度仅在运动想象和休息早期显著高于MD-MI的显著增加表明，这种统计差异是由运动想象操作引起的。此外，图8显示，在两个实验中，区分不同运动想象任务的主要空间特征来自C3和C4电极，这表明仅仅是显示介质的不同对可能影响我们结果的因素影响很小，例如来自视觉皮层的空间特征。这些结果表明，通过VR头戴式耳机的动作观察比通过显示器显示的运动想象操作更有效。 如前所述，该文重点研究了通过VR系统进行的沉浸和错觉对动作观察的重复运动想象训练是否有效。该文的假设通过ERD表现和交叉验证结果得到了验证，结果显示，在重复的运动想象训练中，ERD比率更高，空间脑活动更具区分性。结果表明，丰富的沉浸本身影响运动想象(通过呈现相同的图形手部运动)。因此，对于可以模拟的任何图形场景，与非沉浸式显示器相比，使用沉浸式VR头戴式耳机可能证明对运动想象训练是有益的。 该研究存在一些局限和可能的改进之处。可能会有人担心，该研究的图形场景可能在某种程度上被认为是不同的，因为两种显示介质的虚拟手的比例可能不完全相同。为了解决这个问题，在开始每个实验之前，在调整大小以最大限度地体现时，将重点放在每个参与者的反馈上。此外，虽然研究者在研究中调整了各种环境成分以扩大具体化，但在两个实验中并没有直接量化每个用户的具体化水平。由于两个实验之间存在着相当大的时间差距，研究者认为任何可能的调查或问卷都是潜在的不可靠的，而是使用以前的工作结果来声称VR增强了具体化。最后，相对较小的样本量也是一个限制。虽然每个参与者都进行了多次重复试验，但考虑到每个人表现的不同，分析的统计能力可能是有限的。因此，该文的研究结果应该仔细解释。根据该文的研究结果，未来的研究将集中于使用该文的指标来比较VR头戴式耳机(一种完全沉浸式可视化工具)和立体3D眼镜(一种半沉浸式虚拟现实系统)的使用情况。

6、结论 不同于以往研究侧重于动作观察和运动想象的视觉场景本身的比较，该研究关注沉浸式VR和具体化对运动想象的联合效应。与其他现有介质相比，VR耳机能够提供更逼真的体验，增强了错觉和沉浸感，受此启发，研究者通过比较VR耳机和显示器对相同虚拟手部动作的动作观察，研究了沉浸式VR耳机是否也可以用来增强运动想象表现。 该文研究了与这两种介质的运动想象表现相关的大脑模式的两个不同方面：来自运动想象相关脑区的信号振荡节律的变化，以及信号空间特征的可区分性，这是使用通常用于脑机接口的机器学习模型来探索的。这两项分析的结果表明，使用VR耳机可能会导致神经信号发生更大的振荡变化和空间分辨。因此，在临床治疗、康复和脑机接口等领域，使用沉浸和错觉相结合的VR头戴式耳机可以更好地呈现运动想象训练中的动作观察。在临床治疗、康复和脑机接口领域，使用VR头戴式耳机可以更好地呈现运动想象训练中的动作观察。