肢体运动解码是脑机接口(BCI)研究的重要组成部分。在肢体运动中，手语包含的信息量丰富。本文探讨了基于脑电图(EEG)信号的中国手语的神经特征和解码。在该项研究中，有20名被试进行基于中文手语的运动执行和运动想象的任务。采用7种分类器对手语脑电图的选定特征进行分类。使用L1正则化从均值、功率谱密度、样本熵和脑网络连接中学习和选择包含更多信息的特征。分类器的最优平均分类准确率为89.90%（想象手语为83.40%）。研究结果表明，涉及手语的神经回路与视觉接触区和运动前区有关。基于手语的所提出的解码策略得到了良好的分类结果，为后续基于手语的肢体解码的研究提供了一定的参考价值。
1 研究方法
首先，研究人员通过带通滤波获得不同频段的脑电节律。之后，提取手语脑电图的时间-频率-空间域特征。最后利用L1正则化约束提取特征，并使用7个分类器实现手语识别。整个过程如下图1所示。
图1：手语的脑电图识别流程图
2 被试和设备
共20名被试（男性11名，女性9名，25±4岁）参与了手语BCI实验。数据来自南京航空航天大学的iBRAIN实验室，实验装置如图2所示。眼电图(EOG)信号从外眦下方两个电极位获得。该实验在中国南京航空航天大学计算机科学与技术学院的大脑实验室进行。
图2：实验设置
3 实验范式和程序
如图3所示，每个实验任务由准备、手语想像或者手语执行、休息三个序列组成。在手语想象实验前，被试先进行5分钟的睁眼静息状态，然后进行5分钟的闭眼静息状态。实验开始时，屏幕中央就会出现一条中文的手语提示信息。2秒钟后，屏幕上出现提示被试开始想象手语。3秒钟后，手语想像或者手语执行结束，进入3秒钟的休息时间。
图3：实验范式。
实验中的手语包括“我”、“你”、“今天”和“明天”。具体的手语的形状如图4所示。实验中有两种手语类型，包括手语动作执行和手语想象。每个实验阶段包括4次运行，休息15分钟。每次运行包含4个手语单词，每个手语单词进行试验20次。每个被试进行640次脑电图试验，20名被试最终将进行12800次(20名被试*2种手语类型*4次运行*4个手语单词*20次试验)试验。
图4：四个手语词的特定上肢运动。
4 脑电图数据预处理
为了便于后续分析，研究人员对脑电图数据进行了预处理，主要包括以下几个部分：
- 首先，选择脑电图信号通道。从64个通道中选择59个脑电图通道，去除了5个EOG通道。
- 然后，脑电图信号从0.1Hz到100Hz进行滤波，去除50Hz的工频干扰。
- 接下来，根据整个大脑对数据进行校正。
- 采用离散小波变换(DWT)将脑电图信号分解为不同的频带信号。
5 特征提取和选择
在本文中，研究人员主要提取脑电图在时域、频域和空间域的特征。在提取特征之前，研究人员将大脑信号分解为五个频率子带：Delta(0.5-4Hz)、theta(4-8Hz)、alpha(8-13Hz)、beta(13-32Hz)和gamma(>32Hz)。由于每个频带都包含特定的信息，因此提取了5个频带的特征。同时，提取不同的时间、频谱和时间频谱特征，得到脑电图信号的最大差异特征。
在脑电图信号的时域特征中，选择均方根、方差、偏态、峰度和平均绝对值作为脑电图特征，得到5个频带的时间特征。然后，通过离散小波变换(DWT)将信号转换为频域，得到功率谱密度(PSD)的特征。最后，在脑电图信号中构建了脑网络连接结构来提取特定的空间特征。
6 分类
基于L1规范化的中国手语数据集，评估在每个特征集的分类准确率时，本研究采用线性判别分析(LDA)，支持向量机(SVM)，长短期记忆网络(LSTM)，EEGNet，带树突的形态神经网络(DMNN)，动态图卷积网络(DGCN)，和峰值神经网络(SNN)，7种分类方法进行研究。在分类过程中，利用在训练阶段选择的特征来学习模型，以预测测试集的类别。
7 研究结果
不同频带中手语执行分类结果
使用SVM、LDA、LSTM、EEGNet、DGCN、SNN和DMNN，7分类器来学习手语执行的特征。手语执行中手语词的脑电图数据被分解为delta，theta，alpha，beta和gamma波段，其中四个手语词（“我”、“你”、“今天”和“明天”）被分为两类。分别对5个频带和所有频带进行了二元分类实验。
在delta频段内，最佳分类为DGCN模型，准确率为75.81%。
在theta频段内，最佳分类为DMNN模型，确率为84.91%，
在alpha频段内，最佳分类为SNN模型，准确率为89.90%，
在beta频段内 ，最佳分类为SNN模型，准确率为84.32%，
在gamma频段内，最佳分类为SNN模型，准确率为78.49%。
通过实验发现“我vs你”分类精度低于其他词分类精度。实验结果表明，7个模型中分类效果最好的模型是准确率为84.07%的在alpha波段的SNN模型。在alpha波段，SNN模型也显示了最高的二值分类准确率，为89.90%。对比实验结果表明，在手语识别分类中，手语分类中手语特征最明显的频带位于alpha频带。SNN模型在7种分类模型中具有最好的分类精度。
表一：手语运动执行的二分类算法准确度
此外，研究人员还使用四分类算法对手语运动执行的脑电图进行了分析，结果如图6所示。结果表明，在5个频段delta，theta，alpha，beta和gamma中，alpha频段的分类精度明显高于其他频段的分类结果。beta仅次于alpha频段。实验结果表明，手语两种分类结果在alpha波段的准确率最高，其中，分类SNN模型准确率为89.90%。而四种分类中，准确率最高的为DGCN模型的准确率81.05%。
图6：手语运动执行的的四分类算法准确度直方图
不同频带中手语想象分类结果
对于运动想象的脑电图，采用的方法与执行手语运动执行的方法类似，在5个不同的频带内将4个词分为2类和4类。
在delta频段内，最佳分类为SNN模型，准确率为63.65%
在theta频段内，最佳分类为DGCN模型，准确率为67.49%
在alpha频段内，最佳分类为DGCN模型，确率为83.40%
在beta频段内，最佳分类为SNN模型，准确率为72.79%，
在gamma频段内 ，最佳分类为DMNN模型，准确率为67.43%
在所有频段内，最佳分类为DGCN模型，准确率为72.56%
研究人员在手语想象实验结果中也发现了类似的结论。“我vs你”分类精度低于其他词分类精度。实验结果表明，7个模型在全频带内的最佳分类结果仍在alpha频带内，最佳分类模型为DGCN的分类准确率为83.40%。在7种分类模型中，DGCN模型的分类准确率最高。
表二：手语运动想象的二分类算法准确度
研究人员使用类似运动执行手语的步骤对运动想象手语脑电图进行了分析，结果如图7所示。结果表明，在5个频段中，alpha频带的分类准确率最高。实验结果表明，手语运动想象的四种分类中，准确率最高的为DGCN模型的准确率76.14%。
图7：手语运动想象的四分类算法准确度直方图
结论
肢体运动的解码是脑机接口技术的一个重要研究领域。解码肢体运动可以使神经损伤的患者通过解码指令和外界进行沟通交流，使患者，提高患者的日常生活质量。基于在本文的研究中，研究人员使用四种手语词：“你”、“我”、“今天”、“明天”来对上肢进行解码。在实验过程中，研究人员使用SNN分类器对收集到的手语样本数据进行分类，并达到了89.90%的分类准确率。实验结果表明，种类丰富、形式各异的手语可以解码，并能应用在人机交互中。实验结果也为后续身体解码的研究提供了一定的参考价值。
参考文献
Neural Decodingof Chinese Sign Language With Machine Learning for Brain–ComputerInterfaces。Pengpai Wang ,Yueying Zhou , Zhongnian Li, Shuo Huang,and DaoqiangZhang , Senior Member, IEEE
仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！
