自2014年巴西世界杯开幕式上，一名截瘫青年借助一副“机械战甲”外骨骼装置，用脑电波控制自己的“脚”踢出了第一球以来，脑机接口技术开始走入大众的视野。
前些日子，埃隆·马斯克的脑机接口公司Neuralink宣布完成2.8亿美元的D轮融资，引起了圈内的广泛关注。
近日，Nature期刊同一天发布了两项独立的脑机接口研究，研究人员分别展示了大脑植入物与人工智能的结合是如何让两名妇女(一名中风后瘫痪，另一名患有进行性神经退行性疾病)重新发声的，再一次引起了大众对脑机接口的关注。
脑机接口是什么？
脑机接口(BCI)通过将来自大脑的神经活动转化为控制命令，为瘫痪患者提供了一种与外部设备交互或恢复感觉和运动功能的方法。脑机接口系统由传感器、解码器和效应器组成。根据信号记录电极的不同，脑机接口主要有三种类型:无创、半创和有创脑机接口。其范例如图1所示，传感器或电极记录神经活动，获取的脑信号由采集系统采集，然后应用设计的算法(解码器)提取特定信号的特征或模式，将其翻译成命令指令。最后，外部装置(效应器)根据指令和对个体的反馈执行任务。
近年来，皮层内脑机接口(iBCI)在非人灵长类动物(NHPs)和临床运动康复中得到了广泛的应用。和所有的BCI系统一样，iBCI系统包含三要素：记录信号的传感器、解码信号的解码器和实现控制命令的外部设备(效应器)。那当前用于皮质内神经信号的解码方法都有哪些呢？
北京理工大学机械工程学院与北京市智能机器人先进创新中心何际平团队在本文中对iBCI所涉及的解码方法和解码器校准的内容进行介绍与总结。
特性工程
信号解码的第一步是特征工程，包括从记录的皮质内信号中提取有用的神经信息。特征工程的目标是提高预测模型的准确性。因此，将神经信号构建成具有代表性的特征对于开发训练良好的解码器至关重要。iBCI系统的胞外信号包含Spike和局部场电位(LFP)两种形式，基于这两类信号的特征主要有以下几种：
Spike是最能反映大脑神经活动的电信号，它具有高信噪比和高时空分辨率。因此，利用Spike信号的发放模式可以有效地提取运动相关信息，在脑电损伤中得到了广泛的应用。
平均小波功率(MWP)是通过小波分解计算各通道标准化小波系数的平均值得到的神经特征，它可以同时提供大脑信号的频率和时间信息。
峰值带功率(SBP)，定义为300至1,000 Hz的神经活动的平均绝对值，是一种低能量带信号，SBP保持了宽带峰值相关特征的空间特异性，具有比阈值交叉率更高的解码性能。
局部场电位(LFP)是原始数据经过低频滤波后得到的信号，频带范围通常小于 300 Hz。局部运动电位（LMP）特征可通过平滑 LFP 的时域振幅得到。
图1. BCI的一般范例。传感器收集神经活动，信号由解码器处理以控制外部设备，这些设备将其状态反馈到大脑。
iBCI信号解码方法研究
近年来，iBCI系统产生了许多解码算法，用于NHPs和瘫痪患者。解码器的设计对于满足最终用户的性能期望至关重要，因为它与输入特征的特性和执行的任务密切相关。与运动相关的iBCI任务可分为两类:离散运动和连续运动。对于离散运动的解码器通常采用分类算法来识别不同的任务，而对于连续运动的解码器需要通过对信号的回归分析来预测肢体的运动学。
离散运动学解码
对于离散运动，对皮质内信号进行解码，可以用于识别手臂伸展、抓握运动、上肢腕部运动和手指运动等多类别运动。解码器通过学习训练数据的特征，找到信号与动作类别之间的映射关系，分类器得到输入信号对应的类别。在控制机器人运动中，最常用的解码器是线性判别分析(LDA)和朴素贝叶斯解码器(图2A)，对信号进行分析，对瘫痪患者自主运动的恢复取得了良好的效果。
卷积神经网络(CNN)是一种多层神经网络，广泛应用于计算机视觉领域。递归神经网络(RNN)及其变体长短期记忆(LSTM)更适合于处理自然语言处理。对四肢瘫痪被试执行4个动作任务的神经信号进行MWP特征提取，并利用深度神经网络(DNN)进行离散动作预测。DNN由LSTM和卷积层组成，其中LSTM用于从信号中提取时序信息，DNN的最后一层使用激活函数对类别进行概率预测，概率值最高的动作为当时预测的运动。相较于其他对比算法，如非线性LDA、SVM和Bayes，DNN具有更短的响应时间和更高的准确率(图2B)。
连续运动学解码
由于脑皮层内信号中包含丰富的运动相关信息，因此iBCI是解码连续肢体运动的首选系统。连续运动控制一般由解码器来实现，以预测肢体位置和速度等运动状态。在连续任务中，基于Spike信号的解码器得到了广泛的应用。神经网络的发展为基于Spike和LFP的植入式脑机接口的连续运动意图提供了稳定和鲁棒更强的解码方法。时间卷积网络(TCN)是CNN网络的一种变体结构，它利用一维扩展的因果卷积层和LFP信号的特征，在预测手部运动方面取得了很好的效果(图2C)。
图2. 神经信号解码器的架构。(A)分别对LFP和脑电图(EEG)特征训练朴素贝叶斯模型，通过贝叶斯分类器的决策融合和后验概率得到预测的运动学。(B)由LSTM和卷积层组成的DNN，在多尺度上使用MWP特征预测运动。(C) TCN作为解码器用于预测运动学。(D)基于LFP的解码器使用LSTM，如灰色阴影块所示。
RNN是一种处理时序信号的方法，它可以使用反馈连接将最近的输入表征保存到隐藏状态，因此在预测连续运动学方面具有更大的优势。然而，由于RNN采用传统的反向传播来更新隐藏状态，会出现梯度爆炸或者消失问题。LSTM是RNN的一种变体，它可以通过引入门结构来解决梯度消失问题并改善长期依赖关系的捕获。因此，LSTM在运动学运动预测中有很多应用。
LFP信号与LSTM解码器的首次结合在预测手部运动预测任务方面的解码性能明显优于基于LFP和Spike的卡尔曼滤波，表明LFP驱动的LSTM解码器可以为iBCI提供高解码性能、鲁棒性和低功耗(图2D)。
解码器校准
iBCI可以长时间记录皮层内神经信号，这对运动控制机制的研究具有重要意义。在长时记录中，肢体运动和用于预测肢体运动的神经信号之间的关系会动态变化。随着时间的推移，由于组织对电极的免疫力下降、微运动引起的不稳定性导致记录的神经元发生变化或电极断裂，可能会导致接口稳定性下降(图3)。因此，保持解码器的效率和稳定性是iBCI系统长期发展的关键问题。
图3. 电极微动或断裂引起的神经变异。电极记录的神经元可能丢失或增加，从而降低了接口的稳定性。
自动校准方法
为了提高解码器的稳定性，关键是不断学习神经信号与预测运动之间的映射关系。通常，训练过程需要多个步骤，需要逐步优化才能达到良好的性能。此外，每3-4小时受试者的训练将被中断，并且在开始新会话之前需要收集数据来校准解码器。
闭环脑机接口中重新校准的反馈意图训练(ReFIT)卡尔曼滤波器是一种两阶段的训练方法，必须在每个实验日开始时对解码器进行校正，通过使用Spike以及SBP特征来控制一维的食指和中无名指。但是，重复校准实验会耗费大量时间，增加患者负担，阻碍康复训练的进展。
为了节省校准过程带来的额外数据采集时间，可以使用朴素贝叶斯或自校准卡尔曼滤波器构建自动解码器校准。在闭环BCI中，采用贝叶斯回归方法的卡尔曼滤波器参数每2 ~ 5秒更新一次，解码器定标在3分钟内完成，大大缩短了定标时间。卡尔曼解码器系数可以使用自动校准过程生成，从而可以在家中按需访问高性能iBCI技术。
域适应方法（DA）
域适应方法的目的是通过从源域学习到的知识应用到目标域来减少两个域之间的差异。目前，iBCI系统中实现DA的方法主要有两种，一种是考虑神经平稳性，在神经流形空间中对神经信号进行对齐，另一种是采用数据驱动的数据分析方法对数据分布进行对齐。
数据驱动的数据分析方法是为iBCI系统对其数据分布的一种有效方法。研究人员利用大的历史样本数据的有用信息，采用基于主成分分析的域自适应(PDA)方法，仅用超小的当前样本对解码器进行重新校准，同时减少了校准时间。进一步，提出了一种基于对称不确定性的迁移学习方法，该方法将迁移学习与特征选择相结合，通过选择重要和非冗余的特征来减少对当前数据的需求和计算负担。
随着深度学习的发展，基于深度学习架构的解码器标定新方法应运而生。利用皮层内信号的MWP特征对DNN进行无监督更新，得到新任务的转移神经网络。解码器的响应速度比支持向量机快，并且无需在一年以上的时间内每天重新校准即可维持性能。
针对任务变化引起的标签偏移问题，研究利用域一致性聚类方法将未标记的目标数据簇与源域数据簇进行映射，从而解决任务变化引起的标签偏移问题，并在两种异构场景（即部分域适应和开放集域适应场景）下实现了良好的性能。
康复中的应用
为了探索iBCI在恢复运动功能中的应用，许多研究在NHPs和人类上肢运动中进行。
双向iBCI系统
为了实现更精确和自然的康复运动，可能有必要将外部设备的状态反馈给大脑。双向iBCI可以通过电刺激感觉皮层提供感觉反馈信息，同时通过大脑运动皮层的信号控制设备。通过实时识别皮层内信号的运动意图，并将其映射到刺激系统的参数调节，两者的共同作用使得运动功能的调节更有利于康复，在临床应用中具有更积极的作用。因此，双向iBCI系统有助于实现更接近本体感觉的运动控制。
神经调控的iBCI
对于脊髓损伤患者，大脑和肌肉之间的通路被破坏，可以使用功能性电刺激(FES)来激活肌肉，帮助患者进行运动。FES是一种有效的治疗方法，通过对肌肉或神经施加小电流的电刺激来改善肌肉活动，可以用来控制肌肉收缩，从而改善患者的活动能力。此外，可以通过刺激周围神经来获得运动意图，目前广泛应用于假肢控制。因此，iBCI联合外周神经FES是恢复脊髓损伤患者运动和感觉功能的可行方案。
新范式的发展
在日常生活中，双手运动是很常见的，但目前的研究大多集中在单侧机械手的控制上。研究表明瘫痪患者能够通过同时控制2个机械臂来完成自我喂食。此外，与整个上肢的运动控制相比，单个手指在抓握任务和连续运动控制中进行精细运动的能力是灵长类动物的一个重要特征。因此，新范式的发展对提高患者生活质量具有重要意义。
观点与结论
本文介绍了iBCI系统中解码方法的发展和最新进展，这些方法在肢体残疾患者的运动康复中具有很大的潜力。然而，神经解码仍然是一个重大挑战，这直接限制了iBCI的应用。因此，简化和加速译码方法是iBCI发展的关键方向之一。为了实现这一目标，本文提出以下建议：
- 1. 高密度电极：建议开发适用于具有数百个通道的高密度电极的解码算法，以满足新型电极技术的需求。
- 2. 通用解码器：探索建立稳定、通用的解码器，能够应对长期记录、任务变更和被试变更等挑战，从特征工程、解码方法和校正方法等方面进行构建。
- 3. 新实验范式：开发适用于新的实验范式的解码算法，如双侧机械肢体和手指运动的精确控制，以促进上肢运动康复的机制研究。
- 4. 机器学习技术：利用机器学习技术改进解码算法的实时性和泛化性，考虑神经活动的多样性和系统的复杂性，以提高iBCI的可靠性和准确性。
- 5. 低功耗特征和优化算法：考虑使用低功耗特征、优化解码算法和域适应方法，以减少计算量并提高解码效率。
iBCI对肢体残疾患者的肢体功能恢复扮演着非常重要的角色，未来随着多学科技术的进步和神经科学的跨学科融合，iBCI的神经解码技术在实验和临床实验中将变得更加可靠，并有望应用于居家运动康复。
论文链接: https://spj.science.org/doi/10.34133/cbsystems.0044
—— End ——
仅用于学术分享，若侵权请留言，即时删侵！
