大家好！
今天Rose小哥介绍关于华中科技大学伍冬睿教授关于非侵入式脑机接口中的迁移学习综述(2016-2020)。本文章经伍教授授权在脑机接口社区转载。
脑机接口（Brain-Computer Interface, BCI）可以让用户使用脑电信号直接与计算机进行交流。该名词是由美国加州大学洛杉矶分校Vidal教授1973年发明的，但是早在1969年美国耶鲁大学和华盛顿大学的研究者们已经分别在牛和猴子上进行了闭环脑机接口实验，比如可以通过脑机接口系统让奔跑中的公牛突然停下来，让猴子可以通过控制单个脑细胞的活动来操控仪表指针以获取食物奖励。脑机接口最初是为病人设计的，特别是像霍金那样全身瘫痪又不能说话的病人。近年来，脑机接口的应用范围逐渐扩展到正常人，用于游戏、神经营销、情感识别、精神状态评估等。
用于脑机接口系统的输入信号可以分为非侵入式、半侵入式和侵入式三种。其位置和特征如图1所示。
图1. 脑机接口系统的信号来源和特征
非侵入式脑机接口无需动手术，直接从大脑外部采集大脑信号。常用的非侵入式信号有头皮脑电（EEG）、功能近红外光谱（fNIRS）和功能核磁共振成像（fMRI）等，其中以EEG最为常见。EEG通常由头戴式的脑电帽通过电极从头皮上采集，可以在头皮上监测到群体神经元的放电活动。
基于EEG的闭环脑机接口架构图如图2所示，包括EEG信号获取、信号处理（滤波）、特征提取、模式识别和控制器几个部分。在有些应用，比如文字输入中，控制器并不是必需的。
图2 基于EEG的闭环脑机接口系统架构
EEG信号很微弱，容易受到身体其它电信号和外界环境干扰，具有很大的个体差异，并且是非平稳的（同一个用户不同时间的EEG信号会有差异），所以很难设计一个脑机接口系统，其机器学习模型参数固定且对不同用户、不同脑电帽和不同任务都是最优。通常需要对新用户、新设备和新任务进行校准，但是此校准过程费时费力，对用户不友好，所以缩短或消除此校准过程对于脑机接口系统的推广应用非常重要。
迁移学习是目前脑机接口中减少校准的最重要的方法，也是本文的主题。其主要思想是通过相似或相关的其它用户、设备或任务的数据来帮助当前用户、设备或任务进行校准。
经典的脑机接口系统主要包括运动想象（Motor Imagery, MI）、事件相关电位（Event Related Potential, ERP）和稳态视觉诱发电位（Steady-State Visual Evoked Potential, SSVEP）三种范式:
- 基于运动想象的BCI系统：肢体运动的执行和想象会影响大脑特定区域感觉运动皮层的节律活动的变化。比如对于左手的想象动作会导致大脑右半球激活强烈，右手的想象动作会导致大脑左半球激活强烈，而脚的想象动作会导致大脑顶部激发强烈。根据这些特征可以把运动想象转化成输出指令，用于BCI系统的控制。
- 基于事件相关电位的BCI系统：当人脑受到一个特定的、少见的刺激时，会在刺激产生之后300毫秒产生一个比较大的正向电位峰，称为P300。诱发P300事件相关电位（Event Related Potential, ERP）的特定事件称为oddball范式（小概率刺激范式）。事件发生的概率越小，P300的峰值越高。一般的P300范式有听觉P300和视觉P300，目前应用较多的是视觉P300范式。
- 基于稳态视觉诱发电位的BCI系统：稳态视觉诱发电位是由快速重复刺激诱发的脑电的稳定振荡。一般的刺激源有闪光灯、发光二极管和显示器的棋盘格模式等。当人眼注视闪烁的刺激源时，脑电的振荡频率会趋近于刺激源的闪烁频率。用不同的闪烁频率编码不同的指令，我们就可以通过注视不同频率的刺激源发出不同的指令。
该论文中，作者考虑上述三种经典范式中的迁移学习。另外，情感脑机接口系统，即从用户EEG信号中判断情感、压力等状态并设计闭环反馈系统，近年来也受到越来越多的关注。此外，脑机接口中还有很多有意思的回归问题，比如用户反应时间和疲劳状态估计等。最近，我们也证实可以对脑机接口系统进行对抗攻击，即设计微小的、肉眼不可见的扰动，让脑机接口系统的性能大大降低。这些新应用中也有大量的迁移学习问题，也是本文考虑的重要内容。
目前文献中并没有最新的、全面的关于脑机接口中迁移学习问题的综述。近几年的若干综述都只考虑了上述3个经典范式，而没有注意到情感脑机接口、回归问题和对抗攻击的最新进展。同时，它们只考虑了跨用户和跨试次的迁移，并没有包含最新的跨设备和跨任务的迁移。
本文详细回顾了2016-2020年间6个范式和应用（运动想象，事件相关电位，稳态视觉诱发电位，情感脑机接口，回归问题，对抗攻击）中迁移学习研究的最新进展，从跨用户（用户1的数据帮助用户2建模）、跨试次（昨天的数据帮助今天建模）、跨设备（脑电帽A的数据帮助脑电帽B建模）和跨任务（左右手运动想象的数据帮助其它运动想象建模）方面进行了总结。这是目前关于脑机接口迁移学习问题的最新、最全面的综述。
通过详尽的文献调研，我们发现：
- 在3个经典范式中，关于运动想象和事件相关电位的迁移学习研究显著多于稳态视觉诱发电位的研究。一个原因可能是运动想象和事件相关电位非常接近，所以迁移学习算法经常可以通用。然而稳态视觉诱发电位分类是一个完全不同的问题。
- 情感脑机接口和脑机接口中的回归问题正在成为脑机接口研究热点。有意思的是，二者都属于被动式脑机接口，而前面3种经典范式都是主动式脑机接口。尽管情感脑机接口中既有分类问题又有回归问题，目前文献中研究的几乎都是较简单的分类问题。上海交通大学吕宝粮老师采集并共享的SEED情感脑机接口数据集被广泛使用。
- 对抗攻击是脑机接口中的最新研究方向，也是华中科技大学脑机接口与机器学习实验室首先开始研究的。目前对抗攻击中主要利用的是对抗样本的可迁移性，即对一个模型效果好的对抗样本很可能也可以迁移到另外一个不同的模型上去。这与传统意义上的迁移学习是不一样的。然而，传统迁移学习应该也可以结合进来进一步提高黑箱对抗攻击的效果，比如使用公开数据集和迁移学习来减少对黑箱模型的查询次数。
- 目前脑机接口中的迁移学习问题研究侧重于跨用户和跨试次，而对于跨设备和跨任务的迁移学习研究很少。值得一提的是，华中科技大学脑机接口与机器学习实验室最新发表的论文（H. He and D. Wu, “Different Set Domain Adaptation for Brain-Computer Interfaces: A Label Alignment Approach,” IEEE Trans. on Neural Systems and Rehabilitation Engineering, 2020, in press.）同时考虑了跨用户、跨设备和跨任务的脑机接口迁移学习问题，比如可以使用用户1和2通过脑电帽A采集的左右手运动想象数据帮助用户3通过脑电帽B采集的脚和舌头的运动想象数据进行分类。这是脑机接口领域目前为止考虑过的最复杂的迁移学习问题。
- 在各种迁移学习方法中，黎曼几何和深度学习正在被广泛应用。
- 迁移学习可以用在图2流程图的各个部位，并不局限于机器学习部分。比如，可以用迁移学习进行原始脑电数据的对齐，进行信号滤波，进行特征选择等。各个部位的迁移学习可以结合起来达到更好的效果。
- 迁移学习也可以与其它机器学习方法，比如主动学习，相结合来达到更好的效果。
本综述由华中科技大学人工智能与自动化学院脑机接口与机器学习实验室伍冬睿教授、硕士生徐祎璠和上海交通大学计算机科学与工程系吕宝粮教授共同完成，目前在审稿中：
D. Wu, Y. Xu and B-L Lu, “Transfer Learning for EEG-Based Brain-Computer Interfaces: A Review of Progresses Since 2016,” IEEE Computational Intelligence Magazine, 2020, submitted.
