在实际应用中,BCI系统依赖于对信号的精准解码,因此对脑信号的智能、精准分析是BCI系统成功的关键。然而,在传统的BCI系统中,由于EEG信号的个体间差异和非平稳性,新用户在使用前通常需要进行针对性的校准,采集该用户数据以调整脑信号解码算法,这一过程既耗时又影响用户体验。
迁移学习(Transfer Learning,TL)是一种极具前景的方法,能够降低分布偏移、处理个体差异并减少校准时间。它通过利用其他用户(源域)的数据或模型,来帮助对新用户(目标域)的分析,减少算法对新用户数据的依赖。然而,当前迁移学习算法多局限于离线场景,如图1所示,难以适配实时在线BCI应用。
图1 离线与在线迁移学习
为缓解个体差异、免除校准,本文提出了一种在线迁移算法,考虑实际应用场景,将离线迁移分析推广至在线测试时适应,通过无标注的测试数据流实时校准模型,逐步适应目标用户数据分布,实现即插即用的跨用户个性化脑机接口。
T-TIME的技术方案如图2所示,包括:
1)增量式欧氏对齐。尽管无法获取全量目标域数据,但在对每个测试试次进行预测时,系统会不断更新目标用户的平均协方差矩阵并调整转换矩阵,以完成数据对齐并降低训练数据与目标用户数据间的边缘概率分布差异。
2)信息最大化。对于测试数据流,通过条件熵最小化与自适应标签边缘分布约束,允许系统在没有标记数据的情况下快速实时调整,优化分类器适配目标用户。
3)谱迁移集成。通过多个源模型预测输出上的关联性与差异性,无需标签即可估测源模型的可靠性,获得比简单的平均或投票更好的集成效果,降低单个源模型迁移可能带来的偏差。
本方案无需任何目标用户的标注数据,且显著缩短BCI系统的准备时间。它不断学习适应新用户的EEG信号分布,且无需在系统中保存源用户的训练数据,实现了隐私保护的跨用户即插即用脑机接口。
图2 使用T-TIME进行测试时适应的跨用户免校准脑机接口解码算法流程图
研究团队在三个公开的运动想象BCI数据集上进行了大量实验,结果表明T-TIME在约20种经典和最新的迁移学习方法中表现最佳,如表1-3所示,在线测试时适应逼近离线分析效果。这一成果不仅展示了T-TIME在提高分类性能方面的优势,也证明了其在实际BCI应用中的潜力。
T-TIME的运算时长同样非常优越。如图3所示,模型在线优化延迟仅数毫秒。
图3 T-TIME运算代价。第一部分模型预测为实际算法预测延迟,第二部分模型更新可在下一试次结束前于后台执行。
表1 在BNCI2014001运动想象脑电数据集上的离线与在线迁移方法性能对比
表2 在BNCI2014002运动想象脑电数据集上的离线与在线迁移方法性能对比
表3 在BNCI2014001运动想象脑电数据集上的离线与在线迁移方法性能对比
本文也在不平衡标签分布偏移及域增量连续域适应两个脑机接口常见场景中评测了T-TIME算法性能。前者考虑目标用户的类别分布存在不平衡,后者考虑目标用户在多个session连续使用系统。结果如表4与表5所示。T-TIME在多种场景下相比前沿方法均有稳定提升。
表4 在三个运动想象脑电数据集上不平衡标签分布偏移下迁移方法性能对比
表5 在三个运动想象脑电数据集上域增量场景下方法性能对比
参考文献:
S. Li, Z. Wang, H. Luo, L. Ding and D. Wu, “T-TIME: Test-Time Information Maximization Ensemble for Plug-and-Play BCIs,” IEEE Trans. on Biomedical Engineering, 71(2):423-432, 2024.
开源代码:
https://github.com/sylyoung/DeepTransferEEG
—— End ——