癫痫是最常见的严重的神经系统疾病之一，手术切除参与癫痫发作的大脑区域被认为是唯一有效的治疗方案。为了定位癫痫发作区（SOZ）以指导癫痫外科手术，记录分析患者大脑的放电活动是必要的手段。这种电生理监测方法通常有两种类型：皮质脑电图（EEG）和立体脑电图（SEEG）。
最近，来自浙江大学杨洋课题组与某三甲医院合作，收集了一个基于真实患者记录的SEEG数据集，该数据集包含多个癫痫患者的高频多信道SEEG信号。基于这个数据集，研究者们将图和时序技术进行结合，研究并提出了一个可自动预测癫痫波的AI模型。该模型能不依赖专家经验，通过数据驱动方法来确认脑电波中癫痫波的时间和位置，实验效果非常显著。目前该工作已被数据挖掘顶级大会 KDD 2022 收录。
论文地址：http://yangy.org/works/brainnet/KDD22_BrainNet.pdf
概述
下图展现了BrainNet的整体结构和过程：
a：一根带有三个通道的电极被植入患者大脑记录SEEG数据；b：BrainNet的整体解决方案：在多个层次学习脑波的扩散模式，从而预测如 a 中虚线框所示的癫痫波段
与现有的基于EEG数据来研究癫痫波的工作相比，SEEG数据能展现脑电波的扩散机制，对癫痫活动的具体形式描述更加准确。在临床实践中，癫痫波活动被认为是会在大脑的不同区域之间传播的，因此研究者们尝试去构建这种潜在的癫痫发生网络。
BrainNet采用结构学习算法和图神经网络的方式，捕捉癫痫波的扩散模式，通过自监督学习方法来克服极端不平衡的标签问题。研究者提出具有分层框架的辅助学习任务，提升模型客服噪音的鲁棒性。
算法模型
01
预训练
鉴于海量的SEEG数据和癫痫波的低发作率，研究者首先提出一个自监督学习（SSL）算法——双向对比预测编码（BCPC），预训练每个时间段和每个通道的表示，以充分捕捉和利用正常脑电波的模式。
遵循时间序列的经典自监督学习模型，对比预测编码（CPC）将前置任务设置为：使用基于片段中间部分的局部特征的自回归模型输出的全局上下文特征，来预测从编码器获得的片段头部和尾部的P个局部特征。与CPC不同的是，研究者认为让上下文特征同时包含在时间两个方向维度上的语义信息，这将使得模型的表达能力更有效。因此，研究者将预训练模型设计为以skip-gram的方式预测两个方向的上下文。
具体来说，研究者使用预定义的多层卷积神经网络将原始SEEG信号嵌入为局部特征。为了使模型具有提取双向信息的能力，研究者采用带有专门设计的掩码矩阵的Transformer 作为自回归模型，以获得全局上下文特征。
BCPC的示意图。左侧表示预置任务；右侧为对应的掩码矩阵
02
图扩散学习
尽管已经获得了每个时间段的表示，但通道之间的相互作用和潜在的扩散模式却被忽略了。因此，研究者进一步提出了一个图扩散模块来明确地建模人脑中的扩散过程。
BrainNet在通道层次的架构。首先原始数据经由BCPC得到段表征，再经由跨时间扩散和时间内扩散两个组件交替进行建模扩散过程，最后通过一个判别器得到预测结果。
图结构学习。总的来说，对图扩散建模的挑战在于研究者不知道通道之间的潜在相关性和扩散路径。因此，研究者提出学习一个所有通道都是节点的图结构。解决这个问题的关键是如何量化一个通道对另一个通道的影响。行波是在不同通道传播过程中保持形状和频率等一些特征的波形，受大脑电活动中普遍存在行波这一现象的启发，研究者提出基于此的结构学习算法。具体来说，研究者首先计算出每对源节点集和目标节点集的相似度，为了保持图结构的稀疏性，并去除由低频波动或生理噪声引起的无关紧要和虚假的连接，接着使用一个包含一个可调的超参数的基于阈值的过滤函数来滤除不必要的边，最终可以获得学习到的扩散图结构。
脑波扩散。构建的图表示通道之间的相对相关性。边权越大，越可能发生扩散。研究者的目标是跟踪图的扩散过程，以增强行波的表示。在癫痫发作期间，将出现更快速和显著的尖峰和波放电模式的传播，这意味着传播后的表征更加可区分。因此，鉴于图神经网络在图上具有天然的消息传递能力，研究者采用这一类模型来模拟脑波扩散过程。
组件合并。由于癫痫波的持续时间或长或短，BrainNet学习了两种类型的扩散过程。具体而言，跨时间扩散自然地模拟了较长癫痫波在两个连续时间段之间的传播。同时，通过时间内扩散捕获每个通道相同时间段内的快速信号扩散。图扩散模块按照跨时间扩散、时间内扩散的顺序交替执行两个扩散步骤。经过图扩散模块处理之后的表示，会直接输入到判别器中参与癫痫波的预测。
03
预测模块
以上介绍的图扩散模块是在通道层面进行的，然而，通道层面的扩散过程视野有限，缺乏更宏观的感知。在现实世界的场景中，医生通常会逐步为癫痫患者做出诊断：患者是否患有癫痫，哪些大脑区域是疑似癫痫区域，以及直接导致癫痫发作的大脑中的特定位置在哪里（可能会通过手术切除）。受此过程的启发，BrainNet采用分层结构来联合建模癫痫波及其在三个不同层次上的扩散过程，从高到低依次为：患者、大脑区域和通道层次（每个通道对应于大脑中的特定位置）。
层次化标签构造。标签最初位于通道层次。按照与医生诊断相反的逻辑顺序，研究者将一个大脑区域标记为癫痫，其中包含至少一个通道是癫痫。类似地，如果至少一个大脑区域异常，则认为患者处于癫痫发作状态。
高层次的表征学习。研究者聚合来自较低层次的表示以获得较高层次的表示。虽然置换不变的池化操作有许多可选项，但采用最大池化操作来聚合表示，这是因为这种方法更符合层次化标签的构造过程，并且本文需要的是对较低层次的癫痫状态贡献最大的那些特征。
在池化操作之后，在高层次表示上通过图扩散模块以获得各自的目标函数。考虑到完全独立的参数不能保证一致的优化方向，因此研究者让三个层次在图扩散模块和判别器D中共享相同的参数集，以对齐它们的表示空间。最终，本文联合优化三个层次上的不同任务。
实验
通道层次与患者层次主任务的性能：如表1所示，在通道层次的F2指标上，BrainNet分别在正负样本比为1：5、1：50和1：500的数据集上比最优基准方法提升了12.31%、36.66%和142.03%；在患者层次的F2指标上，BrainNet在正负样本比为1：5、1：50和1：500的数据集上比最优基准方法平均提升了50.95%。
通道层次与患者层次的在不同正负样本比数据集下的癫痫波检测任务的性能
01
单步预测
跨时间扩散的一个样例。横轴是由间隔0.5秒的10个连续段构成的，纵轴包含某个患者的7个不同的脑区。黑色与红色节点分别代表由BrainNet预测为正常和发作的脑区。
样例分析：如上图所示，BrainNet学到的癫痫波跨时间扩散模式符合神经科学领域的一些领域知识。具体来说，在正常状态下，大部分脑区之间的关联性是比较弱的，但当癫痫发作时，由于癫痫波的扩散，导致不同脑区逐渐形成了谐振，从而形成了更为强烈的关联性。
02
长程预测
在线系统的展示。背景是某个患者文件的总览图，前者是其中某个绿色方格（1分钟数据）的具体数据展示
在线系统：如上图所示，BrainNet被部署在了一个线上系统中，通过这个系统，医生可以很方便地上传患者数据，自动地获取癫痫检测结果与可视化展示，从而加速医生的诊断过程。
总结
BrainNet的提出，展现了AI辅助医疗的广阔前景。对于大量繁琐复杂的医疗诊断数据（大部分是时序数据），图与时序AI的结合，可以产生很好的效果。当前脑波AI诊断癫痫疾病获得初步成果，后续对于大脑深度研究，期待有更多前沿技术突破。
