飞行员的疲劳驾驶会导致严重的事故，尤其是在大型飞行任务中。目前还没有一种有效的手段去监测飞行过程飞行员大脑的疲劳状态。
飞行员在驾驶过程中，主要有4个认知状态发生变化的阶段，
1、起飞和下降过程中，飞行员的视觉受到强烈的刺激，对应枕叶大脑功能区；
2、复杂飞行环境中，屏幕信息提示频繁，大脑需要快速推理、决策，生成飞行控制指令，对应额叶功能区；
3、飞行器处于超速状态时，飞行员手持推拉杆，感知自己的空间位置，这时，对应顶叶功能区；
4、飞行过程中，屏幕显示系统推送语音信息，飞行员收到语音提示，大脑进行短期记忆和处理，对应颞叶功能区。
上海交通大学吴奇团队联合东南大学基于不同认知状态下对应激活的脑区，建立了一种飞行过程脑机接口系统，由彩色脑功率图谱和认知状态监测脑网络组成。
团队通过全脑EEG获得不同认知状态下的脑电图信号，将这些信号的时空信息映射到一个平面上，可以构建大脑认知地图(BPM)，作为深度学习模型的输入，BPM包含了认知状态信息，而飞行过程认知状态的预测效果往往更重要，而为了预测大脑潜在的认知状态，团队提出了一种基于Bayesian推理的深度学习方法，即用Bayesian方法来推断卷积神经网络(CNN)的后验参数，弥补了传统深度卷积神经网络对一些似是而非的样本预测困难的不足，Bayesian后验分布是样本的概率分布。同时团队还改进了Bayesian深度学习的模型，提出了利用自然梯度变分推理方法对CNN的参数进行优化，团队将这种方法命名为在线高斯-牛顿变化(OGNV)，这样减少了推导出网络的近似后验分布所需的计算量，避免了过拟合风险，但仍然保留了贝叶斯方法的一些优点，从而降低模型过拟合的风险。
BPM的构成
疲劳指标和脑功率图获得
大脑疲劳指标通过EEG获取，用功率谱密度(PSD)表示脑电信号能量强弱，脑电频率由低到高一般分为δ、θ、α、β四个节律，在不同的工作状态下各节律PSD曲线呈现各自差异。有研究表明，疲劳时慢波增大，快波减小，δ和θ节律功率增大，α和β节律减小。而节律与大脑疲劳之间的关系在早期研究早中有报道。研究成果表明，节律功率比可以作为反映大脑疲劳状态的定量指标。比较典型的认知指标如下:(α θ)/β，α/β，(α θ)/(α β)和θ/β。本研究中(α θ)/β、(α θ)/(α β)和θ/β的增加趋势更为明显。因此，将这三个指标作为判断飞行疲劳的标准。
EEG采集设备的64个电极分布在三维球面空间，为了凸显各电极位置的特征，团队采用等距方位投影将三维电极位置映射到二维平面上，然后构建反映疲劳认知状态的BPM。大脑疲劳状态与三个认知指标密切相关，经过一些预处理，将这三个指标对应到彩色图像中的RGB三个通道，则可以将这三个指标转化为一幅图像中的像素点，对图像中的非电极区域进行双线性插值等图像处理手段获得像素值，最后生成脑功率图。
BPM网络训练
深度网络的构建需要与实际问题相一致，才能揭示实际问题的运行机制。例如使用Lenet处理手写数字识别，使用Alexnet处理Cifaar10的分类问题。飞行员疲劳检测是一种多分类方法,可分为非疲劳状态、轻度疲劳状态、中度疲劳状态和极端疲劳状态，需要用一个成熟的大脑认知地图来检测大脑疲劳。为了解决这一需求，设计了用于疲劳检测的Bpmnet，对于多分类问题，实验一般采用一位有效编码。然而，疲劳检测并不是一个普通的图像分类问题，团队基于Bayesian深度学习模型，利用自然梯度变分推理方法(OGNV)对CNN的参数进行优化，将批量归一化(BN)层夹在两个神经网络层之间，以稳定每个神经网络层的输入数据分布。获得实际参数和网络输出之间最小损耗函数。在Bpmnet训练中，利用随机裁剪和水平翻转数据增强，增加训练集，提升预测效果。其主要框架如下
Bpmnet结构图
1、网络结构的前五层均具有RELU激活功能。
2、第1、4、5层的激活函数在该层的末端，第2、3层的激活函数在最大池化层之前。
3、网络层数的选择和各层参数的选择根据每次的实际结果和人工经验进行协调。
关于Bpmnet的5层网络结构中各层输入/输出和相应操作及参数数量的细节如下表所示
实验测试
研究选取了C919客机飞行员进行系统测试，在模拟驾驶舱内，飞行员模拟从重庆到哈尔滨的单行航线，在4小时飞行时间内，记录飞行员EEG信号，EEG采集设备的电极放置采用国际10-20标准(如下图)，并按一定规则将4小时的EGG信号分别对应到4个疲劳状态，实验数据总量为5000，训练集数据为4000，验证集数据为1000。
国际10-20标准参考电极分布
不同参数优化方法的性能
不同优化算法的学习性能比较
从精度曲线可以看出在数据训练10次后检测进度基本达到稳定。实验证明了OGNV优化算法优于Adam法，而在训练网络中加入动量参数可以获得更精确的预测值。但是，它的时间消耗仍然高于传统的Adam法，更适用于离线分析任务。该系统检测准确率达到90%以上。相比以往预测手段，该团队实验结果将分类准确率提高了3% ~ 5%。
结论
本研究提供的航空脑机接口应用主要由两部分组成，一是大脑认知地图的生成，二是认知网络的建立。研究者对预测分类方法的优点进一步总结如下，首先，通过功率谱映射得到彩色大脑认知地图，直观反映当前任务下飞行员在每个时间窗口的认知状态，并将飞行员在不同任务中的认知状态以图像帧的形式表达出来；其次，提出了大脑认知检测网络Bpmnet及其Bayesian参数优化方法来检测驾驶员的认知状态。该认知检测模型充分考虑了脑功率图的特点，具有良好的检测性能；最后，开发了Bayesian-OGNV方法作为参数推理工具，以减少Bpmnet网络的过拟合。此外，采用了加入动量参数等更多的优化技术。结果表明，OGNV BN 动量参数优化方法可以使Bpmnet获得最佳的检测精度。
参考
E. Q. Wu, Z. Cao, P. Xiong, A. Song, L. -M. Zhu and M. Yu, Brain-Computer Interface Using Brain Power Map and Cognition Detection Network
