天津理工大学的研究人员最近开发了一种新的基于大脑网络的框架，用于识别失聪个体的情绪。该成果发表在《IEEE Sensors Journal》中。具体来说，研究人员提出了基于一种称为堆叠集成学习(stacking ensemble learning)的计算技术，该技术集成了多种不同机器学习算法进行预测。
研究人员表示，“在与失聪学生的日常交流中，我们发现他们主要是通过视觉观察来识别他人的情绪，与正常人相比，失聪个体对情绪的感知也存在一定的差异，这可能会导致日常生活中出现心理偏差等问题。”
过去很多专注于开发情绪识别模型的研究都是在没有感觉障碍的个体上进行的。天津理工大学的研究人员填补了这一块研究的空白，他们开发了一个框架，可以专门对失聪个体的情绪进行分类。
下图为该方法框架。其中图(a)为EEG 信号的预处理。图(b)展示了大脑网络的构建。图(c)为网络特征的计算。图(d)为分类器。
首先，研究人员检查了在三种不同的情绪状态(积极、中性和消极)下，没有听力障碍的受试者和失聪个体之间的大脑活动和功能连接的差异。为此，他们招募了15名失聪学生，并收集了与SEED数据集类似的大脑记录。SEED数据集是一个非常有名的情绪数据集，包含了一些没有听力障碍受试者的脑电图信号。
15个不同阈值的正常人在SEED数据集上的分类准确率
研究人员表示，“通常情况下，EEG特征是从时域、频域和时频域提取的，用于情感识别。这是因为神经科学理论表明，认知过程是通过大脑中信息的传播和大脑不同区域之间的相互作用来反映的。因此，我们决定开发一种新的大脑网络堆叠集成学习模型来结合不同算法收集的信息进行情绪识别。”
在最初的实验中，研究人员发现阈值的选择在他们构建大脑网络中发挥了重要作用。为了减少错误连接并保留有效连接，他们提出在锁相值 (PLV) 连接矩阵中使用双二进制的阈值。PLV是对两个不同时间序列之间的相位同步的测量，它被广泛用于通过分析成像数据(如MEG和EEG扫描)来检查大脑的连通性。
之后，研究人员从大脑网络中提取全局特征和局部特征，并使用他们开发的堆叠集成学习框架对提取的特征进行分类。实验结果表明，所提出的模型可以学习区分性和领域鲁棒性脑电图特征，以提高情绪识别的准确性。研究人员表示，“与深度学习不同，我们的模型也适用于小样本数据，可以有效降低过拟合的风险。”
正常人和失聪个体三种不同频段情绪的平均PSD分布
在实验中，研究人员发现，他们的模型可以识别失聪人群的情绪，其准确性明显高于识别无听力障碍人群的情绪。对此的一种可能解释是，由于缺乏与情绪获取相关的渠道，失聪人群对情绪的理解更简单。
值得注意的是，研究人员的模型在情绪识别方面明显优于其他先进的模型。此外，研究小组还发现，在情绪激动的状态下，失聪个体和非听力障碍者之间大脑活动和功能连接的差异比中性条件下更明显。
研究人员表表示，“通过研究大脑活动，我们发现，对于正常受试者，左前额叶和颞叶可能是最丰富的情绪信息区域。而对于失聪个体来说，额叶、颞叶和枕叶可能是最丰富的情绪识别信息区域。”
邻接矩阵中通道之间的连接
这项研究为不同情绪状态下的失聪个体和正常个体的大脑活动差异提供了有价值的见解。例如，与听力正常的受试者相比，失聪受试者的枕叶和顶叶表现出更高的激活度，而颞叶的激活度较低。这些差异可能与失聪受试者在观看实验中播放的情感电影片段时大脑中的补偿机制有关。
研究人员说到，“我们发现，对于正常受试者，额叶之间的局部通道间关系可能为情绪识别提供有用的信息，额叶、顶叶和枕叶之间的全局通道间关系也可能提供有用的信息。另一方面，对于失聪受试者来说，额叶、颞叶和枕叶之间的全局通道间关系对于情绪识别具有重要意义，大脑左右半球之间的通道间关系也可能提供有用的信息。”
在不同的情绪状态下的邻接矩阵中通道之间的连接(w≥0.5，w_red>w_blue)。与蓝色实线相比，红色实线表示更强的联系
这项研究可能有几个重要的意义。首先，这项工作可以提高目前对失聪人群大脑中情绪状态如何表征的理解，以及这与没有听力障碍的人的情绪处理有何不同。
此外，他们开发的情绪识别模型可以用于在日常和临床环境中识别聋人的情绪。此外，他们的工作可以为减少失聪和正常个体之间情感认知差异的策略的发展提供信息。
将该模型应用于他们招募的15名失聪受试者时，该模型目前在所有受试者中可以达到约60%的准确率。研究人员表示，未来，他们希望提高他们模型的性能以及在不同个体之间的泛化能力。
参考文献
Q. Kang et al., "Emotion Recognition from Deaf EEG Signals Using Stacking Ensemble Learning Frame-work Based on A Novel Brain Network," in IEEE Sensors Journal,
doi: 10.1109/JSEN.2021.3108471.
https://techxplore.com/news/2021-09-emotions-deaf-individuals-eeg.html
仅用于学术交流，不用于商业行为，若有侵权及疑问，请后台留言，管理员即时删侵！
