虽然将EEG和fMRI结合使用可实现精细的空间分辨率和准确的时间分辨率集成，但仍带来许多挑战,比如要实时执行以实现神经反馈（Neurofeedback, NF）循环时。在这项研究里，研究人员描述了在运动想象NF任务期间同时获取的EEG和fMRI的多模态数据集，并补充了MRI结构数据。同时研究人员说明可以从该数据集中提取的信息类型，并说明其潜在用途。这是第一个脑电图和fMRI同步记录的NF，展示了第一个开放存取双模态NF数据集脑电图和fMRI。研究人员表示，(1)改进和测试多模态数据集成方法的宝贵工具，(2)改善提供的NF的质量，(3)改善在MRI下获得的脑电图去噪的方法，(4) 研究使用多模态信息的运动图像的神经标记。
EEG-fMRI联合源估计平均结果
神经反馈(NF)包括向受试者提供关于他自己大脑活动的实时信息，以训练特定大脑区域的自我调节能力，是一种很有前途的大脑康复技术，可以应用于精神疾病、中风和其他神经病理学。NF方法通常基于使用单一成像技术实时测量大脑活动，大多数应用依赖脑电图，而最近的一些应用则采用功能成像（例如功能MRI）。
最近的一些研究，显示了结合不同的成像技术来实现更具体的自我调节的潜力，结合两种互补的方式如fMRI和EEG展现了诱人的前景。功能磁共振成像具有良好的空间分辨率(~mm)，但成像速度较慢。而脑电图提供了极好的时间分辨率(~ms)，但其空间分辨率却受到通过头部组织的皮层电流体积传导的限制(~cm)。这些成像方式是高度互补的，它们的结合在需要高时间和空间分辨率的应用中很有前途，例如对特定大脑区域的神经网络训练。
对不同成像方式的联合分析可以揭示大脑解剖、功能和电生理特性之间的复杂联系。EEG和fMRI的集成允许对神经动力学进行“增强”分析，因为单一模式可提供潜在神经活动的部分估计。EEG-fMRI联合分析分为两类:非对称和对称。在第一种方法中，从一种方法中提取的信息被集成或驱动第二种方法的分析，而在对称方法(数据融合)中，使用联合生成模型。这些方法的探索很少，神经血管耦合的复杂性是他们的主要局限性。
在XP2中进行NF训练期间的平均EEG ERD时频图（N = 18个受试者）
据研究人员表示，在神经网络循环中同时进行脑电图-功能磁共振成像的只有另一个研究小组，用于训练情绪自我调节:因此，我们在这里分享和描述的数据集，与首次在运动图像任务中进行双峰神经网络成像相对应。它由64通道脑电图(扩展10-20系统)和功能性核磁共振数据集同时获得在一个运动图像NF任务，辅以结构核磁共振扫描。在两项研究中进行了录音。第一项研究(图1)涉及10名健康受试者，旨在评估单峰(EEG或fMRI) NF9上双峰脑电图-fMRI NF的可行性和潜力。第二study16包括20名志愿者一个原始2 d比喻允许分别调节提出了脑电图和fMRI活动及其对NF性能的影响相比,更多的“古典”1 d测量(图2)。NF分数的分析和大胆的激活是执行和结果表明,一维反馈更容易控制,而fMRI激活时更具体使用2 d表示。
据研究人员表示，在NF循环中同时进行EEG-fMRI训练以训练情绪自我调节的研究团队较少，只有另一个研究小组，而他们共享和描述的数据集对应于双峰NF首次实现的运动想象任务。它由在运动想象NF任务期间同时获取的64通道EEG（扩展的10–20系统）和fMRI数据集组成，并辅以结构MRI扫描。在两项研究中进行了记录。
下图涉及10名健康受试者，旨在评估双峰EEG-fMRI NF优于单峰（仅适用于EEG或fMRI）NF9的可行性和潜力。
实验协议XP1
实验协议XP2
XP1和XP2的文件目录结构
EEG-fMRI NF平台的示意图
一位受试者的fMRI和EEG激活及NF评分示例(XP2)
上图是一位受试者的fMRI和EEG激活及NF评分示例(XP2)。第一列表示在NF训练期间的激活(EEG的fMRI和ERD头皮分布的大胆对比)。第二列显示校准特征(对侧运动皮层的ROI分别用于fMRI NF计算和Laplacian在C3电极周围用于EEG NF)。在最后一列中显示了3个NF会话的平均(mean std error) NF得分(rest blocks in white and NF taskblocks in grey)。
在XP2中进行NF训练期间的平均EEG ERD时频图（N = 18个受试者）
上图为在XP2中进行NF训练期间的平均EEG ERD时频图（N = 18个受试者）。(a)时频图，显示对侧运动电极中的ERD（红色）和ERS（蓝色），以及所有频率上的平均ERD时间序列(mean standard error acrosssubjects)。(b)在[8-12] Hz和[13-30] Hz频段内的ERD地形图。(c)ERD皮质图。
上图在XP2中三次NF运行时的组fMRI响应(NF任务> 0,p = 0.05 FWE校正，基于体素的分析)。(a) t= 1时阈值化的平均激活图(N = 20)。(b) 2dNF组(蓝色)和1dNF组(绿色)对比图。
EEG-fMRI联合源估计平均结果
上图为EEG-fMRI联合源估计平均结果。使用联合EEG-fMRI稀疏模型（红色），仅EEG数据（α= 1，绿色）或仅fMRI数据（α= 0，蓝色）估计的运动执行过程中的源位置（XP1的8个受试者的平均值）。
仅用于改善脑电图NF的稀疏脑电图信息fMRI模型
上图为仅用于改善脑电图NF的稀疏脑电图信息fMRI模型。
(a):说明用于从脑电图信号学习fMRI-NF评分的方法。
(b)显示了数据集XP2中所有受试者的学习步骤和测试步骤的估计fMRI-NF评分和fMRI-NF评分之间的相关性的中位数和四分位数。也显示了仅根据EEG信号估算双峰EEG-fMRI-NF评分的结果。
(c):例如受试者sub-xp216 run 3。估计的分数是在第一次NF运行时获得的，浅蓝色是ground truth，深蓝是从脑电图中获得的估计的fMRI-NF评分。下面黄色的图是双峰NF评分，红色的图是仅用EEG估计的NF评分。
资源地址：
https://github.com/glioi/BIDS_fMRI_analysis_nipype
论文信息：
Simultaneous EEG-fMRI during a neurofeedback task, a brain imaging dataset for multimodal data integration
