时间分辨多变量模式分析(MVPA)是一种分析磁和脑电图神经成像数据的流行技术，它量化了神经表征支持相关刺激维度识别的程度和时间过程。随着脑电图在婴儿神经成像中的广泛应用，婴儿脑电图数据的时间分辨MVPA是婴儿认知神经科学中一个特别有前途的工具。最近，MVPA已被应用于常见的婴儿成像方法，如脑电图和fNIRS。在本教程中，我们提供并描述了代码，以实现婴儿脑电图数据的MVPA分析。来自测试数据集的结果表明，在婴儿和成人，这种方法具有较高的准确性。同时，我们对分类方法进行了扩展，包括基于几何和基于精度的表示相似度分析。由于在婴儿研究中，每个参与者贡献的无伪影脑电图数据量低于儿童和成人研究，我们还探索和讨论了不同参与者水平的纳入阈值对这些数据集中产生的MVPA结果的影响。
1 引言
功能成像方法，如功能近红外光谱(fNIRS)和脑电图(EEG)，由于其无创性和记录运动时的相对耐受性，在婴儿研究中很受欢迎。这些方法提供了细粒度的时间有限空间信息(EEG)或中度空间有限时间信息(fNIRS)的神经反应，通常包括群体对刺激的平均反应。虽然这些方法可以揭示由不同刺激驱动的时间或振幅的条件差异信息，但传统的单变量方法(如ERP分析)依赖于一个或多个通道的平均值，忽略了这些集群中可能包含的模式所代表的信息。
机器学习方法，包括多变量模式分析(MVPA)或“解码”，是婴儿研究的前景广阔的途径。利用机器学习分类技术，MVPA的目标是可靠地区分与刺激物相关的激活模式、刺激物类别或实验条件的其他相关方面或参与者的表现型(例如，他们的注意力状态或内在特征)。如果神经激活模式能够可靠地映射到刺激，那么这些神经模式支持对这些刺激的区分是合理的，尽管我们无法推断检测到的信息是否在不操纵这些神经模式的情况下驱动行为。该技术已被应用于成人数据，主要是fMRI体素，以索引可以从大脑活动中提取的信息，包括多元的空间分布表征。多元方法已经被使用在许多研究环境和刺激，包括歧视痛苦的刺激，局部触觉和听觉属性以及其他应用。
尽管婴儿MVPA面临着固有的挑战，但发展研究有许多好处，这使得努力是值得的。已发表的使用该方法分析成人功能神经成像数据的研究表明，婴儿MVPA的潜在应用超出了应用于感觉域和成像模式的传统单变量技术。MVPA已经被用于研究语言前婴儿和非语言自闭症儿童的语音编码和理解，在没有语言报告的情况下，获取信息是非常难以估计的。MVPA还允许发育研究人员从传统的单变量分析无法访问的神经数据中揭示信息，如分布在多个通道的反应模式。最近的研究表明，应用MVPA从婴儿脑电图和近红外光谱(fNIRS)中量化婴儿听觉和/或视觉刺激表征的时间过程和特征是可行的，并为发育研究开辟了新的途径。
在本教程中，我们描述了使用婴儿脑电图数据进行时间解析MVPA所需的步骤，讨论了不同的分析参数如何影响我们样本数据集中的结果，并给出了作为示例实现的代码。
图1 伪试验生成和分类的过程示例，在一个参与者和时间点的一个刺激对上执行。这个过程对所有的时间点、刺激对和参与者重复。为每个可用的试验条件是随机排列的,然后分成4个相等大小的箱子( / - 1当审判并不均匀4整除)
2 数据集
数据包括12 ~ 15个月婴儿(N = 21)和成人(N = 9)被动观看8幅熟悉的动画物体(猫、狗、兔子、熊、手、脚、嘴或鼻子)的静态视觉图像时处理后的归一化脑电图电压。这些数据已在其他地方描述过，并使用EEGlab工具箱中的函数进行了如下预处理：使用PREP工具箱检测和插值噪声信道，进行鲁棒平均参考，并去除线噪声。利用ERPlab工具箱中的函数，对0.2到200 Hz之间的连续数据应用Butterworth滤波器。这些滤波信号平均运行时间为20 ms，在50 - 500 ms之间进行平滑处理，并进行基线校正。试验被排除在外,如果参与者不再看着屏幕在刺激呈现任何理由,如果任何通道的电压超过指定阈值(±150μV为婴儿、成人±80μV),或者一个可能的眼球运动工件出现在信号识别的离线视频编码在婴儿,成人眼电图(eog)分析。最后，通过取分段脑电图相对于每个试验和通道基线期的z分数(即单变量噪声归一化)，对电压进行归一化。样本数据集可以在https://github.com/Bayet Lab/infant- eeg - mva -tutorial上以.mat文件的形式公开获得。
3 MVPA的实现
3.1 编程实现
为了让本教程尽可能广泛地普及，我们提供一个双核心分析步骤下面描述的示例实现MATLAB (R2019b)和Python (Python 3)。这段代码公开可用，包括解码和交叉验证使用线性支持向量机分类器精度操作(图1),提供额外的步骤在Python中。然而，所需要的库有Matlab并行，如果希望在Matlab中也实现它们的话。python的明显优势是它作为一种开源编程语言的可移植性和可用性。然而，有些矩阵运算在Matlab中计算速度更快。两种实现都产生了可比较的结果，一个基于排列的单向方差分析，对跨时间点的多次比较进行聚类校正，发现从样本数据集中，Matlab和python计算的分类精度时间序列之间没有显著的聚类差异(图2A, B)。
图2 左:用Matlab和Python实现为婴儿(A, n = 10)和成人(B, n = 8)生成的时间序列平均总体分类精度，突出显示标准错误。右:婴儿(C, n = 10)和成人(D, n = 8)的z得分和非z得分数据产生的平均分类准确率。上述概率准确率修正后的聚类时间窗口用相应颜色的水平实线表示。面板D中的黑色条表示z评分和非z评分的分类精度之间的显著差异。
3.2 交叉验证
许多MVPA实现的一个关键组件是交叉验证的使用。通过交叉验证，只有一部分可用的试验，即“训练集”，被用来训练分类器。其余的形成“测试集”。分类精度反映了分类器成功地从训练集中提取支持识别训练集中相关维数(如猫或狗)并推广到测试集的模式的程度。为了避免将数据分割为训练集和测试集，需要多次重复这个过程，以便将观察值随机分配给训练集和测试集。在每个参与者中排列试验顺序(即反复随机抽样)，并形成四次(75-25%)交叉验证。以前的工作已经证明，k-fold交叉验证(这里，k = 4倍)提供了一个更稳定的准确性估计。
由于脑电图数据中通常存在高水平的噪声，为了提高分类性能，在每个交叉验证范围内对试验进行平均。在某些情况下，需要在独立的验证数据集上对模型进行额外的测试，而不是交叉验证。例如，如果研究人员使用交叉验证的准确性作为选择他们的分类模型的指南(例如，决定特征、分类器类型或基于决策产生最高交叉验证精度的内核)，那么仅通过交叉验证就会对最终模型的性能给出过于乐观的估计。即使不使用它来指导模型选择，某些研究问题也可能需要评估模型泛化以外的特定数据集参数(例如，如果评估生物标记，或试图评估多个天内个体参与者神经表征的泛化)。在这种情况下，可能需要在额外的验证数据集上测试最终的模型，以便更好地估计模型的性能。
3.3 选择响应特征用于分类
在当前的实例中，采用跨通道归一化电压值作为特征，对每个时间点独立训练分类器。最终的解码精度函数表示了在刺激开始后的每个时间点。研究人员可能希望在实现MVPA时采用其他特征，如滚动时间窗的平均电压，或跨通道和频带的光谱功率，而不是电压。两种特征方法(即时域和频域)已被证明可以有效地解码刺激；然而，至少在某些范式中，不同的特征可能反映知觉、认知或注意的不同方面。例如，Desantis等人证明，电压振幅和阿尔法波段功率都可以可靠地解码注意定向，然而阿尔法波段功率与空间注意定向更相关，而电压振幅则标志着与注意相关的知觉过程。
3.4 选择分类算法
在这里，我们利用线性支持向量机对每个时间点跨通道的电压模式进行分类。Matlab和Python使用的工具是Libsvm和scikit-learn的svm。scikit-learn SVM实现是基于Libsvm的，两者产生了可比较的结果。Libsvm支持SVM分类器的几种变体。在Python实现中，SVC的所有参数都保留为默认值。Matlab实现在调用SVM训练函数时指定了一个线性核。SVM分类方法产生的超平面可以在高维空间中最大限度地分离类别，考虑到用于分类的特征数量较多，而可用的训练试验(观察)数量较少，该方法尤其有效(Bhavsar和Panchal, 2012)。SVM分类器选择最大类别之间距离的样本，或支持向量来定义类别之间的边界。支持向量的计算使支持向量与划分类别的超平面之间的距离最大化。然后，在训练步骤中定义的决策边界用于对测试数据进行分类。
线性支持向量机分类器的替代品包括非线性分类器(如高斯核支持向量机、深度神经网络)以及其他类型的线性分类器，如逻辑回归、线性判别分析等。以前的MVPA工作表明，大多数线性分类方法应该执行类似的，通过预测精度和权重的稳定性来衡量。虽然非线性分类器可以比线性方法解释更多的特征，但没有非常大的样本容量，这样的分类模型很容易过拟合，即拟合训练数据中的虚假模式。同样需要注意的是，支持向量机在脑电图特征的高维表示中寻找任何差异，包括数据中的噪声。
4 结果度量和统计测试
4.1 输出
在提供的实现中，解码函数的输出(在两种语言实现中)是一个Matlab (.mat)文件，其中包含字段“out”和“results”。“out”字段包含文件的字符串名称。'results'字段包含一个4-d的解码精度双矩阵'DA'，一个包含解码参数'params_decoding'的结构，一个包含每个参与者在每个条件'nrep '下完成的实验次数的矩阵，以及一个包含所有时间点列表的'times'数组。“DA”字段是形状的4-d矩阵(参与者数量、时间点数量、条件数量、条件数量)。也就是说，对于每个参与者，在每个时间点，每个刺激对的平均成对解码精度都有一个上对角矩阵。值得注意的是，为了避免重复，只有对角线上的矩阵(即对角线上的矩阵元素)包含数字，而对角线和下对角线矩阵将包含nan(不是数字)。
4.2 在受测者内的二分类准确性
在我们的例子中，在每个时间点上使用单向右尾f检验计算分类准确率的重要性，并对多重比较进行基于聚类的校正。这种非参数方法解决了多重比较的问题——不假设检验统计量的特定分布，也不依赖数据中的高斯分布。值得注意的是，用于分类精度的标准参数或非参数统计方法除了存在平均效应外，不支持总体水平的推断。换句话说，因为估计的分类精度的实际值永远不可能低于概率，这个测试只能表明在样本中的某些个体中存在影响。如果有必要进行更精确的群体推断，则提出了替代策略，例如检验样本中观察到的效应的流行程度，而不是群体平均值。
在提供的实现中，分类性能根据两两分类的理论机会水平(即50%)进行评估。然而，重要的是，由于噪声数据中的信号随着样本容量的增加而得到更准确的估计，分类器的成功可能是由于每个刺激的试验次数不匹配，而不是潜在的脑电图特征。防止这种潜在偏差的一种方法是评估分类器对实验数据的性能，将其与分类精度的经验“零”分布进行比较，这是通过试验标签而得到的，同时保存每个刺激的不平衡试验数。事实上,与当前样本数据集,我们确实发现所有成对分类的总体经验机会水平略,但明显高于理论水平的机会50%。重要的是，实验数据的分类精度大大超过了婴儿和成人的经验机会水平(补充图S2)，这表明，从脑电图数据中观察到的上述机会的刺激分类不能完全归因于刺激条件之间可用试验数量的不平衡。
4.3 表征相似性分析
表征相似性分析(RSA)是一种多元分析方法，评估和比较神经表征隐含的“几何形状”，即神经活动模式在不同刺激下的相似或不同程度。然后，可以在处理阶段、组、任务条件或物种之间，或在实验数据和模型数据之间，对相似或不相似的结果进行比较。换句话说，RSA将任何因变量的反应差异投射到一个共同的空间中，从而允许这些反应差异与其他反应差异或差异的测量方法进行比较，而不考虑测量方法本身。不同的相似性可以通过多种方式量化，如欧几里得距离、两两相关和解码精度。在这里，我们关注的是分类精度，它可以直接从标准的MVPA解码中获得，以及交叉验证的欧氏距离，该距离作为不同程度的衡量显示出特别的可靠性。
RSA的第一步是构建表征性不同相似性矩阵(rdm)，描述不同刺激类型的脑电图特征模式之间的差异(图3A, B)。根据Walther等人所描述的公式，计算假试验测试集和训练集两种刺激的平均脑电图电压值的差值，并相乘。假设噪声在两个集合之间是独立的，这就产生了一个更稳定的表征差异估计。基于欧几里得距离的RDM计算过程与上述相同。RDM可用于测试计算和认知理论，并允许在不确定表征空间之间的转换的情况下进行表征的比较。
图3 上图：RDM总体可靠性最高的婴儿(A, n = 10)和成人(B, n = 8)子集的二分类精度和交叉验证欧氏距离的代表性混淆矩阵。在分类精度最高的时间窗口内计算RDM。婴儿和成人均显著相关(ps < 0.001)。下图:多维尺度(MDS)，用于绘制婴儿(C)和成人(D)在二维空间上的刺激物表征之间的欧氏距离。MDS是在保持刺激物之间距离的同时，在二维空间上显示距离矩阵的一种方法。
5 结果度量和统计测试
完整、系统地探讨不同预处理参数的影响超出了本教程的范围。然而，我们在下面强调并讨论了关键决策点，重点是应用于样本MVPA数据集的预处理参数，这些参数不同于用于婴儿脑电图单变量ERP分析或成人M/脑电图数据的MVPA。
首先，在0.2-200 Hz的连续脑电图信号滤波，并使用PREP管道分别校正亚噪声。在对感兴趣的时间窗进行ERP振幅分析之前，通常对连续的婴儿脑电图信号进行更强的滤波(如0.3 - 30hz)。然而，较轻的滤波对于更具有时间分辨性的分析，如ERP延迟分析或时间分辨MVPA，以最小化底层信号的时间扭曲。另外，用20 ms的容器对连续电压时间序列进行时间平滑。虽然这样的时间平滑在ERP分析中并不常见，但它对MVPA分类性能起到了适度的提高。
其次，遵循成人脑磁图数据MVPA的常见做法，在每个通道和试验中对脑电图时期的基线期进行z评分，而不是简单地进行基线校正(这在ERP分析中很典型)。为了评估这种额外的z评分归一化对分类精度时间序列的影响，我们接下来计算并比较了从z评分和非z评分(即基线校正)数据中获得的分类精度时间序列。分类上面的z分数和non-z-scored数据实现机会的准确性(图2)。
因此，对于每个脑电数据集的时间分辨MVPA, z分数归一化可能并不总是必要的或有帮助的。尽管如此，由于规范化在可靠地估计非相似性方面具有优势，并且为了防止相对噪声较大的通道可能导致多元结果，我们在本教程中使用z评分数据进行分析。最后，由于婴儿数据本身是有噪声的，为了防止由噪声驱动的“假阳性”结果，样本数据集还按照标准的婴儿ERP分析实践进行了基于电压和基于行为的伪信号抑制步骤。一些研究人员选择在成人数据的MVPA分析中放弃伪迹，因为交叉验证的机器学习过程可以允许分类器忽略噪声通道。然而，分类器对噪声的敏感程度可能取决于数据中存在的噪声的程度和结构。
6 数据预处理过程的影响
收集足够的有效试验进行分析的困难经常阻碍婴儿研究。由于不同数据和研究人群的特征不同，无法预先说明每个刺激需要多少有效试验才能产生渐近解码精度。虽然我们的样本数据集由于其相对有限的尝试重复次数(8张图片中每张20次)，因此没有设计成支持渐近分类精度。
为了评估有效试验次数对解码精度稳定性的相对影响，我们创建了包含完全满足不同试验次数阈值的参与者数据子集。也就是说，在阈值为4的情况下，从每个条件中随机选择4个试验，在有足够可用数据的参与者中进行分析。在单独的子集中，所有符合阈值的参与者的可用试验数据都被纳入。在示例数据集中，随着参与者纳入分析的试验阈值变得更加严格，纳入分析的参与者数量减少(图4)。
图4 来自测试数据的参与者数量与婴儿(A)和成人(B)的试验阈值。测试的试验阈值用紫色突出显示，每个阈值包括的参与者数量在条形图的顶部注明。
正如预期的那样，在婴儿和成人中，与所有可用的试验相比，当试验在阈值处被切断时，分类准确率下降。结果显示，在婴儿和成人数据中，无论试验次数阈值是多少，上述机会准确率的时间点都是相似的(图5)。正如预期的那样，有效试验次数越多，成人数据集的分类准确率就越高。每个参与者包含的准确试验数与总体分类精度之间存在正相关。然而，这一模式在婴儿数据集中表现得不那么明显(图5)，这可能是由于上限效应，以及可用试验的数量与至少使用该可用试验数量的可用参与者数量之间的某种程度的权衡。为了评估RSA在婴儿脑电图数据集中的可行性，我们还检验了在群体水平(即噪声上限)估计不同刺激类型的神经反应差异的可靠性。为此，我们使用了斯皮尔曼-布朗半分可靠性方法，该方法涉及到在数据集的两半之间关联不同相似性矩阵，该矩阵由所有刺激对之间的两两差异组成。
图5 左:对于(A)婴儿和(C)成人，当每种条件的试验次数被限制在每个试验阈值上时，95%的置信区间被突出显示。上述概率精度校正后的聚类时间窗用水平实线表示。
7 结论
本教程旨在促进时间分辨MVPA的使用，并促进其未来应用于新颖的发展研究。由于在收集清醒婴儿的功能磁共振成像数据时存在很多后勤方面的困难，将MVPA应用于婴儿脑电图的标准方法是非常有价值的。用两种常用的编程语言(Matlab、Python)提供实现可以显著提高这种方法的可用性。正如这里所演示的，这两种实现都给出了可比较的结果。
通过将MVPA应用于学龄前婴儿脑电图数据，研究人员可以得出关于感知刺激的神经表征的性质和一致性的结论，这是单变量行为或神经成像方法所不能提供的。未来的研究可能会进一步将MVPA与婴儿数据的应用扩展到其他神经成像模式(例如，fMRI、脑电图数据的时频分解、源本地化脑电图数据)，并定制数据收集和分析方法，以更好地解决婴儿神经成像的局限性。包括用于MVPA等数据密集型分析的数据的质量和数量。
参考文献：Time-resolved multivariate pattern analysis of infant EEG data: A practical turorial
