虽然越来越多的人们承认，即使是年幼的婴儿也能检测到听到的和看到的言语之间的对应关系，但普遍的观点是，在婴儿开始牙牙学语或说话之前，与言语产生相关的口腔运动不会影响言语感知。我们调查了多模态言语对说话前婴儿的听觉言语感知的影响程度。我们使用事件相关电位(ERPs)来检测感觉运动对婴儿发音运动的作用如何影响3个月大婴儿的听觉言语感知。在实验1中，在不匹配范式下，两种语音对比(/ba/-/ɗa/；/ɗa/-/ɖa/)存在ERP辨别反应，表明婴儿在听觉上辨别了这两种对比。在实验2中，抑制婴儿自身的舌尖运动仅对/ɗa/-/ɖa/对比的早期ERP辨别反应有破坏性影响。同样的发音抑制对/ba/-/ɗa/和/ɗa/-/ɖa/的感知有截然不同的影响，前者在产生过程中需要不同的发音器(嘴唇和舌头)，后者要求两个音节都需要舌尖运动作为发音的地方。这两种对比的发音差异很好地解释了舌尖抑制对3个月大婴儿的语音对比变化感知的神经反应的显著影响。结果表明，口头运动抑制和言语辨别之间的关系具有特异性，这一结果表明听觉和运动言语表征之间的映射在说话前的婴儿中就已经存在了。
1.背景
多模态语音信号由一个共同的潜在来源产生——声道和发音动作。成人的言语感知受到同步出现的多模态言语线索的影响，包括听觉、视觉、运动和感觉运动信号。最近的研究表明，言语产生依赖于听觉和感觉运动信号，而且感觉运动输入可以影响听觉和视觉言语的感知。事实上，神经证据表明，成人大脑中的言语感知和产生系统之间存在双向相互作用。人们普遍认为，发音器特异性感觉运动信息和听觉言语感知之间的相互作用将出现在婴儿开始牙牙学语并发出语音之后的发育后期。然而，为了充分了解婴儿是如何获得他们的原始语音系统的，关键是要检验言语的感觉运动维度是否与听觉言语感知相关。
2.当前研究
本研究的目的是在婴儿大脑的产生区和接受区功能相连但还需要几个月的时间才能开始说辅音—元音(CV)音节时，检验听觉语音辨别是否受到感觉运动的影响。本研究在3个月大的时候对婴儿进行测试，以确保婴儿不会开始牙牙学语。我们使用脑电图(EEG)来研究感觉运动输入如何影响3个月大的婴儿在听觉上辨别发音部位的语音对比能力，并检测了婴儿听觉-感觉运动整合背后的神经动力学。我们测量了婴儿在言语感知任务中的ERP反应——没有(实验1)和有(实验2)感觉运动影响。
在实验1(N=22)中，学习英语的婴儿被动地听以四个等时开始的音节组成的语音音节。在实验2(N=22)中，当婴儿被动地听音节时，使用一个塑胶玩具抑制婴儿的舌尖运动(图1)。在每个实验中，我们测量了对两种语音对比的ERP辨别反应：英语/ba/-/ɗa/对比和非英语(印地语) /ɗa/-/ɖa/对比。在实验1(听觉辨别)中，我们假设3个月大的婴儿会区分这两种对比。在实验2中，我们假设，如果感觉运动—听觉言语关系在3个月大的婴儿中也存在并发挥作用。/ɗa/和/ɖa/都需要在发音过程中移动舌尖，而/ba/则需要在发音过程中移动双唇。如果这种发音差异是辨别的一个显著特征，那么我们可以预期舌尖抑制会对/ba/-/ɗa/和/ɗa/-/ɖa/对比的ERP反应造成不同影响；或者因为/ɗa/在两个对比中都存在，所以舌尖抑制可能会在两个对比导致类似的干扰。本研究的目的是检查听觉—感觉运动关系的特异性，该关系反映了婴儿发声前潜在的发音编码。
图1 实验1(A)、2(B)婴儿声道矢状面图
3.结果
3.1集群分析
实验1：我们检验了条件(前三个音节是同一音节的重复，第四个音节要么是前三个音节的重复(标准试验)，要么是一个跨语音类别的不同音节(偏差试验)。)对语音类别变化的ERP辨别反应的主要影响。我们观察到在第四音节开始后450到710 ms之间的左额叶电极簇存在显著差异(图2)。然后，我们通过语音对比(/ba/-/ɗa/对比和/ɗa/-/ɖa/对比)交互作用来测试条件(标准与偏差)，但并不显著。
图2 实验1
实验2：当婴幼儿舌尖运动受到抑制时，我们对两种语音对比的标准和偏差的ERP进行了比较，没有观察到条件的主要效应。然而，语音对比对条件有显著的交互作用。因此，我们对/ba/-/ɗa/对比和/ɗa/-/ɖa/对比分别进行了额外的基于聚类的排列配对t检验，比较了标准试验和偏差试验。我们在第四个音节开始后290-490ms的中央-后部电极簇上观察到/ba/-/ɗa/对比的显著簇(图3)。然而，/ɗa/-/ɖa/对比没有观察到明显的聚类。
图3 实验2
3.2控制分析
实验1：为了确保上述差异不是一种实验偶然产物，我们以条件(标准和偏差)、音节位置(重复[第1~3次]和第4次)和语音类别(/ba/-/ɗa/和/ɗa/-/ɖa/)为因素，比较了同一时空簇(450ms-710ms)中每个音节后的ERP反应。语音类别和音节位置不存在主效应，说明反应总体上不受语音类别和音节位置的影响。条件的主效应显著，音节位置交互作用的主效应显著。其他交互作用效应均不显著。简单主效应显示，标准音节和偏差音节后的ERP反应在两种语音对比实验中均有显著差异；而前两个重复音节在两种语音对比中均未检测到这种差异。
贝叶斯多水平回归模型进一步支持这些结果。贝叶斯置信区间表明，条件对/ɗa/-/ɖa/对比的影响比对/ba/-/ɗa/对比的影响更强(图4A)。
实验2：对实验2确定的时空簇(290-490ms)进行了三因素方差分析。语音对比和音节位置的主效应不显著，但条件的主效应显著。存在多种显著交互作用效应，包括音节位置和条件的交互作用，语音对比和条件的交互作用和显著的三向交互作用，只有音节位置和语言对比的交互作用不显著。随访分析显示，只有在/ba/-/ɗa/对比的第四个音节水平上，条件(偏差和标准)才有显著差异。在其他水平上，条件的影响不显著。
贝叶斯多水平回归模型进一步支持了这些结果。/ba/-/ɗa/对比的振幅反应受条件影响。然而，条件对/ɗa/-/ɖa/对比没有影响。贝叶斯顺式与零重叠，表明有强有力的证据支持标准试验和偏差试验之间没有区别(图4B)。
图4 (A)实验1；(B)实验2。(左)音节位置、语音对比和条件的比较；(右)贝叶斯多水平回归模型
4.讨论
目前的研究通过两个实验调查了婴儿在有和没有口腔运动影响的情况下对语音类别变化的神经反应。每个实验都针对两种截然不同的语音对比：/ba/-/ɗa/对比和/ɗa/-/ɖa/对比。在实验1中，我们在一组左—前电极中观察到条件对这两种对比的显著影响。在实验2中，当婴儿的舌尖运动被抑制时，结果显示条件没有总体效应，但语音对比交互作用的条件显著。对于/ba/-/ɗa/对比，标准试验和偏差试验在一组后电极上表现出不同的反应，但对/ɗa/-/ɖa/对比没有观察到差异。对/ba/-/ɗa/对比中观察到的时空群集的后续分析显示，标准试验和偏差试验之间的差异在/ɗa/-/ɖa/对比中重叠为零。换句话说，当婴儿的舌尖运动受到限制时，虽然可以清楚地观察到/ba/-/ɗa/对比的神经反应，但我们在同一时空簇中没有发现/ɗa/-/ɖa/对比的证据。这些发现表明，感觉运动对发音器(即舌头)的影响调节了语音处理，但具有一定的特异性，而不是广泛地干扰语音处理。
本研究的发现很有启发性，即对语音类别辨别的神经反应受到发音感觉运动影响的调节。尽管3个月大的婴儿的运动技能相对不成熟，但实验2中的舌尖抑制对无论是否需要舌尖运动的语音知觉的影响是不同的，这表明感觉运动输入与听觉语音信号在语音加工过程中是同步整合的。虽然发音抑制在两个语音区分的测试中都存在，并且试验条件是随机呈现的，但是/ba/-/ɗa/对比出现了早期的ERP辨别反应，而/ɗa/-/ɖa/对比则没有出现。因此，与所听到的语音相关的感觉运动发音维度与婴儿的听觉语音感知之间存在交互作用。
虽然我们不能排除婴儿在实验过程中可能试图模仿听觉刺激的可能性，但试验的随机性呈现和较短的刺激间间隔可能会阻止任何模仿努力。在实验2中，舌尖限制可能会阻止显性模仿，特别是对/ɗa/和/ɖa/，但对/ba/的影响要小得多。因此，如果在实验2中进行模仿尝试，只会突出/ba/和其他两个音节之间的差异，并进一步强化任何听觉-运动环。另一种可能的选择是，与被动聆听声音(实验1)相比，当婴儿把玩具放在嘴里(实验2)时，他们会更加专心或警觉；然而，这样的解释无法解释在实验2中听到的两种语音对比之间观察到的分离效应。对两个实验中的标准试验进行比较表明，实验1和2中的标准试验彼此之间没有显著差异，表明在实验2中尽管有发音抑制，但数据是具有可比性的。
5.结论
综上所述，目前的研究结果表明，感觉运动语音信息与听觉语音处理相关地整合在一起，这为在产生或广泛感知之前的感觉运动—听觉语音相互作用提供了洞察力。反过来，这表明人类语言系统不仅在完全习得之后，而且在早期发展和习得期间就已具有强大的多感官能力。这些结果对先天性口腔运动畸形和紊乱有一定的意义。而更全面地限制婴幼儿口腔运动的条件是否会产生长期影响，还有待研究。
