亮点
l多模态富集可以增强各种领域的学习，如字母和词汇习得、阅读、数学、音乐和空间导航。
l认知和神经的推断理论将富集学习的好处归因于多模态或单模态机制。
l神经科学研究表明，大脑中的感觉和运动区域的跨模态反应是富集学习的根本。这些大脑的反应发生在知觉加工的早期阶段。
l最近的神经刺激研究表明，跨模态脑反应对富集的行为益处有因果关系。这些发现支持了丰富、更新和结合认知和计算理论的多模态理论。
l以神经科学为基础的转化课堂教学有可期前景。
前言
多模态富集学习指存在跨多种感觉或运动模式的信息互补过程，可以显著提升学习结果。本文整合了认知、神经科学和计算方法来理解富集学习的有效性，并讨论了最近的神经科学信息，表明感觉和运动大脑区域的交叉跨模态反应是富集行为的因果原因。这些发现为富集学习的多模态理论提供了新的证据，挑战了长期认知理论的假设，并为单模态神经生物学启发理论提供了反证据。同时，富集学习的教育方法可能是有效的，不仅因为它们可能涉及更高水平的注意力或更深层次的处理，而且还因大脑中的多模态互动可以增强学习和记忆。
丰富知识在学习中的促进作用
严格来说，利用辅导机构和技术来加强学习是一种人类现象，比如学校和教育在塑造儿童和成人的发展方面发挥着重要作用。尽管以课堂为基础的学习有许多优势，但学校环境往往缺乏自然环境中可以提供的丰富信息。自然环境中，学习者拥有大量的视觉、声音、气味、品味和本体感受信息。这些方法的核心是相信，将互补的感觉和运动信息整合到学习经验中，称为多模态富集。通过近似接近自然环境可提高学习结果。基于运动的学习技术鼓励将运动整合到学习体验中，但尚未被广泛采用。最近的神经科学发展表明，富集学习有益于感觉和运动皮质的跨模态大脑反应。例如，在之前的学习过程中，当听觉刺激与互补的视觉刺激配对时，视觉大脑区域可能会做出反应。此外，最近有研究表明，这些跨模态大脑反应影响富集行为的效果。此外，计算模型已经开始解释富集作用。本文综合了这些最近的进展，归化在认知、神经科学和计算理论之间的富集学习领域，旨在帮助理解为什么多模态富集可以作为一种有效的教育工具。
浓缩原则
在学习过程中， 以两种或两种以上的方式呈现信息对学习是有益的。以中国普通话中四种词汇音调的学习为例（图1A) 。如果一个不熟悉音调的学习者的目标是从听觉上区分与每个音调相关的音高差异，那么他们可能会凭直觉地认为：如果信息以一种另外的方式呈现（比如视觉），然后转化为主要的（听觉） 学习方式，这可能对学习不是很有帮助。另外形式的信息可能会分散注意力，消耗注意力资源，使工作记忆系统紧张，从而阻碍整体学习。然而，令人惊讶的是，过去20 年的行为研究表明，这种跨模态信息实际上可以有利于学习，有利于从知觉改善到概念记忆和数学认知。
形成这种益处的一个关键的原则是模态一致性。模态一致性可以在从感知一致性到语义特征的多个层次上建立。例如，视觉音调标记（感知一致性；图1B) 通常被用于学习区分和产生普通话音调，当与相应的听觉呈现的音调配对时，则支持学习后的音调识别。此外，通过绘制说明每个单词的意义 （语义一致性（图1C） 来富集对特定普通话单词的学习，也有助于学习单个新单词的意义。跨两种或两种以上感觉模式的一致信息的组合（比如听觉和视觉）可以帮助学习，这被称为多感官富集 （图1B，C) 。当它涉及一个运动成分时，富集也是有益的，这被称为感觉运动富集 。身体运动可以通过多种方式融入到学习之中来。例如，一项研究发现，在学习过程中，模仿普通话语调轨迹的定向手势（感知一致性；图1D) 可以有利于随后的音调识别。不一致的定向手势则没有任何好处。
感知一致性经常出现在具有共享物质来源的刺激之间，如声音和面孔[23]。在日常生活中也有很多例子，一致的任意关系会导致语义一致性， 比如口语“勺子”和勺子同时出现。规则的多模态关联可以被快速地学习，进而影响一致性的信念，反过来影响知觉判断。富集不仅来自知觉，而且来自语义一致性，只要通过先前的经验获得共存的规律性，相对随意的刺激组合都可诱导富集效应。以不同的形式呈现的刺激永远不能作为彼此之间的精确复制品，因为它们采取不同的物理形式（比如光和声），并被不同类型的受体反射。然而，一致的刺激可以传达重叠的信息。
个体间的差异
富集对每个人都有利吗？大多数探索富集效益的研究都呈现了分组平均的结果。从对面部学习的研究中，发现有76%的人接受2 min的面部－声音暴露后在听觉－声音身份识别的任务中表现较好，该比例在三个不同的实验样本得到重复验证。然而，确切个人受益倾向很可能取决于多种因素，比如一个人所从事的学习类型、其持续时间、知识背景，以及学习后任务评估。此外，尽管富集作用在实验室研究和教育环境下被验证，但仍需要更严格的研究来了解如何最好地用富集来支持神经发育障碍和康复中的学习。
为什么富集会有利于学习？
基于神经科学和计算模型。我们将这些理论分为两大类：多模态理论和单模态理论。多模态理论认为，富集收益是由富集学习后发生的交叉模态作用；单模态理论认为，富集收益可归因于一般的认知机制，如在富集学习过程中增强注意力，提高学习后单一模态的大脑反应敏感性。
多模态理论
认知功能
认知理论 （图2C) 假设多模态刺激编码建立了多重刺激记忆检索的路径和路径之间的交互，可以使检索更快更准，比如双重编码理论，在回忆过程中，每种模式都可以交叉模态激活另一个，导致相对于单编码刺激增强的双编码。多媒体的认知理论学习 (CTML) ，文本和图像理解的集成模型，以及运动轨迹理论也采用了类似的方法。CTML还增加了学习者积极学习的假设，选择要集成的听觉和视觉信息。也有理论认为外在认知也可以被认为是多模态的，提出了一个思考之前遇到的刺激唤起了在学习本身的过程中对感官输入和运动的模拟，加强学习结果，也解释了富集学习后的项目易“弹出”效应。
图1。词汇音调学习材料和三种在感知和语义一致性上不同的富集材料。(A）学习材料。在听觉声谱图中显示的四种普通话词汇声调的轮廓。音调的特征是扁平、上升、下降 、上升或下降。每个光谱图中的轮廓用白色折线突出显示。(B）视觉音调标记与每个音调的音调轮廓感知一致，可用于多感官感知富集。(C）视觉表示，它在语义上与包含（A) 中呈现的音调的单词的意义一致，用于多感官语义富集。(D）手势，感知一致，音高的表示。
神经
在大脑的层面上，多模态理论提供了两种可能的解释。首先，富集学习在随后的单感觉任务中诱导了感觉特殊的大脑区域跨模态的相互作用。例如，先前学习时鸟鸣同时配以互补的视觉刺激会比在学习过程中鸟鸣没有伴随的视觉刺激触发更大的大脑视觉活动 ( “交叉模态处理”；图2D)。多感官的预测编码框架 (The multisensory predictive coding framework，MPCF) 提出，富集学习的益处是通过跨模态神经反应以及增加感觉特异性皮质相关的功能连接。第二种可能解释是，大脑收敛区（convergence zones）产生富集学习刺激的超模（supramodal representations）表示，刺激这种超模态的方法是由反向层次理论的多感觉理论所描述的知觉学习。根据超模态框架，鸟鸣与互补的视觉刺激应该触发大脑中的视觉运动收敛区改变处理 ( “超模态处理”；图2D)。MPCF提出了感觉－特殊的大脑区域彼此直接进行通信，而一超模态描述假设有更高级别的收敛区域介导感觉特殊皮质之间的联系。
图2。多模态和单模态理论提供了富集学习的不同理论解释。(A）在这个例子中，使用了多感官富集：鸟鸣是在两种条件下学习的。在富集的学习条件下，每首歌都配有一张特殊鸟类的图片。在一个非富集的学习条件下，每个歌曲是在没有伴随的视觉刺激的情况下学习的。(B）在学习后，富集的鸟鸣与不富集的鸟鸣相比被识别得更快、更准确。(C）认知理论。多模态理论认为识别一个熟悉的鸟鸣可以激活其相应的图式，从而促进对鸟鸣的识别。单模态理论认为，一般的认知机制，如在富集的学习过程中更多的注意或对意义的处理，在富集的学习过程中产生增强的识别。
计算
多模态计算模型依赖于超模态处理解释。其中一个模型就是振荡神经网络模型，假设收敛区介导感觉特殊大脑内的活动。该模型认为感官特殊区域间不直接交流，而是通过稀疏时空的高级收敛区域对多感官输入编码后再传输信息。另一种是使用概率贝叶斯框架的表示多感觉和抑制特殊感觉之间的相互作用。其他的计算模型也表明模态无关的模型最优地解释了富集效应。
单模态理论
认知功能
在编码过程中更多深入或更多地关注 富集的刺激，导致更稳健的表征（ “一般认知机制”；图2C)。例如，加工层次理论提出，更深层的，而不是更浅的加工促进给定刺激物的记忆[45]。然而，单一注意机制往往不能解释发展儿童和神经发育障碍人群中并非所有富集学习模式优处消失的原因。
神经
大脑的感觉并不期望这些单感觉触发跨模态大脑反应。以鸟鸣学习为例，听觉皮层对鸟鸣的反应更敏感。单模态基于知觉学习的共同框架理论，认为富集促进学习是通过如增加注意力或强化，导致单模态下大脑应答后恢复敏感性。
计算
现未有计算模型依赖于单模态机制来解释多模态富集的好处。
多模态和单模态理论的神经科学证据
大量的证据（图2) 提供了对多模态富集模型的支持，特别是对跨模态模型的支持机制 （图3) 。要发现这一证据，需要使用几种聚合的神经科学技巧如磁共振成像 (MRI) 显示了大脑的哪些区域有反应，富集的刺激以及它们是否在功能和结构上有联系。神经刺激证明了特定的大脑区域与富集行为存在相关性。脑电图 (EEG) 和脑磁图 (MEG) 的可以测量大脑对富集刺激和非富集刺激的反应时间。
图3。多感觉和感觉运动富集学习后的跨模态大脑反应。最近几项神经科学研究的一个共同发现是跨模态视觉，听觉，躯体与非富集学习条件相比，感觉和运动大脑区域对富集学习条件下学习的刺激表现出更强的反应。这里显示的大脑原理图指定了基于个体研究中报道的最大交叉模态反应的神经坐标。例如，在一项研究中，参与者在两种条件下学习了听觉呈现的Morse电码，一种情况下听电码序列同时加有应用于手的、感知一致的振动触觉刺激；在另一条件下，参与者只通过听而不伴随振动触觉刺激来学习电码序列。学习后，利用MRI来测量大脑听代码时的反应。躯体感觉皮层（填充三角形处），处理触觉感觉信息的大脑区域，对在学习过程中与振动触觉刺激配对的听觉序列反应更活跃。
交叉模态机制
富集的跨模态神经理论的独特的预测：第一在富集的条件下学习到的项目应该会引起跨模态神经反应，项目随后会在非富集条件下遇到。第二，跨模态反应主要由于富集学习效应导致。第三，交叉模态和感觉特殊区域之间的连接应该增加。第四交叉模态反应应该发生在识别之前的一个时间点，以影响富集的有效性，且当前的证据已经证实了这些预测。
多感觉富集学习后的跨模态视觉大脑反应
梭状面部区域 ( fusiform face area，FFA) ，一个涉及处理面部识别的区域，在被试识别先前学习配有面孔的声音时也会被激活。同样，后颞上沟 (posterior superior temporal sulcus，pSTS) ，与面部运动的视觉感知相关的区域，在被试识别与相应的面孔配对的语音时有激活，而使用经颅直流电刺激 (tDCS) pSTS，可抑制面孔配对的语音刺激导致的激活。类似的，枕侧复合体 (the lateral occipital complex，LOC) ，与物体识别相关的视觉区域，可以预测是否新词汇在之前学习中是通过听还是听和看同时听学习的。最近的研究还表明，正常人在接受盲文字母表的视－触觉训练后，被蒙住眼触读盲文时会激活大脑视觉单词形成区域 ( the visual word form area，VWFA) ，以及出现早期视觉皮质的大量灰质和白质的重组。经颅磁刺激 (TMS) 在VWFA上的应用降低了学习后盲文阅读的准确性，表明VWFA与视觉触觉学习的因果相关性。
多感觉富集学习后多模态大脑听觉和体感反应
交叉模态的听觉和体感反应的研究只有两项。一项研究发现，观看先前的学习的与声音一致配对的照片可诱发了听觉神经反应。另一项发现，学习电码同时伴有听觉和触觉学习后，躯体感觉皮层对听觉电码刺激有较弱的反应，但是还没有体感和听觉交叉模态的因果相关性的神经刺激研究。
感觉运动富集学习后的跨模态运动皮层反应
富集学习后交叉模式下运动皮层对听觉和视觉刺激的反应被较多研究发现 。初级运动皮质的反应对以前通过自我写作学习过的符号反应更强烈，而不是观看一个其他人也写了的同样符号。此外，运动皮层反应也与手势富集学习有关。手势富集和非手势富集的刺激可以根据运动皮层反应模式被准确区别。TMS抑制运动皮质可有选择性地干扰先前通过手势学习到的外语单词的听觉翻译，这说明交叉模式下运动皮层对手势富集学习的因果作用。TMS抑制运动区域STS也减少了手势富集学习效应，表明运动皮质和感觉皮质都有中介作用。相对于只有听觉的学习，听觉－运动互动学习后的音乐显示运动皮层区域增加了对听觉刺激的反应。
富集学习后的跨模态功能连接
富集的学习可以改变脑区学习后的工作方式。例如，有匹配面孔学习的语音识别中，相关FFA和听觉声音敏感脑区之间的连通性增加。在语音内容识别的面孔富集学习效应中，pSTS和听觉之间的功能连接增强。通过手写学习字母以及感觉运动富集的视听学习对象增加了视觉和运动皮质之间功能连通性。触觉阅读的训练增强了VWFA和体感区域功能连接、音乐运动训练增强听觉区和运动区之间的功能连接。一些研究也报告了相关性行为富集学习具有跨模态功能连接和/或跨模态反应，表明跨模态连接和反应是与任务相关的，而不是偶然的。功能连接的增加可能是由于感觉特殊的脑区与对面部和语音处理的脑区的直接结构连接，如FFA和时间语音敏感区。
富集学习后早期的跨模态大脑反应
交叉模态反应只有在刺激识别之前才能有利于行为。几个研究报告跨模态反应发生在早期感知富集的刺激。与面部富集学习相关的FFA反应仅发生在声音启动后的100 ms。早期FFA反应后，听觉皮层活动增加，峰值在200ms，与语音识别表现相关，表明跨模态反应在感觉加工的早期阶段被唤起。此外，在之前声音与图片配对的学习过程中，匹配声音会引出一个不同的35 ms听觉后脑电电位。溯源定位表明，这些差异与视觉大脑区域增加的反应有关。运动对感觉运动富集的音乐学习效应则发生在听觉开始后200 ms内。
超模态机制
神经收敛区对富集效应的潜在作用在很大程度上是未知，因为收敛区响应几乎完全研究绑定问题而不控制学习经验。一项脑磁图学习研究发现，在假定的STS收敛区域内的反应与视听知觉学习后的视觉任务中的行为表现相关，但不同于仅视觉学习或视觉学习与听觉噪声配对的反应。神经活动仿真研究还没有讨论收敛区域的作用，主要是因为在解剖学上难区分STS中的收敛区和附近的pSTS视觉运动区域。
单模态机制
虽然已经确定学习可以改变感觉特殊皮质，但只有少数研究比较在富集的学习后和在非富集的学习后的改变。例如，孩子们对自己手写的字母表现出更多的VWFA反应。观看与工具相关的行为引起了更明显的alpha去同步振荡。同样地，大脑对伴随声音学习的图片的反应与60 ms内的LOC活性增强有关。然而，其他研究报告称，在富集后，单模态皮质的反应没有改变。
整合富集学习的认知、神经科学和计算理论
认知、计算和神经科学理论的融合
富集学习的认知、计算和神经理论都有一些共同原则。首先，富集学习的概念涉及多模态的形成，表示是由几种神经科学和计算理论和几种认知理论，包括前面提到的认知多模式理论（双编码，CTML，运动轨迹理论，和基础认知理论）。其次，这些理论假设学习到的信息，如鸟类的视觉和听觉特征， 以多个学习后相互作用的思维模式表示。第三，这些互补有利于记住学习材料。
更新认知和计算方法
过去十年的神经科学信息可以用来更新一些认知理论的假设。例如，双重编码理论假设非语言信息刺激在同一系统中表示，如刺激的形状和声音。然而，特征是由不同的感觉特异性区域专门处理的，鸟鸣很可能表现在听觉联想皮质，但视觉中鸟类表示在LOC中。此外，富集学习可以通过感觉皮质和运动皮质 之间的相互作用解释，但依赖于语言和非语言之间的相互作用的解释却很难让人理解。此外，双编码理论拥有多模态框架，也属于认知和神经科学共同理论框架。
神经科学方法和计算方法之间的理论分歧似乎较小于神经科学方法和认知方法之间的区别。然而，计算方法依赖于超模态机制，还没有系统的研究将其应用于低水平视觉感知学习任务之外。据我们所知，尽管存在有力的神经科学证据和可以解释的数学框架，但没有一种计算模型可以利用跨模态机制实现富集学习 。
神经科学的研究挑战了单模态的解释
认知科学和神经科学中的单模态解释都强调一般认知机制的作用，如注意力是驱动富集的学习的激活阈值，低于该阈值，神经激活不是有效的或学习材料未进行可靠的编码，比如在视听学习的研究中表明，在学习后，视觉皮层对视觉刺激的反应增强。但是，许多神经科学研究证据却不支持单模态，而且单模态和超模态机制是否与跨模态机制并行运作尚不清楚。
认知神经科学研究、计算模型和教育研究之间的相互作用
广泛的共识是，神经科学可以用来限制认知理论中的特征机制，提供可靠的教育策略。提高教师对神经科学概念的知识也可以直接影响他们如何增强学生的日常学习。但神经科学的缺点是它们的信息不能应用于自然学习的情况。克服这个缺点的方式利用富集学习更自然的方式，如依靠小组学习情况模拟课堂学习环境，或通过学习更现实的材料，如外语单词，书面文本和音乐旋律。用神经科学－心理学－教育方法来优化教学策略，例如， 以神经生物学上可信的方式进一步开发计算模型可以模拟学习结果和多模态输入， 优化跨模态处理，在实验室中进行行为测试，并最终在课堂环境中进行测试。
结论
研究人类如何从周围富集的感官信息以及他们自己的运动中最佳地学习，将是发展教学技术，将课堂转化为富集的学习环境的关键。在富集的学习后，感觉和运动大脑区域对单感觉输入做出跨模态反应，这些跨模态反应有助于获得富集学习收益， 支持富集学习的多模态模型。最近的发现也有助于我们理解为什么一些长期的教育策略是有效的，也可能有助于更新富集的认知和计算理论，并提供关于最佳学习策略的新假设，这些假设可能在行为和教育实验中得到测试。当然，仍然存在许多重要的问题。我们希望本文能进一步激发认知和计算科学、神经科学、教育和康复等领域工作的研究人员间交流。
