将神经表征的概念纳入感知行动的第一原理解释中

主动推理中的神经表征:使用生成模型与生活世界互动并理解生活世界

核心：

将神经表征的概念纳入感知行为的第一原理解释中

大脑学习生成模型是为了与世界互动，而不仅仅是理解世界

三个关键点值得注意。首先，层次生成模型中的(内部)隐藏状态与世界中的(外部)隐藏状态之间存在一致的函数关系，如“手指”角或MNIST字母。这种联系通常被认为(虽然不是普遍的)反映了认知心理学和神经科学中最普遍接受的神经表征概念。这一概念的关键方面围绕着连接的结构性质，表明内部和外部隐藏状态之间的因果联系，而不是简单的相关性。这强调了内部隐藏状态编码了关于外部隐藏状态的信念，即使可能缺乏直接的一对一映射。此外，这些隐藏的状态作为生物体操纵适应性预测和控制的工具，在过程5，7中对其具有意义、重要性和适应性价值。

其次，区分两个概念——生成模型和概率信念——是至关重要的，这两个概念通常与神经表征的想法有关，尽管它们通过不同的神经机制表现出来。生成模型的结构和参数，或者它的分级组件，可以被编码在突触连接中。这是统计规则(如先验和似然函数)等元素编码的地方。另一方面，概率信念(或它们的统计，如高斯分布的均值和方差)可能会在神经元活动和神经元群体的集体动力学中找到它们的编码。随着时间的推移，神经元活动反映了生成模型下的贝叶斯信念更新。值得注意的是，有机体的(后验)信念不仅仅源于直接的感觉，还源于在生成模型下运行的推理过程。这些信念——可以与神经表征联系在一起——本质上融合了感觉输入、记忆和预测，而不仅仅代表感觉输入。正如青蛙的例子中所强调的，生成模型还能够对假设的行动结果进行假设预测。我们将在后面讨论计划(作为推理)和想象时重新审视这一点。

最后，重要的是要认识到(预测性)编码发生的方式和信念更新的动态受到特定生成模型的深刻影响。这里，我们重点关注预测编码环境中的简单生成模型，这些模型在连续时间内展开，并将变量(如图4中的手指角度)编码为高斯分布或其充分统计量(均值和方差)。然而，在基础生物和更高级生物的大脑中，可以找到更广阔的生殖模型领域。这些生成模型可以在连续或离散时间内运行，或者两者兼有。它们可以被构造成独立影响观察的不同因素(想想视觉路径中的“where”和“how”)。这些模型还可能以具有时间深度的分层组织为特征，包括关于过去和将来的隐藏状态未来。尽管有这些变化，总体信念动力学坚持一个共同的原则:最小化自由能或(精确加权)预测误差。不同的生成模型需要以不同的方式在节点间传输“神经信息”(如预测和预测误差)。因此，它们导致不同的连接和信念动态模式10。例如，显式包含过去和未来隐藏状态的生成模型使得“来自过去”和“来自未来”的信息交换能够更新关于“现在”的信念。

我们最后回顾关于主动推理机制的五个关键讨论点。然后，我们强调这些要点对神经表征概念的影响。

例子：秀丽隐杆线虫，老鼠胡须，青蛙等。

摘要

本文从主动推理的角度考虑神经表征，这是一个理解大脑功能的规范框架。它深入研究了生物如何利用生殖模型来最小化预测和观察之间的差异(用变化的自由能评分)。接下来的分析表明，大脑学习生成模型来适应性地导航世界，而不是(或不仅仅是)理解它。不同的生物体可能拥有一系列的生殖模型，从支持行动感知周期的模型到支持计划和想象的模型；也就是说，从“显式”模型到预测行动结果的“面向行动的模型”，前者需要预测同时发生的感觉的变量，如物体、面孔或人。然后阐明了生成模型和信念动力学如何与神经表征相联系，以及不同类型的生成模型对于理解主体与其生态位相关的认知能力的意义。论文最后提出了关于生成模型的进化和高级认知能力的发展的开放性问题——以及从“实用”到“分离”神经表征的逐渐过渡。对的分析为生成模型在认知过程和神经表征的进化中扮演的不同角色提供了前景。

介绍

"我的思想始终是为了我的行动."

—威廉·詹姆斯

“神经表征”的概念与大脑代表外部世界的元素的想法有关，在神经科学、心理学和哲学中发挥着突出的作用。然而，它的解释仍然是讨论1-9的主题。表征的概念是错综复杂的，特别是当应用于脑科学时，它需要与特定的大脑活动或状态相联系。这就产生了一些问题，比如:什么样的神经状态或活动可以算作一种“表征”,以及如何表征？“被代表”的实体是什么？大脑真的代表某些东西吗？还是神经代表的概念放错了地方？

在这篇文章中，我们通过主动推理的视角来探讨神经表征的概念:描述大脑功能和认知过程的规范框架10。主动推理认为大脑构建了一个包含外部世界、身体和行动可能性的生成模型。这个模型支持有意义的和有目的的与周围环境的互动。例如，它能够理解图1中的视觉图像，同时还提供各种启示(例如，在这个例子中，可以抓鱼，也可以不抓鱼)。

图一。鱼池马赛克由Gary Drostle设计，由Gary Drostle和Rob Turner于1996年为伦敦南部的克罗伊登议会制作。来源:维基百科。

主动推理和不同的哲学概念之间的联系引发了实质性的讨论。例如，它与内在主义者的观点和以行动为中心的观点交叉，增加争论复杂性的是研究者对代表性概念的差异，每一个都强调不同的标准14。

在这里，我们回避这一争论，转而关注神经表征如何从活的有机体和它们所栖息的生态位之间的互惠交换中出现；尤其是从积极推理的角度来看。我们的重点是阐明主动推理所采用的形式结构，以解释生物体如何解决认知问题。这些结构包括生成模型、概率信念和变分自由能的概念。通过深入研究这些结构，我们希望将神经表征的概念纳入感知行为的第一原理解释中。

惊奇最小化、主动推理和动作感知循环

每个生命体都面临着适应性调节和管理对其生存至关重要的基本参数的固有挑战，例如体温或葡萄糖水平。从形式的角度来看，适应性控制的必要性可以被概念化为保持在一个有限的潜在状态阵列中，或者占据一个满足基本需求的有机体特定的生态位。这种必要性的一个例子是要求将体温保持在大约37摄氏度。根据信息论，偏离这些可接受界限的状态被认为是“令人惊讶的”。例如，明显高于或低于37°C的感知体温属于这种意外的技术概念(即意外或自我信息)。这强调了对于活的有机体来说，最大限度地减少其与环境的感官互动中固有的惊奇是至关重要的。

反过来，惊奇的概念取决于两个关键因素:来自外部世界的主动采样感官观察和内部生成的关于这些观察的预测。更准确地说，惊喜随着预测和观察之间的差异而增加，见图2A。有机体可以通过两种互补的方式来缓解这种差异:通过调整其预测来更准确地预测即将到来的观察(感知)，或者通过影响其周围环境来确保即将到来的观察与预测一致(行动)。

主动推理将惊喜的减少形式化为变分自由能的最小化——一个为惊喜10设定上限的量。这一措施的两个组成部分——分歧和证据——分别对应于感知和行动，见图2B。在某些简化下，变分自由能降低到(精确加权)预测误差。这将在我们随后对预测编码的讨论中被证明是重要的。

行动和感知之间的互动对于缩小动物预测和实际体验之间的差距至关重要。这种差异被测量为变化的自由能。拥有准确的感知很重要，因为如果动物不能正确感知周围环境，它可能会努力选择正确的行动。同样，如果它不采取行动来满足它的基本需求，如口渴，它可能不会存活很久。

重要的是，行动受到内在乐观主义的指导，乐观主义被描述为对确保生存的结果的预先存在的偏好(或仅仅是“优先”)；也就是说，存在的结果或状态是所讨论的主体的特征。考虑正午阳光下的一种生物。在这种情况下，如果它的预测包括晒伤和脱水等结果，它将会表现不佳。相反，一只更成功的动物可能预测到37℃的恒温，促使它寻找15号树荫。这个例子强调，在主动推理中，某些先验，如“我的体温约为37摄氏度”，超出了贝叶斯统计的传统范围——通常表明关于外部环境的先验知识——而是承担了类似于控制论中“设定点”的角色。这些先验将任务目标编码为有机体状态空间内的吸引子，从而实现误差校正和负反馈控制16。这是因为预期体温和当前感知体温之间的任何差异都会触发适应性调节(如血管舒张或寻找庇护所)来解决差异。

图二。行动和感知在变分自由能最小化中的互补作用。(a)行动和感知在最小化有机体的预测和世界之间的差异方面发挥不同但相互依赖的作用。感知通过塑造有机体的信念来减少这种差异，使其与世界更加一致，从而提高预测的准确性。另一方面，行动通过改变外部环境来减少差异，使其更好地符合有机体的信念。(b)变分自由能在数学上抓住了“差异”的概念。虽然本文没有深入研究变分自由能最小化的技术细节，但它包含两个部分——分歧和证据——分别由感知和行动解决。进一步的讨论可以在10中找到。

同样的反馈回路也适用于控制运动。图3给出了一个“手指”姿态控制中主动推理的简单例子手指的姿势由一个因素决定:它的角度。图3A显示了感知推理——从所感受到的东西来推断手指的角度。在这个基本设置中，不存在先验(首选角度)和动作的影响，因此手指保持静止。最初，手指的实际角度(深蓝色)是垂直的，而推断的角度，即代理信念中的平均角度(浅蓝色)，被错误地设置为水平。系统的内部反馈与推断角度不匹配，导致实际角度和推断角度之间存在差异(本体感受预测误差:propr pred err，显示为绿色)。该系统使变化的自由能最小化(在这种情况下情况下，最小化预测误差)，并且在大约100步之后，推断角度与实际角度对齐。

图3。“手指”姿势控制的主动推理图解。(A)感知用于最小化生成过程中手指的实际角度(由深蓝色线表示)和估计角度之间的差异，估计角度对应于代理的后验信念(用浅蓝色表示)。(B)通过调整手指的实际角度(深蓝色)，感知和动作协同工作以减小手指的优选角度(由蓝色虚线表示的先前信念)和当前推断角度(用浅蓝色表示)之间的差距。这种对准是由于手指朝着优选的角度移动而产生的。(C)在没有行动的情况下，但是当先前的信念被考虑在内时，推断的角度收敛到实际位置和先前信念之间的中间点。“t”符号表示模拟中的离散时间步长。有关全面的解释，请参考正文。

图3B作为图3A的后续，介绍了事前和行动的影响。在这里，图像举例说明了行动和感知之间的合作动态，引导运动向首选(水平)角度。最初，手指的实际和推断角度与垂直位置对齐。然而，该系统倾向于对水平手指角度的优先选择，并一致地预测它。因此，在先前角度和推断角度之间存在不匹配(先前预测误差，以紫色显示)。这促使推断的角度(浅蓝色)向偏好的(先前的)角度移动，导致第二个

实际角度和推断角度之间的差异(propr pred err，用绿色表示)。这一次，差异可以通过行动(红线)，通过物理移动真正的手指(深蓝色)来弥合。该系统通过合并动作和感知来减少变化的自由能，在大约100步之后，使真实的和推断的角度收敛于优选的(先前的)角度。值得注意的是，主动推理不同于预测编码，因为它允许对世界采取行动来实现预测，例如移动到一个优选的状态。值得一提的是，这是一个简单的例子。稍后，我们将看到如何扩展这个框架，以包含一个更复杂的有目的行动的概念——生物体可以设想未来的运动目标，预先建立它们，并最终通过有计划的行动实现它们。

最后，图3C提供了图3A的另一种扩展，包括了先验的影响，同时排除了行动。在这里，遵循贝叶斯法则，观察和先验被合并，导致角度位置的推断倾向于真实位置和先验信念之间的中点。(注意，在这个模拟中，先验和观测值具有相同的权重。在主动推理中，这个权重取决于比较信息流的精确度或倒数方差——我们将在后面更深入地讨论这个主题。)

概括地说，我们已经介绍了生命有机体的基本要求，即最小化预测和观察之间的差异(从技术上讲，变化的自由能)。此外，我们阐明了感知和行动在实现这种最小化的过程中起着协调一致的作用。这一观点强调了大脑作为预测装置的本质，即不断产生关于外部世界的预测，以引导感知理解和行动调节。这与将大脑视为主要专注于将外部刺激转化为内部表征和随后的运动反应的机制形成了对比。然而，我们还没有详细说明生命体用来制定预测和进行推理的神经机制。这使我们进入下一部分。

生成模型

生物体是如何产生它们的预测的？为了产生预测和得出推论，有机体依赖于它们的感觉原因的获得性生成模型。生成模型是对观察如何源于未观察到的(隐藏的或潜在的)状态的统计描述。例如，它解释了像苹果这样的视觉物体是如何在视网膜上产生图像的。这种生成模型的概念与认知科学中有影响力的观点一致，表明生物实体携带外部世界的小比例模型或认知地图17，18。它进一步与人工智能19，20中“世界模型”的概念产生了共鸣。

虽然生成模型通常与“外部世界的模型”相关联，但这一概念扩展到包含更广泛的范围:它不仅包括外部世界的模型，还包括身体的模型(如“身体图式”)、内部环境(如“内部感受图式”)、情感方面、社会动态、自我相关的结构等21–27。关键的一点是，为了生存，生命体的生成模型不仅必须提供理解世界的方法，还必须规定行动的方法——从而将能动性归于有机体。换句话说，大脑学习生成模型是为了与世界互动，而不是(或不仅仅是)理解世界。因此，包括潜在动作和隐含启示28的模型在活生物体的上下文中变得至关重要。

图4说明了大脑对外部世界的“生成模型”和实际外部世界(被称为负责有机体观察的“生成过程”)之间的关键区别。该图突出了几个关键方面。首先，生成模型捕捉从直接观察中隐藏的可观测量(y)和状态(x)之间的统计关系。这在形式上等同于不可观察原因和可观察结果P(x，y)的联合概率分布。其次，需要注意的是，生成模型并不等同于现实本身；相反，它代表了有机体对现实的解释

它可以通过行动实现或创作。生成模型和生成过程都包含“隐藏状态”，但这些状态不一定相互对应甚至相似。有机体的生成模型(x)中的隐藏状态支持贝叶斯信念，表示用于预测感官后果的潜在状态的概率分布，其中包括，至关重要的是，我们的运动和生理的后果，可以分别通过运动和自主反射来实现。

然而，用于生成预测的隐藏状态与外部世界(x*)中的隐藏变量并不同构——它们可以是不同的变量，例如分类变量与连续变量。例如，我可能有贝叶斯信念，认为我在写这句话。然而，在现实中，我的运动是我的肌肉组织施加的机电力的结果，这些力试图最小化本体感受预测误差；从而实现了我的信念所带来的本体感受预测(很大程度上符合观念运动理论的精神)。当我们解构神经表征的概念时,(生成模型的)内部隐藏状态和(生成过程的)外部隐藏状态之间的区别变得更有意义。

主体和世界之间的关系是互动的，在行动和感知之间形成循环。生成模型通过行动影响生成过程，而生成过程通过观察塑造生成模型。这种动态意味着内部隐藏状态和外部隐藏状态在统计上是分离的，不能直接相互影响。这种统计上的分离通过马尔科夫毯的概念得到了正式的阐述。那些有兴趣探索这一概念及其对代表性概念的潜在影响的人可以参考11。

图4。主动推理中生成模型和生成过程的区别。在主动推理下，生成模型和生成过程包含不同的隐藏状态集(分别为x和x*)。这两个组成部分形成了相互联系的行动-感知回路:生成模型可以通过行动(u)对生成过程施加影响，而生成过程可以通过观察(y)对模型产生影响。生成模型在数学上表示为联合概率分布P(x，y)。这个模型可以产生假设的观察结果——即，预测— (y)基于推断的状态(x)。生成模型可以“倒置”用于贝叶斯推断——在观察y之后估计x的值(这本身可能是由x的估计值引起的，作为一种自我实现的预测)。这个推论的结果是一个后验或贝叶斯信念。为了更新贝叶斯信念，主动推理采用变分近似，得到由Q(x)表示的近似后验信念，它近似于标记为P(x|y)的真实后验信念。详见正文。

需要注意的一个要点是，生成模型可以在两个不同的方向上使用:从x到y，反之亦然。在第一个方向，称为生成方向，这些模型有助于从推断的隐藏状态生成潜在的观察结果。从本质上来说，这意味着模型可以用来创建预测和富有想象力的内容，从而产生了“生成”模型的名称。当代生成式人工智能模型显著证明了这种能力，这些模型从大量精选的数据集中捕捉统计模式，并随后生成合成文本(如伯特、GPT)或图像(如Midjourney、DALL-E)29-31。当在从y到x的第二个方向(称为推理方向)上使用时，生成模型能够基于观察对关于世界隐藏状态的概率信念进行推理和优化。这个过程发生在例如感知推断期间，其中模型从观察到的数据推断隐藏状态。推理或贝叶斯信念更新对应于在推理方向上反转生成模型。

生成模型的双重推理和生成角色为大脑的基本认知功能提供了机械论的见解。感知(通过预测编码)和行动(通过主动推理)的过程可以有效地用推理来描述。另一方面，像计划和想象这样的任务需要产生预期的(假设的或反事实的)观察。在下一节中，我们将深入探究支撑这些认知能力的生成模型的例证，探索它们对神经表征概念的影响。

动作-感知循环的生成模型

感知和行动都可以有效地概念化为推理过程。感知作为无意识推理的概念可以追溯到32。图5示出了支持感知学习和推理的生物启发生成模型:分级预测编码网络33、34。在该图的布局中，层级结构是可辨别的，其中神经群体从底部(较低层级)到顶部(较高层级)分组。值得注意的是，每一个层级都包含不同的神经群体，这些神经群体编码期望(在深层皮质层)和预测误差(在表层皮质层)。“期望”节点编码概率信念或它们的充分统计(例如高斯分布的均值和方差)，其生成关于观察到的内容的预测。相反，“预测误差”节点捕捉预测和观察之间的差异。推断观察结果最合理解释的过程是通过预测误差的最小化来展开的，预测误差的最小化是通过单元之间的相互消息交换来实现的:自上而下的消息传递预测，而自下而上的消息传递预测误差。学习操作类似，由预测误差最小化驱动:详情请见33，34。

图5。动作感知的预测编码和主动推理模型。(A)将主动推理解释为用于运动控制的“运动反射预测编码”。这里，黑色和红色节点分别表示期望和预测误差节点。自上而下和自下而上的边缘分别跨层传递预测和预测误差，形成预测编码层次。预测误差可以通过修改先验信念或者(如果这些先验信念具有高精度，如图中蓝色节点所示)，通过在世界中行动来最小化。解释见正文。(B)为跳蛙的(多模态)概念设计的分层生成模型。这种架构将跳蛙的概念框定为众多感官结果的潜在原因，跨越了跳跃和绿色的视觉线索，以及呱呱声的听觉输入。这些结果中的一些可能取决于动作，例如当青蛙被注视时，视觉输入发生变化。这种生成模型的反转支持从其观察到的感官表现(例如，看到绿色的东西并跳跃)进行感知推断(例如，识别跳跃的青蛙)，合并来自多个感官模态的信息。

图5A中呈现的例子通过预测编码模型的透镜重新回顾了如先前在图3中解释的推断“手指角度”的过程。在这种情况下，关于手指角度的(后验)信念被编码在较低层级的期望节点中，而其对应的先验信念驻留在较高层级的期望节点中。这两个节点通过预测误差节点连接，预测误差节点传达本体感觉和先前预测的差异。图5A的下半部分示出了主动推理的最简单的表现形式，其展示了仅通过给预测编码网络配备外周运动反射弧35、36来参与行动(抵消本体感受预测误差)的潜力。这种预测编码体系结构可以很容易地通过加入额外的分级级别来扩展。例如，用于视觉处理的预测编码模型，例如那些涉及自然图像或MNIST字母的模型，结合了多个层次级别，其中每个级别的期望对刺激33、34、37的越来越抽象的特征进行编码。

图5B提供了一个更复杂的生成模型演示，其特点是一个多模态概念——一只跳跃的青蛙。该图像呈现了一个分层的生成模型，其中沿着虚线圆圈的外围节点表示跨越不同形式(如视觉、听觉和内感受)的感觉。圆圈内的节点是单峰隐藏状态，而中心节点是多峰隐藏状态。跳跃青蛙的概念包含了一系列多模态预测:例如，关于青蛙如何出现、它会发出的声音以及涉及青蛙的典型故事的预测。行动是这一概念的一部分，能够预测与青蛙的互动(例如，感觉通过触摸青蛙而诱发的；通过触摸它或者通过视觉观察它):简而言之，一只青蛙提供的所有启示。这些预测是基于在各种化身中与青蛙互动的多方面经验。跳跃青蛙的概念包含感知推理——识别青蛙或理解关于青蛙的对话——主动推理——计划如何触摸青蛙——以及通过跳跃青蛙的概念进行“精神导航”的能力，例如，生成关于青蛙的假设性的“好像”预测。

生成模型、信念动力学和神经表征

随着主动推理及其推理动力学(基于预测误差最小化)的基本生成模型的引入，我们现在探索与神经表示的联系。在这方面，有三个关键点值得注意。首先，层次生成模型中的(内部)隐藏状态与世界中的(外部)隐藏状态之间存在一致的函数关系，如“手指”角或MNIST字母。这种联系通常被认为(虽然不是普遍的)反映了认知心理学和神经科学中最普遍接受的神经表征概念。这一概念的关键方面围绕着连接的结构性质，表明内部和外部隐藏状态之间的因果联系，而不是简单的相关性。这强调了内部隐藏状态编码了关于外部隐藏状态的信念，即使可能缺乏直接的一对一映射。此外，这些隐藏的状态作为生物体操纵适应性预测和控制的工具，在过程5，7中对其具有意义、重要性和适应性价值。

生成模型解决涉及计划和想象的认知任务

迄今为止，我们的论述一直围绕着生成模型，这些模型通过最小化变分自由能来支持感性和主动推理。在这一节中，我们考虑更具表现力的生成模型，这些模型已被用来描述涉及规划和想象的认知任务。这些任务需要生成能力和预见未来情景和未来观察的能力。

记忆引导的空间交替的层次生成模型

考虑设计用于解决记忆引导的空间交替任务38的两级分层生成模型。这些任务需要海马(HC)和前额叶回路(mPFC)内的协调互动。一个记忆引导的空间交替任务的描述呈现在图6A。在这种情况下，在W-迷宫排列中，有机体(在这种情况下，模拟啮齿动物)必须遵循学习的规则(如中心、左、中心、右、中心)通过交替的走廊，以获得奖励39、40。

图6。记忆引导的空间交替任务的分层生成模型，改编自38。(A)描述39，40使用的W迷宫中的空间交替任务。

(B)用于解决空间交替任务的分层生成模型。该模型具有两个相互连接的级别，每个级别学习物理空间(级别1)和任务空间(级别2)的地图，支持分层感知推理、规划和动作-感知循环。(C)收集模拟啮齿动物在航行过程中遇到的感官观察。(D)规划涉及通过评估政策的预期自由能(记为G(π))来选择政策(行动序列，π)。值得注意的是，与10 (E)模拟结果中的变化自由能相比，预期自由能考虑了当前和过去观测之外的即将到来的观测(通过追求特定政策来预期),这说明了模型在空间交替性能中的准确性。结果表明，完整的HAI模型正确地解决了这一问题。然而，阻碍层级生成模型的两个级别之间的通信会影响挑战性(出站)决策(HAI-disrupt)中的决策制定。详情请见38。

图6B所示的分层生成模型有效地解决了空间交替任务。在探索迷宫的过程中，该模型的两个级别学习“认知地图”来处理物理空间(HC地图41)和任务空间(mPFC地图42)。在这里，术语“认知图”表示一组隐藏变量联合成一个连贯的结构，通常类似于一个图表。这种结构编码了迷宫(或任务阶段)中空间位置之间的关系，并促进了一种形式的“精神导航”例如，它允许预测穿越迷宫的潜在结果(或前进到下一个任务阶段)。

物理空间的认知地图包括迷宫的布局和其中可行的行动。该地图是通过学习在导航过程中遇到的感觉观察序列之间的统计关系来构建的(如图6C所示)。值得注意的是，一些观察结果是“混叠的”，这意味着它们在多个迷宫片段中看起来是相同的，这导致了自定位的模糊性。为了解决这个问题，采用了被称为克隆结构化认知图(CSCG) 43的统计序列学习算法。这种算法解决了模糊性，并将轨迹编码为反映动物位置的隐藏状态序列。结果是一个非常类似于物理空间的认知图(如图6B的1级方框所示)。

任务空间的认知图捕捉空间交替规则(例如，中心、左、中心、右、中心)。这个地图是在物理空间的认知地图之上学习的。为了创建它，使用单独的CSCG来学习状态(走廊端点)之间的统计相关性(导航期间遇到奖励的位置)。从这个过程中得到的认知地图编码了模拟生物必须达到的目标序列，以获得奖励(如图6B的2级方框所示)。值得注意的是，该图与任务空间而不是物理空间一致。例如，标记为“C”的两个节点对应于相同的物理位置(中心走廊)，但是表示不同的任务阶段:具体地说，在访问左侧或右侧走廊之后到达中心。

在学习阶段之后，随后的生成模型使得图6A中描述的空间交替任务得以解决。这是通过对自身定位的分层感知推理和分层规划的组合来确定随后的行动过程而实现的。在感知推理过程中，模型将其现有的信念(“来自过去”)与其当前的观察(“来自现在”)相结合，以推断其在认知和任务空间图中的位置。合并“来自过去”的消息传递提供了对先前环境有工作记忆的系统——成功处理空间交替任务的基本属性39，40。

在分层规划阶段，该模型在任务和物理空间中做出选择(关于即将访问的州)以获得奖励。该过程从较高的级别开始，其中模型考虑任务空间图中的下一个状态的计划(实质上，根据规则确定接近哪个走廊)。随后，该目标被设置为较低级别模型中的先验。然后，低层模型参与空间规划，在物理空间地图内选择一系列动作。尽管在两个层次上使用了不同的地图，但规划程序在内部保持一致。它包括选择一系列行动(更正式地称为控制状态)，预期最小化预期自由能(G(π))，如图6D所示。

预期自由能——对规划过程至关重要——不同于图2中引入的变化自由能。与变分自由能不同，变分自由能只考虑过去和现在的观测值，期望自由能因子在未来的观测值中，在每个策略下都是期望的。预测未来的、政策相关的(和反事实的)观察结果的能力使得能够基于图6D中概述的两个标准来评估政策:“认知价值”(或预期的“信息增益”)和“实用价值”(或预期的价值)。前一个标准衡量政策依赖的观察可以在多大程度上修改有机体的后验信念，有利于提供信息性观察的政策。在浏览图6A所示的W迷宫时，这强调了导致明确状态的策略，如迷宫的底部中心，在那里观察16是可用的。相反，实用或工具价值评估依赖于政策的观察如何有效地与有机体的偏好观察相一致(表示为优先于观察，表示为C)，优先考虑实现优先偏好的政策。在我们的空间导航图的上下文中，这意味着支持导致奖励的政策；即实现获得奖励是代理问题特征的先验信念的计划。

如图6E所示，38中的模拟为分层规划在解决空间交替任务中的有效性提供了令人信服的证明。此外，来自干扰海马活动的研究的实验证据(Jadhav等人，2012年)与这些模拟一致，揭示了当模型的两个层级之间的通信被中断时，在具有挑战性的决策点(特别是在中央走廊内)性能会恶化。这种故障的发生是因为通信中断阻止了对两个“C”状态的区分。同样的模型也能够处理更复杂的任务，需要间歇性地转换规则。值得注意的是，根据44进行的研究，该模型准确地复制了经验发现，即中断两个层级之间的交流会阻碍规则转换，并促进持之以恒的行为。

生成重放

除了规划，生成动力学还可以支持其他功能。大量证据表明，在不活动期间，不同的大脑区域——包括海马体、前额叶皮层、腹侧纹状体和视觉皮层——参与“回放”重温经历内容的序列，如过去的导航轨迹。重要的是，这个重放过程还包括对遇到的内容45-54的概括和新的重组。重放活动的现象，以及神经元集合的固有激活，可以被解释为生成模型的内在动力学。这种动态活动有助于在休息期间优化模型，例如缺少新的观察时。这种机制允许大脑优化其生成模型以备将来使用，即使在没有外部输入55，56的情况下。

分层生成模型的另一个说明性实例出现在一项研究中，该研究使用概率混合模型处理空间地图的形成，如图7A 57所示。虽然这个模型类似于图6中展示的模型，但是它明确地编码了地图和序列。在最高级别，该模型获取对应于单个迷宫内的不同迷宫或段的各种空间地图，以及允许识别当前最可能的地图的相关概率分布。较低的级别捕获空间位置和单个空间位置的序列。在这个框架中，自定位包括推断当前地图、地图中的序列以及序列中的位置。这个推理任务需要融合自顶向下和自底向上的信息。例如，确定当前位置依赖于整合来自下面的感觉观察和从推断序列和地图得到的自上而下的信息。该过程利用了类似于在分级预测编码网络中发现的消息传递结构。

当接受涉及获取多个空间地图的连续学习任务时(如图7B所示)，该模型为各个迷宫开发出不同的地图，如图7C所示。值得注意的是，模型在持续学习中的表现证明了采用一种称为“生成重放”的技术时的改进这需要通过从最高层的已学习的地图中采样来生成虚拟的观察序列，并将该信息向下传播到较低层。然后利用这些重放的序列来促进模型的自我训练。考虑到地图对位置上的概率分布进行了编码，并且像目标位置和瓶颈这样的重要站点被赋予了更高的概率，再生重放自然倾向于这些显著的位置:这一趋势通过经验观察得到了证实。此外，重要的是要注意，重放的序列不仅仅是经验序列的复制品，而且可以以新的方式重组它们，如先前的研究47所证明的。图7D中呈现的结果揭示了生成性重放的部署不仅增强了地图学习，而且允许该模型优于不采用重放的基线模型，以及通过存储在外部“逐字”记忆源中的经验进行自我训练的模型(称为经验重放)。这些发现强调了生成重放的功效——以及源自生成模型的内容的离线重新激活——即使在没有新的观察可用时也能优化模型。值得注意的是，这种相同的生成重放技术可以潜在地应用于训练其他模型，例如语义存储器58或动作控制器59。

图7。时空序列的层次生成模型，改编自57。

(A)分层生成模型包含三组不同的隐藏状态:地图、序列和项目(例如，空间位置)，以解释感官观察。(B)训练过程在现实生活的导航体验和“再生重放”之间交替进行。(C)这种策略通过获取多个地图促进持续学习，从而减轻灾难性遗忘。表示学习过的地图的颜色表示跨位置的概率分布，在像瓶颈或目标位置这样的显著点达到峰值。(D)对同一层次模型的不同版本进行比较分析，包括基线不重放、经验重放(exper。rep)和两种形式的生成重放(gener。代表和公关。gen. rep)展示了生成重放在增强地图学习中的功效。详情见57。

生成模型、信念动力学和神经表征

本节中的生成模型为神经表征的概念提供了有价值的见解。这些例子有助于区分神经表征的两种可能的解释。首先，生成模型可能会对属于物理空间或任务空间的“认知地图”进行编码。这些图谱可以将它们的参数编码在突触权重中，这些权重随着时间的推移随着学习而逐渐变化。其次,(近似的)后验信念，其参数可以通过改变神经元集合中的神经活动来编码，可以代表生物体当前对其在这些认知图中的位置的最佳评估。

认识到这些信念的“代表内容”取决于生成模型固有的变量是至关重要的。例如，在图6中的分层生成模型中，系统在物理和任务空间中完成自定位。这意味着它在较低级别保持关于其在迷宫中的当前位置的概率信念，同时在较高级别保持跟踪空间交替任务中的当前阶段。另一方面，图7中描述的模型提供了一个稍微不同的视角:它意味着一个更广泛的时空上下文的表示，包括正在进行的序列和映射。这有效地结合了感觉、预测和记忆。当然，重要的是要注意，与海马、前额叶和其他脑回路的复杂操作相比，这两个模型都大大简化了。对于海马动力学的相关见解，包括“什么”和“什么时候”的分解表示，感兴趣的读者可以参考60

重要的是，规划和再生重放都超越了单纯的自我定位，产生了可能包含现在、过去和未来的信念和观察。关于未来的信念不能从当前的观察中直接推断出来；相反，它们需要生成模型的参与，以在内部生成(或想象)未来的观察结果。这些内部生成的动力学展示了“脱离”直接语境的认知形式，超越了当下的限制(参见詹姆斯和胡塞尔似是而非的当下)。这些类型的认知过程与认知科学中传统的表征意义一致:即使不存在也能表征物体或事件的能力61。在事物不存在的情况下表现事物的能力对于高级认知功能尤其有价值，这些功能包括对未来的预见和规划。这个概念可能有助于理解大脑激活和重放现象。例如，人们可以推测，就在导航之前发生的生成动力学类似于一种“本地重放”，优化下一个计划，而休息期间的生成动力学可以比作“远程重放”，优化未来交互的模型

62–64.

就进化优势而言，生成模型从直接环境中“分离”出来的能力可能会带来实质性的好处65。这种参与内部生成的模拟和预测的能力，从而预见到超越直接环境的情景，可能在生物在进化过程中的适应性成功中发挥了重要作用。主动推理——自由能原理的一个应用——允许这种目的论(或者可能是目的论)的解释；在这种意义上，最小化变化的自由能就是最大化与生态位进行感官交换的边际可能性，这为表型的适应性成功打分。

最后，简要考虑一下生成模型如何获得“意义”和表示某种东西的能力是有用的。上述两项关于认知地图形成的研究将生成模型描绘为地图或图式的模板或预定义框架57、66。最初，这些模板缺乏内在的意义，充当编码经验和产生预测的容器。当这些模板积累感觉运动经验时，意义的获得就发生了。本质上，这些生成模型从无意义过渡到获得意义，例如表示任务空间中的特定空间位置或方位。这种转变发生在他们通过行动与外部世界联系起来的时候:这个过程被67恰当地描述为通过与环境的互动从无意义的领域到有意义的领域的旅程。

生成模型和信念中的抽象和扭曲

到目前为止，我们的焦点一直集中在外部世界的生成模型上，尤其是被解读为认知地图的模型。然而，重要的是要承认模型永远不会现实的“完美复制品”。这种分歧的一个原则性原因在于主动推理的原则，有时被称为自我证明68:最小化自由能就是最大化边际可能性或模型证据。至关重要的是，日志证据总是可以分解为准确性和复杂性。这意味着生成模型学习在准确性(包括数据重建和预测)和复杂性之间实现了平衡，考虑了模型参数或自由度的数量等因素。惩罚复杂性的过程产生了生成模型，其隐藏状态仅包含增强准确性的相关细节。

本质上，最有效的生成模型倾向于保留足够的细节来准确地表示观察结果并实现任务成功(在行动导向模型的情况下)，同时丢弃不会带来准确性增加的冗余信息。因此，学习导致简约模型的发展，从无关的细节中抽象出来，形成压缩的潜在空间或流形55，69-71。这在前面讨论的认知图中很明显。然而，值得注意的是，隐含的几何可以偏离外部世界的真实几何。这种扭曲也存在于大脑的生成模型中。例如，研究表明海马认知图在整个环境中并不是均匀分布的。相反，在与目标和其他重要特征72-74相关的位置中，通常会发现更多的位置单元格。此外，具有相等值的空间位置倾向于更紧密地聚集在潜在或隐藏状态空间中，进一步举例说明了这些失真70。

对这些失真的一个看似合理的计算解释是在模型简化领域中找到的:在模型被学习后应用的过程，以微调准确性和复杂性之间的权衡。在模型学习之后，模型缩减评估每个模型参数(c.f .,突触连接)是否贡献了相称的精度水平以超过其复杂性成本。不满足该标准的参数被修剪，有效地将它们从模型的架构中移除(并且通过修剪突触)55。这种做法不可避免地导致某些信息的潜在损失，尤其是关于不经常观察的信息。然而，它同时导致更有效的模型，通过避免过度拟合来提供改进的泛化能力。

率失真理论75和算法复杂性76，77对模型学习过程中准确性和复杂性之间的相互作用提供了一致的观点。另见78–82。不像模型简化，这往往是一个后学习过程，率失真理论在学习本身。它形式化了具有固定容量(有限自由度)的模型如何以最佳方式压缩信息，反映了观察值的统计分布及其功能相关性。这一过程在表示中产生系统的失真，由此频繁遇到的观察和那些与特定任务最相关的观察被以更高的保真度编码，而不太重要的观察被更大程度地压缩。

为了说明这个概念，让我们考虑一个机器学习中常用于降维的生成模型；即β变分自动编码器83。我们将使用这个模型来学习一组500，000张“空间地图”，这些地图是13x13的黑白图像，包含两条垂直方向的嘈杂“走廊”这些走廊位于图像的上部或下部。在图8A中，我们展示了21幅示例地图，每幅地图都根据两条走廊中心的像素位置进行了标记。例如，标签(0，12)指示上部走廊的中心对应于像素0，而下部走廊的中心与像素12对齐。我们的分析包括对四个不同版本的

β-变分自动编码器，各有不同的特点。前两个模型(模型1和模型2)是具有标准无监督学习目标的β变分自动编码器。这些目标具有变分自由能的函数形式，但包括一个超优β，称为容量，它相对于精度(即失真)来衡量复杂性(即速率)。这些型号之间的区别在于它们的容量:型号1具有高容量，而型号2具有低容量(如图8B所示)。剩下的模型(模型3和4)也是β变分自动编码器，但是它们结合了监督学习。特别是，第二个目标与二元分类的准确性有关。任务是识别输入图像的特征是对齐的走廊(分类为0类)还是不对齐的走廊(分类为1类)。虽然模型3和模型4的学习目标是一致的，但它们因容量不同而有所差异:模型3容量高，而模型4容量低。

图8。生成模型中的抽象和扭曲。该图展示了通过β-变分自动编码器(Higgins等人，2016年)获得的潜在代码，旨在编码和压缩空间地图图像。(A)描绘了来自用于学习的500，000个空间地图的21个样本，其特征在于位于上部和下部图像部分的两个有噪声的垂直“走廊”。地图标签表示跨越13个像素(0到12)的左上走廊中心。

(B)详细说明了培训期间采用的目标(损失)函数。前两行描述了模型1和3中无监督学习的术语。这些对应于(负)自由能，在这里被分解为准确性和复杂性项(而不是图2中的证据和散度)。这两个术语与率失真理论75的失真(即，准确性)和率(即，复杂性)方面一致。第二行中的参数β调整模型容量；型号1和2的容量较高，型号3和4的容量较低。第三行涉及仅由模型2和4使用的监督(分类准确度)术语。该监督目标涉及二元分类，区分输入图像中两条走廊的对齐(0类)或不对齐(1类)。(C)绘制由四个模型生成的潜在代码。每个点对应一个图像在生成模型的低维潜在空间中的位置；某些图像被标记(例如，6，6 在中心)。点颜色反映分类任务中的图像类别(绿色代表类别1，橙色代表类别0)。

图8C的四个面板提供了由四个不同的β-变分自动编码器学习的潜在代码的2D投影的可视化。每个点对应于生成模型的低维潜在空间内的特定示例图像的位置。为清晰起见，某些图像标有位置，如中间的“6，6”。此外，圆点的颜色表示图像在分类任务中所属的类别:绿色表示类别1，而橙色表示类别0。在模型1的情况下(图8B的左上图)，潜在代码以正交的方式扩展到变化的因素(即，上部和下部走廊的位置)。模型2(图8B的左下方)展示了类似的潜在代码，但是某些区域更密集地聚集，导致分辨率损失。模型3和4展示了潜在的代码，其中属于类0的输入被推向外围，导致改进的辨别。这种现象在模型4中特别明显，其中潜在代码被二进制化，导致它们不相等地跨越变化因子。这些例子强调了平衡精度(即失真)和复杂度(即速率)的影响。在主动推断中，容量本身根据以通常方式推断的精度进行优化(见下文)。

总之，上述数值研究表明，生成模型学习有利于低维潜在空间或流形69。这些潜在状态空间或流形是由观察的统计特征形成的，在任务驱动模型的情况下，是由任务本身的性质形成的。然而，准确性和复杂性之间的权衡意味着这些潜在空间以最佳方式被扭曲。例如，潜在空间可能强调最频繁的输入。此外，这意味着在活生物体中，观察取决于行动，而不是像典型的机器学习场景那样预先确定，学习历史在塑造潜在空间的几何形状中起着作用。

信念和精确控制的扭曲

不仅生成模型的结构，而且贝叶斯信念也可能出现扭曲。有趣的是，即使在生成模型的内部隐藏状态和世界的外部隐藏状态之间存在直接的一对一对应，这种情况也会发生。例如，考虑图3中讨论的“手指角度”的情况，其中角度是定义特征。即使在这种情况下，生物体关于手指角度的后验信念也可能偏离真实角度。这种差异可能源于多种因素。例如，由于嘈杂或误导性的观察，推理过程可能会收敛到一个不正确的值。这种情况类似于知觉错觉或“误传”的例子。

对这种最佳“错误陈述”的原则性解释是，在主动推理——以及更广泛的贝叶斯推理——的背景下，推理的结果由两个重要因素的相互作用决定:观察和先验。在主动推理中，这些先验代表了有机体的偏好状态，导致一个主体的后验信念可能不能准确地代表外部现实。相反，由于偏好的加入，这些信念可能会有偏差，从而产生一种“乐观偏见”。关于这个概念与表示的更深入的讨论，读者可以参考13。这一概念在图3C中得到了证明，该图强调了关于角度位置的推理过程如何趋向于收敛到真实手指位置和角度位置之间的中点当行动被排除时优先。这个例子强调了主动推理和其他框架之间的基本区别，其中没有考虑知觉推理和行动之间的关系。

图3C中的模拟假设先验和观测值具有同等的权重，但实际上，这并不是一个普遍规律。在预测编码和主动推理框架中，信息源的权重是基于它们的精度(或者在高斯分布的情况下是逆方差)来确定的。这意味着具有较高精度的信息，表明较低的不确定性，被赋予更大的权重，因此对推理过程具有更强的影响。这种精确加权机制在感知推理和运动控制中都起着至关重要的作用。精度值的不正确赋值会导致这两个领域的混乱。例如，一些与精神分裂症相关的障碍，如幻觉和持续的感知扭曲，可能是由过于精确的先验引起的，导致推断过程忽略感官观察并过度依赖内部模型84..这种机制可以延伸到各种其他精神病理学状况和运动障碍，其中先验和感觉输入的精确设置之间的不一致可以导致损伤24，26，85–90。总的来说，这些研究强调了精确加权在生成模型中的重要性，因为它在微调有机体的后验信念及其与(主要是自我生成的)现实的一致性方面起着关键作用。

面向行动的生成模型:带有行动味道的神经表征

“举例来说，从真正意义上来说，青蛙并没有发现苍蝇——它发现的是大小合适的移动的小黑点。同样，家蝇并不真正代表它周围的视觉世界——它只是计算了几个参数……它将这些参数插入快速扭矩发生器，使它能够足够频繁地成功追逐配偶。”

大卫·马尔，1982年。

到目前为止，我们已经考虑了一个相当经典的表示概念，其中有机体的生成模型扮演了一个“小规模”模型或认知地图的角色，神经活动表示地图中的一些实体(例如，一个人在地图中的当前位置或未来预测位置)。虽然认知地图并不包括每个细节并且可能被扭曲，但是它仍然以大脑中的隐藏变量(例如，认知地图中的位置)和外部世界(例如，迷宫中的位置)之间的对应为特征。这是“表征”认知科学中的一个标准假设，即假设模型对与外部世界中的物体或位置等事物同构的隐藏变量进行编码，以推断它们。

然而，主动推理引入了一个新的角度，表明大脑的生成模型主要是为了在世界上实现适应性行动，而不仅仅是理解它。这与“好的调节器”定理相一致，该定理断言系统的有效调节器需要拥有该系统的模型91。在这种情况下，行动控制模型中的隐藏变量不一定反映外部世界的隐藏变量。事实上，关键的目的是指导适当的行动，精确的表示是次要的。这意味着，如果模型能有效地指导适应性行为，那么生成模型如何与外部现实相对应的详细程度或准确性就变得不那么重要了。只要模型支持成功的决策和对环境变化的反应，在主动推理的框架内，它忠实地代表外部世界的程度就变得不那么重要了。这种视角的转变 强调表征的功能和实用方面，只要模型能促进适应性行为，反映外部现实的准确性就不是严格的要求。

承认生成模型在促进互动方面的语用功能，开启了对主动推理的生成性解释，这种解释将适应性行为置于单纯的表征之上，有时甚至挑战内部表征的概念。一个有趣的方面是，与经典认知理论和生成理论之间的传统哲学二分法相反，主动推理并不要求一个排除另一个。这是因为主动推理调和了与世界互动和表现世界的追求。因此，一个相关的问题出现了:一个有机体的生殖模型应该在多大程度上反映外部世界的最佳功效？

在一系列任务中，一系列生成模型是有效的，从“显式”或“环境”模型(如图6-7中的认知图模型所示)到“面向行动”或“感觉运动”模型，这些模型优先考虑交互，同时回避外部世界变量的编码12，14，92，93。重要的是要记住，生成模型编码观察的潜在原因。显性和面向行动的生成模型之间的关键区别在于它们对可观察到的感觉的解释:前者将这些感觉归因于外部事件状态的结果(例如，来自外部对象的视网膜上的图像)，而后者将它们归因于行动的结果(例如，来自搅拌运动的触觉)。

尽管存在差异，这两种类型的生成模型可以有效地支持相同的任务。例如，考虑啮齿动物需要测量与物体的距离的场景。它可以选择使用显式生成模型，该模型提供了外部元素的详细描述；包括物体身份和空间距离。该模型通过推断其隐藏状态的最可能值来实现距离(和对象)估计，类似于手指控制模型如何推断手指角度或空间导航模型如何推断动物的可能位置。

另一方面，啮齿类动物可以选择利用面向动作的模型，该模型专门捕捉胡须运动和触觉之间的关系，而不需要明确地结合代表外部实体(如物体)的变量。这个概念的主要说明是由94表示的主动搅拌模型，其复制了预期晶须控制95的经验观察，如图9所示。在这个生成模型中，晶须振动的幅度取决于隐藏状态，该隐藏状态结合了来自固定中心模式发生器和关于期望幅度的先验的贡献。值得注意的是，该模型预测当胡须被拉长时的触觉，通过预测误差的最小化来控制先前的信念和胡须动态，直到该预测被实现。在延长结束时预期的触觉没有实现的情况下，先验被调整，导致在随后的循环中触须幅度增加。相反，不可预测的触摸感觉导致相反方向的先验更新，导致在随后的循环中触须幅度减小。在收敛和随后预测误差最小化时，动物-物体距离可以从编码胡须幅度的隐藏状态中读出，尽管该模型不是固有地编码距离:参见，感知控制理论和相关公式96，97。

图9。胡须运动的主动推理模型，改编自94。(A)显示生成模型的示意性表示，具有超过期望振幅的先验、控制触须振幅并生成躯体感觉(触摸)和本体感受预测的隐藏变量。(B)描绘了当晶须意外接触到物体(水平黑线)和当物体消失时几个模型变量的时间演变。在图A中，显示了实际的晶须振幅，在遇到物体时停止。画面B示出了推断的幅度；在最初的接触中，它超越了物体，但在随后的循环中迅速收敛到物体的距离。画面C和D分别示出了本体感受观察和预测误差。画面E展示了动作动态，在接触物体之前增加幅度，在意外接触之后降低幅度。

这个例子强调了使用面向行动的生成模型来规范行动的潜力，这种模型封装了感觉运动偶发事件，有时被描述为非代表性的98，99。其他面向动作的生成模型也可以用来实现不同的具体化策略。例如，使啮齿动物能够在迷宫中导航的策略，不需要构建迷宫的表示，而是在遇到障碍时改变它们的路线10。类似地，可以为棒球外场手设计策略，通过选择抵消球的光学加速度的运行路径来接球，而不需要预测球的轨迹12，100-103。

在一个非常简单的生物——秀丽隐杆线虫的神经系统中，可以观察到另一个面向行动的生成模型的例子。多项研究表明，秀丽隐杆线虫的脑活动的重要部分包含运动行为序列，包括向前和向后运动，以及腹侧转动，这支撑了动物的动作选择104。降维分析表明，这些行为序列被安排成稳定的循环。这些循环分叉的点可能对应于不同行为序列之间的决定。例如，决策点可以包括在执行腹部转弯后在向前运动和向后运动之间进行选择，如图10所示，取自105。这些发现表明，秀丽隐杆线虫大脑活动的很大一部分是为了促进连续的与外部环境的互动，没有明确编码外部世界的状态。这种生成模型被证明足以让秀丽隐杆线虫在不构建其内部表示的情况下导航其周围环境。类似地，这个模型可能会利用反馈感觉在分叉点做出适应性运动决策，例如，如果前面检测到物体，则增加腹部转弯后反向运动的可能性，或者如果从后面检测到物体，则减少反向运动的可能性。这种机制在概念上类似于在由94提出的主动搅拌模型中观察到的在意外的触感之后(或者在缺少预期触感之后增加)晶须振幅的调整。

图10。秀丽隐杆线虫中的神经群体活动表示，改编自105。秀丽隐杆线虫中神经群体活动的低维描述，展示了运动行为的循环，用颜色编码来表示向前运动、反向运动、腹部转弯等。该图捕捉了可能表示不同行为模式之间的决策的分歧点。详见105。

总之，外在的和面向行动的模型，甚至结合了两者的混合模型，都有支持认知任务的潜力。然而，只有外在模型会额外涉及外部环境的重建。如果重建外部环境与传统的表征概念相一致，那么它就变成了一种实证研究，以确定哪些物种或任务需要传统意义上的神经表征。这导致了两个方法上的考虑。首先，如前所述，识别生物体中的神经表征意味着揭示其用于进行推理的生成模型。第二，仅仅从有机体的行为或神经变量中读出某些信息(如距离细节)的能力并不能自动表明该有机体正在表征这些信息，至少在经典的表征理解中不是这样。一个诊断性的问题出现了:例如，距离信息是否被同一个神经区域或下游回路用来做决定。

讨论

在这篇文章中，我们从主动推理的角度探讨了神经表征的概念，这是一个提供大脑功能和认知见解的规范性框架10。我们最后回顾关于主动推理机制的五个关键讨论点。然后，我们强调这些要点对神经表征概念的影响。

首先，指导生物体的一个基本要求是尽量减少它们的预测和观察之间的差异。这种必要性通过行动和感知来实现，行动和感知共同最小化变化的自由能(或在特定条件下的预测误差)。第二，预测和必要推理的产生取决于生成模型的获得和使用；即，描述如何从不可观察的(隐藏的或潜在的)原因产生观察结果的统计模型，例如，视觉对象(如苹果)如何在视网膜上产生图像。生成模型支持感知(预测编码)和行动(主动推理)中的预测和推理过程。第三，更先进的生成模型提供了规划、想象和前瞻性认知。规划需要利用生成模型来设想未来的观察结果106-109，通过测量其最小化预期自由能的能力来评估潜在的行动计划。因此，规划体现了一种脱离当下的认知形式。第四，生成模型的获取平衡了准确性和复杂性。最佳生成模型体现了模型证据的这些成分之间的权衡，促进了抽象，同时引入了相对于现实的明显“扭曲”。第五，在主动推理的框架内，生成模型服务于实现适应性行动的目的。虽然提供对外部世界的全面甚至真实的描述有时可能证明是有益的，但这不是绝对必要的。这意味着不同的有机体可以有效地利用不同类型的生殖模型。这些模型包括从“显式模型”到“面向动作的模型”，前者包含对象、面部或个人等实体的变量，后者仅通过预测动作的结果而无需对对象等外部实体进行编码来促进适应性动作。每一点都暗示了神经表征的概念。

自由能最小化在多个时间尺度上运行

当强调自由能最小化的重要性时，重要的是要认识到该过程在大脑机制内的多个时间尺度上运行(例如，快速神经放电率与渐进突触更新)，并且与动作交织在一起，动作在不同的时间尺度上展开(例如，基本运动与旨在实现远程目标的复杂动作序列)110。在行动-感知循环中，自由能的最小化改变了有机体对世界的信念，并指导行动来塑造世界。这与神经元放电频率的时间尺度有关。另一方面，学习机制和模型参数的调整以相对于动作-感知循环更慢的时间尺度运行，表现为突触更新。此外，学习过程也在休息期间显现，在此期间，大脑通过模型简化和突触修剪55、56潜在地优化生成模型以备将来使用。生成模型的优化也扩展到发展和进化的较慢的时间尺度。人们可以把生成模型对有机体生态位的逐渐适应理解为一种非常渐进的贝叶斯模型选择111-113。

相反，相对于行动感知周期，计划和想象可能在更快的时间尺度上运作。在计划的背景下，一个有机体可以提炼它关于未来行动和它将遇到的潜在状态的信念(并回溯性地修改关于过去的信念)。这个领域的特点是“重播”事件的时间尺度。最后，自由能最小化的过程包括超出能量范围的修改大脑，如联合行动和文化动力学114-118。然而，这些方面不包括在当前的讨论中。

认识到自由能最小化运作的不同时间尺度，对于将神经表征置于一个更广泛的框架内至关重要，这个框架超越了大脑的直接运作。就神经表征与信念和生成模型(如下所述)的联系而言，值得注意的是，这些元素通过复杂的嵌套过程进行优化，以不同的时间尺度展开，从神经元活动到进化。这一观点对于自然化神经表征的概念很重要:即，认识到这可能是一种内在的适应，使有机体能够最小化其自由能——或最大化其存在的证据10，11。

生成模型、信念动力学和神经表征

自从认知科学17，18诞生以来，生成模型和信念动力的概念就与表征的概念内在地交织在一起。然而，至少可以用两种不同的方式来理解表示的概念。一方面，生成模型本身，其参数可以编码在突触权重中，可以与神经表示的概念一致。这种解释类似于提及“认知地图”的“表示”，相反地，信念的动态可能对应于神经放电率，也可以被视为这些信念的主题的“神经表现”——例如手指的位置或跳跃的青蛙的多模态概念。后一种观点与(神经)表征的传统属性更密切相关:它们是关于某些东西的，并被有机体用来完成特定的任务，如预测行动的感官结果或指导适应性行为。因此，它们对生物体本身具有意义和重要性1，3，5-8。

规划、想象和超脱

变化的自由能是行动和感知的基础，而预期的自由能是规划的基础，两者之间存在着根本的区别。前者完全依赖于过去和现在的观察，而后者需要利用生成模型来内生地生成(或想象)反事实的观察，这些观察可能来自特定的行动序列。这种机制不仅对规划有影响，而且对面向未来的认知的各种表现也有影响，包括“仿佛”模拟、重演和想象等概念；以及过去事件的重现或反事实事件的构建。值得强调的是“内源性”一词，因为这种生成能力取决于暂时脱离即时行动-感知循环，从而忽略感官输入和预测错误。

从神经学的角度来看，分离和重放生成模型中编码的统计模式的能力，重温过去的经历或设想未来的情景，在神经元再激活和重放中发现了明显的相似之处45，46。从理论上讲，这种现象符合经典的概念，即代表用来代表“不存在”的东西61。然而，并不是所有参与主动推理的主体都参与计划或期望自由能最小化。因此，如果分离的能力和某物“不存在”时的表征在拥有或缺乏表征(或认知)的有机体之间有所区别，它潜在地强调了专门最小化变化自由能的主动推理主体和另外最小化期望自由能的主动推理主体之间的分类划分自由能119。因此，对一个有机体的表达能力、表达方式以及是否参与这种活动的探究，再次依赖于对其潜在生成模式的识别。

生成模型中的抽象和扭曲

即使在坚持将模型定义为外部世界的表示的传统定义时，重要的是要承认没有模型能够完美地反映现实，并且某种程度的信息损失是不可避免的。然而，诸如主动推理和率失真理论75之类的范例超出了这一明显的考虑，并强调了生成模型中最佳信息压缩的重要性。在主动推理框架中，生成模型必须在准确性和复杂性之间取得平衡。这种平衡旨在促进从数据中进行最佳学习，确保效率和归纳能力。如图8所示，模型学习的不同约束(如数据统计和学习目标的变化)导致生成模型获得的潜在状态的不同几何形状和变化。

最近对不同大脑区域的神经元反应的几何结构的研究获得了动力69，70，120。在一定程度上，这些几何图形反映了我们如何感知世界，很明显，不仅生成模型本身，而且其学习统计的细节在确定它代表什么以及如何代表方面都起着至关重要的作用。

显式和面向行动的生成模型

大脑学习生成模型来适应性地导航世界，而不是(或不仅仅是)理解它。不同的生物体可能拥有一系列的生成模型，从涉及用于推断外部实体(如物体、面孔或人)的变量的“显式”模型，到优先预测行动结果的“面向行动的模型”，省略了对外部实体进行编码的需要。这些模型可以为共同的生物学挑战提供不同的解决方案，例如估计与物体的距离。因此，有机体为特定任务所采用的特定模型仍然是经验研究的问题。

这一视角允许关于生成模型的角色的“生成”或“实用”观点，这些观点强调生成模型的角色，其主要角色是中介交互，而不是真实地呈现外部世界。从理论的角度来看，这个概念可以有几种解释。一种解释可能表明，面向行动的生成模型仍然有利于神经表征，尽管这些可能被理解为传达启示和潜在行动的“实用表征”。另一种解释可能断言，感觉运动偶发事件的模型不需要表征99的概念。虽然解决这一争论超出了我们的范围，但我们可以注意到，不同的生成模型(明确的或以行动为重点的，具有不同的隐藏变量)赋予了生物不同的能力。例如，如前所述，主动推理中的生成模型支持自适应的行动-感知循环，但只有某些模型支持分离的认知操作，如规划或想象。

这一观察有一个重要的结果:假设“意义”和“理解”通过生成模型与施动行为内在地联系在一起，上述一系列生成模型赋予了对有机体生态位的不同形式的“理解”。这从生成理论强调的“互动中的意义”到认知理论强调的“无所指的表征”都有。同样的，缺乏与周围环境互动的生成式人工智能模型将缺乏促进真正理解所必需的现实基础(Pezzulo et al .，2023)。

符号分离问题:从语用到描述性表征

前面的论述提出了一个关键但尚未解决的问题:在我们早期进化祖先中实现动作控制的相对简单的生成模型(如图10中的秀丽隐杆线虫)是如何进化成也促进分离认知的模型的？不同的研究人员4，65，121–125提出了一个从“实用主义”到更“超然”和“描述性”的表述的合理过渡，它可以浓缩为两个关键步骤。

最初，有意义的活动模式可以在有机体预测和控制简单行为策略的能力范围内出现。如果它们是关于某些东西的，它们可以被认为是“实用的”神经表征:例如，它们提供了对物体交互产生的感官反馈的预测，尽管只是在有限的上下文中。这些模式不仅仅是相关性——它们展示了与外部元素(无论是显式编码还是未编码在模型的隐藏变量中)的系统的和“可利用的关系”。这使他们能够指导适应性的行动，向他们灌输意义和适应性的重要性。这些表征植根于有机体的适应性预测和控制能力，但它们并不是孤立的:它们是受环境约束的，并且仅在行动-感知循环和有机体的当前状态的环境中被激活。由124突出显示的实例涉及脑岛中对与食物相关的视觉提示的反应，该反应仅在生物饥饿时出现126。在这种情况下，假定的食物线索的神经表征和它们的效价是上下文特定的，并且在这个上下文之外是不可接近的；比如描绘没有食物或者没有饥饿的情况。

随后，有机体获得了内生生成其语用神经表征的能力。这种内源性生成将这些表征从它们最初的感觉运动环境中分离和抽象出来，使它们脱离与外部感觉输入、动作执行或促进它们出现的有机体最初行为状态的强制性联系。然而，这些表征保留了它们最初的基础:它们仍然是关于某些东西的，可以被用来评估和选择替代行为(无论是执行的还是想象的)，并且对有机体具有意义和重要性。重要的是，它们的分离使有机体具备了想象和思考“不存在的东西”的认知能力；无论是潜在的行动，期望但不存在的实体，还是可传播的概念。因此，脱离刺激了高级认知功能，特别是面向未来的认知，如规划和想象，这可能解释了脱离本身的进化益处。大多数认知理论认为，当一个有机体能够内生地产生对世界的神经表征时，真正的“精神生活”就出现了；无论是根据个人喜好塑造它，还是为了沉思。扩展到食物相关线索的例子，即使在没有食物或饥饿的情况下，分离表征也能使人思考或谈论食物。此外，获得的关于食物(或导航或类似主题)的知识可以被抽象化以支持新的能力，例如理解故事或设想有回报的旅程。这些例子说明了分离如何在神经表征中产生从语用到认知或描述性目标的根本增强或转变。本质上，分离表征对应于通常与我们的心理体验相关的“描述性”表征。并且通过社会互动和语言交流变得丰富127-130。

值得注意的是，这一视角揭示了本文一直强调的生成模型的两个关键功能之间有趣的双向相互作用:参与生活世界并理解它。传统认知理论通常认为，为了与世界有效互动，有机体必须首先达到对世界的理解水平。同时，我们在这里强调了理解世界以及从中产生意义需要积极的互动。在主动推理中，这两个过程紧密交织在一起。以类似于在短时间尺度上最小化变化自由能在即时感知和行动之间设置相互循环的方式，在较长时间尺度上的相同最小化促进了理解世界和积极参与世界的行为之间的相互循环。

许多研究人员已经提出了这种叙事的不同版本，但仍有许多是推测性的。一个挑战是调和分离的概念和大脑进化的渐进观点。未来的研究应该探索描述从简单到复杂的有机体的主动推理的生成模型的进化是否可以解释来自行动控制循环的分离的和面向未来的认知能力的发展65.

参考

。。。

编码地图模型统计原理

0 人点赞