摘要
尽管大脑在完全黑暗的环境中运行——在头骨中——它可以推断出其感觉输入的最可能的原因。模拟这种推理的一种方法是假设大脑有一个世界的生成模型，它可以反转该模型来推断其感官刺激(即感知)背后的隐藏原因。这一假设提出了关键问题:如何将设计大脑启发的生成模型的问题公式化，如何将它们转化为推理和学习的任务，要优化的适当损失函数是什么，最重要的是，平均场近似(MFA)的不同选择及其对变分推理(VI)的影响是什么。
1. 介绍
值得注意的是，即使大脑居住在我们头骨中的纯黑暗中，它仍然能够理解和分析外面的世界，为未知的未来做计划，甚至做出可能影响和改变世界的决定。几十年来，有一种流行的观点认为大脑是一台预测机器，它不断地推断其感官输入背后的隐藏原因。
这个观点可以追溯到亥姆霍兹(Helmholtz,1866)，他提出了“感知是无意识推理”的观点——这一观点已经成为“贝叶斯大脑”假说(Doya et al.,2007).这种方法将感知表述为一种推理过程，基于大脑如何相信其感觉是如何产生的生成模型，其中大脑被认为是一个统计器官，在给定观察到的感觉数据的情况下，更新关于世界外部状态的概率信念。这一表述符合贝叶斯的观点，它允许最佳的信念更新，给定感觉刺激(Parr et al.,2022).更专业地说，给定一个感官观察o，感知的目标是推断最可能的隐藏原因s，它导致了这个观察，这可以通过贝叶斯定理来表述。
为了定义一个合适的生成模型——及其反演，我们需要考虑手头问题的几个方面。至关重要的是，我们需要解决一些基本问题:我们是在处理连续的还是离散的隐藏状态？我们看到的是连续时间还是离散时间？推理的任务是仅限于生成模型的参数(即学习)，还是仅限于隐藏状态(即推理)，还是两者都有？什么是最合适的目标函数——其优化需要学习和推理——以及如何使其极值化？一个人是否致力于后验的函数形式？平均场近似(MFA)有作用吗？应该使用抽样方案还是分析变分推断(VI)？诸如此类。在本文中，我们提供了这些问题的详细调查，并提供了一个路线图，以准确和有效地制定神经模拟概率生成模型。
2. 各种问题公式及其含义
在设计一般模型和反演方法时，有不同的问题空间。在本节中，我们将讨论在实现这些模型之前要记住的含义和一般注意事项。
2.1. 推理和学习:估计隐藏状态还是估计参数
重要的是澄清模型反演的任务是否用于推断，即，在给定一些有噪声的观察值的情况下，推断隐藏状态上最可能的分布(假设固定/学习的模型参数)，和/或学习生成模型的参数。有趣的是，最大似然群体通常专注于估计未知参数，而状态估计的问题被抑制了——不管状态是未知的随机变量(即，具有随机波动),还是它们是取决于参数(即确定性状态空间模型(SSM))。
通过VFE最小化来反转生成模型，可以实现:(I)未知参数估计，其中对隐藏状态估计不感兴趣，只对参数估计感兴趣(即学习)；以及(ii)未知状态和参数估计，其中模型反演解决了部分观察或随机系统中的双重估计问题，其中隐藏状态和参数都被估计(即推理和学习)。
2.2. 状态空间模型公式
随后用于过滤或平滑的贝叶斯信念更新将具有不同的函数形式，这取决于所讨论的状态空间的类型:连续状态或离散状态。
2.2.1.离散状态空间模型
3. 结论
给定不确定的观察，生成模型可以帮助我们对世界上数据生成过程的信念进行建模。通过反转生成模型，我们可以估计:
1)引起这些观察的隐藏状态，以及
2)生成模型的参数，以解释观察是如何引起的。本文提供了一个全面的指南，介绍了如何设计和反转推理和学习的生成模型，以及损失函数的选择，最重要的是，变分推理的平均场近似(MFA)的不同选择。我们已经说明了离散的SSM；然而，基本概念可以转移到连续SSM。
4.未来工作
我们正计划开发一个大脑启发(神经模拟)框架，用于转换生成或世界模型，以完成感知任务。选择的框架被称为预测编码(PC)，它为描述皮层如何从噪声刺激中提取信息提供了一个强大的数学框架(黄&饶，2011)。PC假设大脑需要一个世界的生成模型，在这个模型下，它不断地对感官输入背后的隐藏原因做出预测。PC是变分推理的一个特例，它假设平均场因子和后验概率分别遵循高斯和狄拉克分布。因为PC可以公式化为变分推理——VFE提供了模型证据的界限——人们可以使用贝叶斯模型比较来评估不同的MFA分解。我们还旨在通过捕捉广义运动坐标中隐藏状态和观测值的高阶时间导数来精细化变分推理过程。使用这种广义动力学，变分推理原则上可以提供对隐藏状态的真实后验的更准确和有效的估计，特别是在解析(即平滑)随机波动下的在线学习中。
推荐：
一个框架整合大脑理论2 第一章
