将当前的人工神经网络与生物脑神经网络对比，多层人工神经网络的神经元的信息流动只在本层神经元跟上下层的神经元之间进行信息的交换，本层神经元之间没有连接也没有信息交流。而生物脑的神经元的信息互动不只是在神经元上下层之间流动，生物脑的同一层神经元之间也有相互的信息交流。
一句经常被重复的格言是“范畴理论是使类比精确的数学”,这是有道理的。事实上,范畴理论在现代数学中无处不在的原因之一是它能够将听起来模糊的故事转化为正式的具体数学,这是我们将在这里讨论的这种现象的一个具体例子。
根据命名法本身的建议,在深层神经网络和实际大脑之间经常进行类比 :深层神经网络中的“神经元”应该对应于大脑中的神经元(或神经细胞,以避免混淆)。然而,我们声称这个类比它在结构上有缺陷。这篇文章同意赫布比恩对学习略显圆滑的总结,即“火的细胞连接在一起”,并认为类比应该是不同的。
由于深层神经网络中的“神经元”正在管理不断变化的权重,它们更类似于大脑中的突触;相反,深层神经网络中的电线更像神经细胞,因为它们是信息流动的原因。一种直觉认为神经细胞看起来更像仅仅是电线是完全正确的,并且通过我们将在本文中探讨的一个精确的范畴理论类比来证明。纵观全文,我们将继续强调将人工神经元等同于神经细胞的错误,方法是在引号中留下“neuron”或将其称为人工神经元。
我们将首先解释如何将深度神经网络视为具有非常有限的交互模式的嵌套动力系统,然后解释动力系统的更一般的交互,这在整个工程中是有用的,但是不能适应变化的环境。如上所述,一个类比于是被它们都嵌入其中的数学形式主义强加给我们。我们称由此产生的包含概括的深度交互学习系统:它们像控制理论中那样具有复杂的交互作用,但像深度神经网络那样适应环境
更多内容阅读原文参考： https://arxiv.org/abs/2111.01297
