1 Computing on Functions Using Randomized Vector Representations (in brief）
2 Computing on Functions Using Randomized Vector Representations
摘要：
用于通过随机向量对符号进行编码的符号处理的向量空间模型已经在认知科学和联结主义社区中被提出, 名 称为向量符号架构(VSA), 同义地为超维(HD) 计算[22,31,46 ] 。在本文中, 我们通过将连续值数据映射到向量空间中, 将 VSA 推广到函数空间, 使得任意两个数据点表示之间的内积近似表示相似核。类比VSA, 我们将这种新的函数编码和计算框架称为向量函数架构(VFA)。在 VFA 中, 向量可以表示各个数据点以及函数空间(再现内核希尔伯特空间) 的元素。从 VSA 继承的代数向量运算对应于函数空间中明确定义的运算。此外, 我们研究了先前提出的一种用于编码连续数据的方法, 即分数幂编码(FPE), 该方法使用随机基向量的求幂来生成数据点的随机表示, 并满足诱导 VFA 的内核属性。我们表明, 对基向量的分量进行采样的分布决定了 FPE 内核的形状, 这反过来又引 发了用于使用带限函数进行计算的 VFA。特别是, VFA 提供了一个代数框架, 用于实现具有随机特征的大规模内核机器, 扩展了[51]。最后, 我们演示了 VFA 模型在图像识别、 密度估计和非线性回归问题中的几种应用。
我们的分析和结果表明，VFA 构成了⼀ 个强⼤的新框架，⽤于表⽰和操纵分布式神经系统中的功能，在⼈⼯智能中具有⽆数的应⽤。
简介：
⼈⼯智能 (AI) 领域近期令⼈印象深刻的成就是由计算嵌⼊⾼维向量空间中的数据表⽰的模型驱动的，迄今为⽌最引⼈注⽬的是神 经⽹络（Bengio 等⼈，2021）。⼀旦提供了输⼊数据和监控信号（如果适⽤），神经⽹络就会提供强⼤的端到端训练机制来优化 给定任务的性能。然⽽，最先进的神经⽹络仍然⾯临两个基本问题。⼀是所学知识的应⽤很脆弱，并且不容易推⼴到训练集之外的新环境。有⼈认为，这个问题部分是由于⽆法进⾏变量绑定（Fodor 和 Pylyshyn，1988；Greff 等⼈，2020），这对于使在⼀个领域 学到的知识能够分离并灵活地应⽤于其他领域⾄关重要（Smolensky，1990）。当前神经⽹络的第⼆个固有问题是缺 乏透明度。也就是说，神经⽹络中的向量表⽰和变换在计算⽅⾯都没有明确的解释。尽管通过加权和和阈值组合信号的显式计算对 于⽹络中的每个神经元都得到了很好的指定和理解，但整个系统通常被视为⿊匣⼦，⽽没有深⼊了解所学习的表⽰的数学结构或底层计算由整个⽹络执⾏的功能。缺乏透明度是使⽤神经⽹络作为⼤脑功能解释模型以及分析、理解或解释神经⽹络在特定应⽤环 境中的决策的障碍。
近年来，我们和其他⼈在推进称为⽮量符号架构 (VSA) 或同义超维 (HD) 计算的⽮量空间计算框架⽅⾯取得了进展，该框架既 ⽀持变量绑定⼜完全透明（Plate，1994a；Kanerva，1996） ；盖勒，1998a；Eliasmith 和 Thagard，2001；Rachkovskij 和 Kussul，2001）。在 VSA 中，符号、数据或其他实体通过将它们随机映射到固定维度的向量空间来表⽰。这些向量的代数由加法、乘 法和排列组成，分别实现了捆绑、结合和排序操作（Kleyko 等⼈，2021）。现在，这种⽅法有多个成功的例⼦应⽤于⽂本分析 （Jones and Mewhort，2007；Joshi 等，2016a；Recchia 等，2015）、EEG 和 EMG 信号解码（Rahimi 等，2019；Moin）等⼈， 2021）、序列学习（Hannagan 等⼈，2011；Frady 等⼈，2018c）和机器⼈技术（Neubert 等⼈，2019）。然⽽，迄今为⽌，⼤多数 这些应⽤程序仅限于离散数据，例如⽂本、单词或其他标记，或者通过离散化本质上基本连续的数据，从⽽忽略数据中重要的拓扑相似关系（Edelman，1998）。
在本⽂中，我们讨论如何在向量空间中表⽰连续数据和函数，以及如何通过 VSA 代数来操作它们的问题。我们开发了⼀种新的向 量空间函数计算框架，与 VSA 类⽐，我们将其称为向量函数架构 (VFA)。与 VSA ⼀样，VFA 是完全透明的。向量可以表⽰各个数据点 以及被明确定义为再现核希尔伯特空间的函数空间的元素。函数的域可以对数据中的连续值量进⾏编码，例如位置、时间或波⻓。函数通过 VSA 的向量运算进⾏操作：向量的加法对应于函数的加法，向量的绑定对应于函数的卷积。函数域通过对固定随机基向量取幂 进⾏编码这种编码之前已作为分数幂编码引⼊，这些编码和操作共同打开了⼀种强⼤的新数据计算⽅式的⼤⻔，例如图像、声⾳波形和⽆数其他类型的连续信息流，⼈们希望在这些 数据流中操纵函数（就像⽬前在符号计算中所做的那样）。
除了与 VSA 的关系之外，VFA 还可以被视为更⼤类算法的⼀部分，这些算法利⽤随机性来扩展维度，例如散列（Cormen 等 2009 年；Dasgupta 等⼈，2008 年）、随机计算（Alaghi 和Hayes，2018）、储层计算（Frady 等⼈，2018c；Cuchiero 等⼈，202 或降维例如压缩感知（Cand`es 等⼈，2006；Donoho，2006；Frady 等⼈， 2021）。特别是，VFA 提供了⼀个代数框架，⽤于 实现具有随机特征的⼤规模内核机器，包括和扩展 Rahimi 和 Recht (2007)。另⼀⽅⾯，VFA 与所有这些⽅法的区别在于，它包含⼀ 个基于数学的框架，⽤于计算高纬表示。
我们设想 VFA 框架将有助于构建⼀种⼈⼯智能，它使⽤分布式、可解释的表⽰，并且可以通过具有明确定义的计算意义的代 量运算进⾏处理。这种⼈⼯智能⽅法可以结合神经⽹络、概率推理和符号⼈⼯智能的优点；也就是说，学习的能⼒，在分布式硬件上可 执⾏的能⼒，以及具有基于规则的推理能⼒来概括和推断先验知识的能⼒。我们相信该⽅法还可能有助于深⼊了解⼤脑中⾼度分布 的表征，例如内嗅⽪层和海⻢体。
。。。。。。。
8.2 VFA的技术应用
除了由下面8.4.1节中的早期相关工作开创的VFA应用之外，这里提供的函数空间和代数函数运算的精确定义为许多新颖的应用铺平了道路。它们包括:
•VSAs/超维计算:VFA提供了一个代数的，理论上的方法来扩展VSAs超维计算技术到函数计算。有关应用示例，请参见第7.1节。
•大规模内核机器:VFA为大规模实现内核方法提供了特征表示和向量运算。通过将核表示为特征向量的内积来克服传统核方法(Bach，2019)的维数灾难的想法已经在(Rahimi和Recht，2007)中指出，参见第8.4.2节。有关VFAs内核应用的示例，请参见第7.2节。
•概率数据结构/草图:概率数据结构或草图是由数据点形成的数学对象的简化表示(Mitzenmacher和Upfal，2017)。这种简化的表示比存储所有单个数据点在计算和存储方面更高效。本质上，VFA向量可以被视为一个紧凑的概率数据结构或一个函数(7.2节)或一个对象(7.1节)的草图。有趣的是，vfa给概率数据结构增加了新的功能。具体来说，单个VFA向量可以实现内核机器的功能，超出了草图的标准应用领域，如成员测试(布鲁姆过滤器(布鲁姆，1970))或频率估计(计数-最小草图(Cormode和Muthukr- ishnan，2005))–例如，参见第7.2节。
•储层计算:之前已经强调过，储层计算可以在递归网络中实现VSAs的代数框架(Frady等人，2018cKleyko等人，2020a)。将输入编码从常规储层计算中的随机投影方法改变为KLPEs将产生一类新的递归网络，用于在明确定义的函数空间中以透明的方式进行计算。
•神经网络:据推测，神经网络中绑定操作的缺失是其缺乏数据效率、泛化和鲁棒性的根源(Greff等人，2020)。通过VFAs将VSA绑定概念从符号域推广到函数域是开发具有绑定操作的神经网络方法的关键步骤。此外，通过将函数表示为向量，VFA为电流型神经网络处理函数提供了一个有趣的输入接口。此外，内核和深度学习之间存在已知的联系，具体而言，基于梯度的学习可以根据所谓的路径内核(Domingos，2020)，神经切线内核的扩展(Jacot等人，2018)来制定。这种核是否可以用VFAs表示，是未来研究的一个开放问题。
•动态认知建模:为了对大脑的认知功能进行建模，已经提出了例如(Port和Van Gelder，1995；Eliasmith，1996)，将离散符号推理映射到连续动力系统，特别是动态神经场模型(Amari，1977；厄门特劳特和麦克劳德，1993年；吉尔萨和哈肯，1996年；Erlhagen和Sch oner，2002)。这些模型引入了一个连续的低维拓扑空间作为内部或“精神”导航空间。已经强调了向量符号概念如何能够构建动态认知模型，但是挑战性的逆问题仍然存在，即如何适当地设计精神空间和适合解决给定认知问题的神经动力学(Beim Graben和Potthast，2009；Widdows和Cohen，2015)。使用VFA能够在心理空间中形成相似性结构，这可能为解决具有挑战性的认知任务的逆问题提供新的方法。
8.3 神经科学的VFA模型
VFA作为大脑中神经元编码模型的预测关键取决于编码/结合方法的选择。经典VSA的结合操作，Hadamard乘积和循环卷积，不容易映射到生物神经元回路的功能上。它们还需要密集的表示向量，这似乎与神经记录中稀疏活动模式的观察不相容(Rachkovskij和Kussul，2001；弗雷迪等人，2021年)。然而，有趣的是，Hadamard FPE中使用的相量矢量可以自然地用尖峰来表示，其中复相位由周期性尖峰模式的定时来表示(Frady和Sommer，2019)。人们可以在相量码中引入群体稀疏性，并为神经元子集中具有模拟相位角的模式构建高容量联想记忆网络(Frady和Sommer，2019)。块局部循环卷积(第4.2.3节)是一种可以用这种代码操作的绑定操作。潜在地，这种结合方法可以通过生物学机制实现(Frady等人，2021)，例如，利用活性树突和符合检测(Schaefer等人，2003)。
以前曾尝试使用Fractional Power Encoding (FPE）建立海马/内皮层的模型。具有尖峰定时相位码的这些模型之一展示了与实验观察一致的现象，
例如位置场和相位进动(Frady等人，2018a)。另一个基于速率编码和循环卷积结合的模型(Komer和Eliasmith，2020)表明，模型神经元可以表现出网格细胞样的响应。推测海马和内嗅皮层是否能够实现和利用全部VFA功能是很有趣的。海马/内嗅皮层的VFA模型将预测活动模式可以代表环境空间的功能，如奖励和未来路径的概率密度。尽管基于速率的模型实现了完整的VFA，但是在最初的出版物中没有利用表示函数的能力。相位编码海马体模型(Frady等人，2018a)可通过添加绑定操作(如第4.2.3节所述的块局部循环卷积)扩展至全VFA。
VFA揭示了神经编码的潜在计算作用。神经编码通常被视为对感觉信号的内在结构进行统计学习的结果。例如，信源编码(Shannon，1949年)或冗余减少(Barlow，2001年)的目标通常可以导致维数减少，但当与稀疏性结合时，也会导致维数增加(Olshausen和Field，1996年)。神经编码的其他理论是基于随机抽样，而不是学习，例如，使用随机突触投射。此类模型的计算目标包括哈希运算，以形成扩展的地址空间，从而改善信号检测(Babadi和Sompolinsky，2014年；Fusi等人，2016；达斯古普塔等人，2017)，或压缩感知(多诺霍，2006；Cand`es等人，2006)，用于优化布线约束下的神经通信(Isely等人，2010；希拉和索默，2015；Ganguli和Sompolinsky，2012年)。
VFA调和了基于学习和基于随机的神经编码理论。
一个VFA理论做出如下预测:
a)有意义的低维感觉信号流形被提取出来(这里不讨论)，然后通过高维随机活动模式重新编码。高维表示空间中的内积近似于数据流形上的相似性核。
b)高维向量空间可以表示和操纵数据流形上的点和函数。点和可用函数空间之间的相似性由核决定。
c)学习是核函数空间中的近似。
d)向量之间的绑定使得能够通过卷积从已经学习的函数原语合成新函数。
e)神经相关性和“信号混合”的作用，如前面模糊定义的，可以变得明确:群体活动中的相关性编码信息，该信息可以通过将群体活动向量与记忆向量进行比较来解码。信号可以以不同的方式混合，通过绑定保持相似性，或者通过绑定破坏相似性。
脑功能的大部分计算理论，如贝叶斯推理、预测编码等。，需要神经元群体活动的功能编码。可能最接近VFA概念的是总体编码(Pouget等人，2000年；Barber等，2003)，如贝叶斯总体码(马等，2006)。在这些模型中，每个神经元通常在编码流形上有一个高斯形状的感受野。这导致内积核随距离衰减并且是平移不变的。因此，贝叶斯总体代码诱导核函数空间。然而，它们缺乏绑定操作(至少我们不知道)来执行VFA可能的代数函数操作。
8.4 相关著作
虽然我们相信我们是第一个正式定义VFA模型并描述它们表示和操作函数的能力的人，但是还有相关的前期工作。
8.4.1分数功率编码Fractional Power Encoding (FPE）在VSA的早期应用
早期将VSA和FPE合并的提议已经指出了许多有趣的应用。例如，Plate (1992)提出了基于循环卷积绑定的分数幂向量，作为在递归神经网络中表示离散序列的机制。推广分数功率向量，在VSA中提出了基于圆卷积的FPE，用于表示2-D空间中的连续轨迹(Plate (1994a)中的5.6节)。在以下应用的背景下，VSA和循环卷积FPE4的组合在许多最近的论文中被重新讨论:
•对二维图像的推理:Weiss等人(2016年)使用这种模型来整体表示二维图像，从而提供了查询图像的可能性，即回答关系查询，如“哪个数字在2的下面和1的左边？”在包含MNIST数字数组的图像中。Frady等人(2018年b)也描述了类似的图像推理模型；陆等(2019)。我们在该应用领域中的示例演示了如何调整VFA的核形状以最佳地适应该应用，即，形成用于提供环形边界条件的周期核，参见第7.1节。
•在二维环境中导航:Weiss等人(2016)展示了FPE在解决导航问题中的应用，Komer和Eliasmith (2020)进一步阐述了这一应用。
•神经形态计算模型:有一些在神经形态计算中使用这种模型的初步尝试。在Frady等人(2018a)的研究中，Hadamard FPE被用于海马体模型，该模型将脉冲神经网络中的计算和基于节律的时序模式联系起来，而Dumont和Eliasmith (2020)提出了一种通过脉冲神经元的速率实现FPE向量的方法。
动态系统的预测:Voelker等人(2021年)建议使用该模型来模拟和预测动态系统的行为。
4在Komer等人(2019)中，结合这些元素的模型被称为“空间语义指针”，扩展了同一研究小组将VSA表示称为“语义指针”的惯例(Blouw等人，2016)。
完整内容请阅读原文
