https://github.com/hyperdimensional-computing/torchhd
Torchhd supports six common HD/VSA models, namely binary spatter codes (BSC) (Kanerva, 1997), multiply-add-permute (MAP) (Gayler, 1998), holographic reduced representations (HRR), Fourier HRR (FHRR) (Plate, 1995), sparse block codes (SBC) (Laiho et al., 2015; Frady et al., 2023), and vector-derived transformation binding (VTB) (Gosmann and Eliasmith, 2019).
The library has six modules which provide the following functionality: • functional: functions for generating hypervectors (Rachkovskij et al., 2005; Nunes et al., 2023); the operations on hypervectors (Schlegel et al., 2022); and a resonator network for factorizing hypervectors (Frady et al., 2020; Renner et al., 2022; Kleyko et al., 2022a; Langenegger et al., 2023).
• embeddings: classes for transforming scalars or feature vectors into hypervectors, ranging from simple hypervector lookups till similarity-preserving transformations of feature vectors (Kleyko et al., 2021; Thomas et al., 2021), some of which approximate well-known kernels (Rahimi and Recht, 2007; Frady et al., 2022).
• models: common classification models such as the centroid model with class prototypes and its various training algorithms (Rahimi et al., 2016a; Imani et al., 2017; Hernandez-Cane et al., 2021; Nunes et al., 2022), learning vector quantization (Diao et al., 2021), and regularized least squares (Kleyko et al., 2021).
• memory: methods for long-term storage and retrieval of hypervectors, such as sparse distributed memory (Kanerva, 1988), inspired by the cerebellum (Teeters et al., 2022), the (modern) Hopfield network (Hopfield, 1982; Krotov and Hopfield, 2016), and the attention mechanism (Vaswani et al., 2017; Ramsauer et al., 2020).
• structures: classes for HD/VSA data structures (Kleyko et al., 2022b) such as hash tables, graphs, binary trees, and finite state automata (Osipov et al., 2017; Yerxa et al., 2018; Heddes et al., 2022). This module facilitates the development of classical algorithms using HD/VSA.
• datasets: convenient access to 126 classification and 3 regression data sets commonly used in the literature. This includes a classification benchmark of UCI machine learning repository data sets (Dua and Graff, 2017) created by Fernández-Delgado et al.
(2014). All data sets are interoperable with the PyTorch ecosystem.
摘要
超维度计算(HD)，也称为向量符号架构(VSA)，是一种通过利用随机高维向量空间的属性来利用分布式表示进行计算的框架。科学界致力于汇集和传播这一特别多学科领域的研究，这对其进步至关重要。加入这些努力，我们提出Torchhd，一个高性能的开源Python库的高清/VSA。Torchhd旨在使高清/VSA更易于使用，并作为进一步研究和应用开发的有效基础。这个易于使用的库建立在PyTorch之上，具有最先进的高清/VSA功能、清晰的文档和来自知名出版物的实现示例。将公开可用的代码与其对应的Torchhd实现进行比较，可以发现实验运行速度快了100倍。火炬传递可从以下网址获得:https://github.com/hyperdimensional-computing/torchhd。
关键词:超维度计算、向量符号架构、分布式表示、机器学习、符号人工智能、Python库
1介绍
超多维计算(HD)(Kanerva, 2009), 也称为矢量符号建筑(VSA)(Gayler, 2003), 是一个能够形成组合分布式表示的计算框架。它起源于人工智能和认知科学(Smolensky, 1990; Kussul et al., 1991; Plate, 1991) 从试图解决早期分布式表示的限制(von der Malsburg, 1986; Fodor and Pylyshyn,1988). HD/VSA通过利用高维空间的几何和代数形成了一个“概念空间”。中心思想是用随机生成的向量(称为超向量)来表示信息。再加上对这些超载体的一系列操作，
HD/VSA可以代表组成结构，这反过来，使功能，如通过类比推理(Plate, 1994; Kanerva, 2000; Gayler and Levy,2009; Rachkovskijand Slipchenko, 2012; Kleyko et al., 2015) 和认知计算(Emruli et al., 2013;Rasmussen and Eliasmith, 2014; Hersche et al。,2023).
虽然HD/VSA的基本理念已经存在了一段时间，但直到最近，它才开始在理论上(Frady et al., 2018; Thomaset al., 2021; Clarkson et al., 2023) 实际上，吸引了更广泛的机器学习社区的注意(Graves et al., 2014; Rahimi et al., 2019; Neubert et al.,2019; Ganesan et al., 2021; Hersche et al., 2022).这种兴趣部分是由于观察到HD/VSA的优势补充了当前人工神经网络的一些限制(Greff et al., 2020; Smolensky et al.,2022), 导致了可以被视为神经象征的混合方法(Hersche et al., 2023).
面对越来越多的兴趣，有大量的努力，以巩固和传播HD/VSA的研究界。这些计划面临的挑战是，HD/VSA涉及许多学科，包括机器学习、神经科学、电气工程、人工智能、数学和认知科学。跟上最新的进展不是小事，因为出版物分散在不同的地点和学科。因此，重要的是追求巩固和整合的努力，这将促进进一步的研究工作。尽管对该地区的各个方面进行了详细的调查(Ge and Parhi, 2020; Schlegel et al., 2022; Kleyko et al., 2022c,2023), 然而，很少有人关注将概念、方法和算法转化为一致的开源软件。
为了解决这个问题，我们开发了torch HD——一个面向HD/VSA的开源库。Torchhd紧跟该领域的最新进展，旨在降低新手进入HD/VSA的门槛，并为有经验的研究人员提供高性能的执行平台。支持多种高清/VSA原语、应用和研究方向；所提供的抽象被设计成模块化的，允许用户采用支持他们工作流的方面。我们的设计理念首先关注易用性，目标是在不限制表现力的情况下易于使用。易用性允许应用驱动的研究集中在项目的概念和方法方面，同时，Torchhd允许理论研究的HD/VSA的单个元素的研究。该库的第二个目标是提供高性能的执行，在不损害Python惯用开发体验的情况下，更快地评估新算法。我们相信Torchhd将有利于HD/VSA和更广泛的机器学习社区，基于其以下特征:1)用于将数据转换为hypervector的最先进的HD/VSA方法；2)支持混合神经符号模型研究的自动微分；3) Python惯用的界面设计，提供灵活的、开发者优先的体验；4)高性能执行，这意味着应用程序的运行速度可以提高几个数量级；5)文献中常用于评估和基准测试高清/VSA方法的数据集接口(目前有129个数据集)。
2Torchhd
Torchhd立在PyTorch之上(Paszke et al., 2019), 高性能张量计算库。PyTorch及其生态系统提供了许多机器学习工具、支持对于各种硬件加速器，以及内置的自动区分(autodiff) (Paszkeet al.,2017).基于PyTorch的构建实现了高清/VSA和更广泛的机器学习社区之间的知识交流，并促进了思想的交流。
Torchhd支持六种常见的高清/VSA模型，即二进制喷溅码(BSC)(Kanerva, 1997), 乘加置换(Gayler, 1998), 全息简化表示(HRR)、傅立叶HRR (FHRR)(Plate,1995), 稀疏分组码(Laihoet al., 2015; Frady et al., 2023), 和载体衍生的转化结合(VTB)(Gosmannand Eliasmith, 2019).这些模型的不同之处在于它们对高维空间的规范和对基本操作的实现:超矢量的叠加和绑定。对(F)HRR的支持实现了向量函数架构(Frady et al., 2021, 2022) 其扩展了通过随机傅立叶特征实现大规模内核机器的方法(Rahimi and Recht，2007). 我们的实现通过广泛的自动单元测试得到了验证。我们还强调清晰的文档，可从以下网址获得:https://torchhd.readthedocs.io
该库有六个模块，提供以下功能:
•功能:生成超矢量的功能(Rachkovskij et al., 2005; Nuneset al., 2023); 超向量上的操作(Schlegel et al., 2022); 和用于分解超矢量(Frady et al., 2020; Renner et al., 2022; Kleykoet al., 2022a; Langenegger et al., 2023).
•嵌入:用于将标量或特征向量转换成超向量的类，范围从简单的超向量查找到特征向量的相似性保持转换(Kleyko et al., 2021; Thomas et al., 2021), 其中一些接近众所周知的内核(Rahimi and Recht，2007; Frady et al., 2022).
•模型:常见的分类模型，如具有类原型的质心模型及其各种训练算法(Rahimi et al., 2016a; Imani et al., 2017;Hernandez-Cane et al., 2021; Nunes et al., 2022), 学习矢量量化(Diaoet al., 2021), 和正则化最小二乘法(Kleyko et al., 2021).
•内存:超载体的长期存储和检索方法，如稀疏分布式内存(Kanerva, 1988), 受小脑的启发(Teeters et al., 2022),(现代)Hopfield网络(Hopfield, 1982; Krotov and Hopfield, 2016), 和注意机制(Vaswani et al., 2017; Ramsauer et al., 2020).
•结构:高清/VSA数据结构的类(Kleyko et al., 2022b)如哈希表、图、二叉树和有限状态自动机(Osipov et al., 2017; Yerxaet al., 2018; Heddes et al., 2022). 该模块有助于开发使用高清/VSA的经典算法。
•数据集:方便地访问文献中常用的126个分类和3个回归数据集。这包括UCI机器学习库数据集的分类基准(Dua and Graff, 2017) 由…创造Fern´andez-Delgado et al.(2014). 所有数据集都可以与PyTorch生态系统互操作。
我们注意到，还存在其他几种高清/VSA软件。桌子1 对比Torchhd和OpenHD的特性(Kang et al., 2022), 高清手电筒(Simon et al., 2022), 和VSA工具箱(Schlegel et al., 2022). 作为他们对高清/VSA模型评估的一部分，Schlegel et al.(2022) 实施更广泛的高清/VSA型号，但是他们的VSA工具箱中没有
Torchhd的许多特性对于HD/VSA的研发特别有用，例如，参见表1.重要的是，Torchhd是HD/VSA的第一个通用软件库，因为其他软件是为更具体的目的开发的。
为了展示Torchhd的性能，我们实现了三个分类任务，并将执行时间与原始公开代码进行了比较。所有的实验都在一台拥有20个英特尔至强银4114 CPUs、93 GB内存和4个Nvidia TITAN Xp GPUs的机器上运行，只使用了一个CPU或GPU。表中的结果2 显示Torchhd在所有示例中都更快，CPU和GPU分别平均快24倍和54倍。所提供的抽象通过避免过度的顺序执行来确保高性能的代码，并通过我们对批处理的支持来加强。
3结论和未来工作
Torchhd是一个用于超多维计算(hd)的Python库，也称为矢量符号架构(VSA ),旨在实现简单、通用和高性能。该库建立在PyTorch的基础上，从而实现了HD/VSA与更广泛的机器学习社区之间的知识交流，并使PyTorch的深度学习工具的庞大生态系统可供HD/VSA使用。Torchhd旨在包括任何高清/VSA模型，并已支持二进制喷溅码、乘加置换、(傅立叶)全息简化表示、稀疏分组码和矢量衍生变换绑定。我们计划通过包括更多高清/VSA模型和支持更广泛的学习算法(如微分学习、回归、密度估计和聚类)来保持该库与该领域的新发展保持同步。我们的工作加入了社区巩固和传播HD/VSA研究的重要努力。
资金的确认和披露
我们要感谢Ross W. Gayler对图书馆的设计选择和期望功能的有益讨论；Rishikanth Chandrasekaran、Dheyay Desai、和Yu对图书馆的贡献；最后，Anthony Thomas感谢他在解决随机投影实施问题时给予的支持。
DK获得了欧盟Horizon 2020研究和创新项目的资助，该项目由Marie Sk-lodowska-Curie赠款协议第839179号资助。
参考
肯尼斯·L·克拉克森、沙珊卡·乌巴鲁和伊丽莎白·杨。矢量符号体系结构的容量分析。arXiv:2301.10352，第1–49页，2023。
卡梅隆·迪奥、丹尼斯·克莱科、扬·M·拉贝和布鲁诺·奥尔肖森。用于随机化神经网络和超维计算中分类的广义学习矢量量化。国际神经网络联合会议(IJCNN)，第1–9页，2021。
迪鲁·杜瓦和凯西·格拉夫。UCI机器学习知识库，2017年。统一资源定位器http://archive.ics.uci.edu/ml。
布雷姆·埃姆鲁利、罗斯·W·盖勒和弗雷德里克·桑丁。用二进制喷溅码和稀疏分布记忆进行类比映射和推理。国际神经网络联合会议(IJCNN)，第1–8页，2013年。
Manuel Fern andez-Delgado、Eva Cernadas、Sen en Barro和Dinani Amorim。我们需要数百个分类器来解决现实世界的分类问题吗？《机器学习研究杂志》，15(1):3133–3181，2014。
杰里·A·福多尔和泽农·W·皮里申。联结主义与认知架构:批判性分析。认知，28(1-2):3–71，1988。
帕克森·弗雷迪，丹尼斯·克莱科，弗里德里希·T·萨默。递归神经网络中的序列索引和工作记忆理论。神经计算，30(6):1449–1513，2018。
帕克森·弗雷迪，斯潘塞·J·肯特，布鲁诺·A·奥尔肖森，弗里德里希·T·萨默。谐振网络，1:分解数据结构的高维分布式表示的有效解决方案。神经计算，32(12):2311–2331，2020。
e .帕克森·弗雷迪、丹尼斯·克莱科、克里斯托弗·J·基曼、布鲁诺·A·奥尔森和弗里德里希·T·萨默。使用随机向量表示的函数计算。arXiv:2109.03429，第1–33页，2021年。
e .帕克森·弗雷迪、丹尼斯·克莱科、克里斯托弗·J·基曼、布鲁诺·A·奥尔森和弗里德里希·T·萨默。使用随机向量表示法计算函数(简述)。《受神经启发的计算元素会议》(NICE)，第115–122页，2022年。
帕克森·弗雷迪、丹尼斯·克莱科和弗里德里希·t·萨默。稀疏分布表示的变量绑定:理论和应用。IEEE神经网络-工作和学习系统汇刊，34(5):2191–2204，2023。 阿什温库马尔·加内桑、高航、苏尼尔·甘地、爱德华·拉夫、蒂姆·奥茨、詹姆斯·霍尔特和马克·麦克林。用全息简化表示法学习。《神经信息处理系统进展》,第1–15页，2021年。
罗斯·W·盖勒。乘法约束、表示算子和类比。类比研究进展:来自认知、计算和神经科学的理论和数据的整合，第1-4页，1998。
罗斯·W·盖勒。向量符号架构回答了Jackendoff对认知神经科学的挑战。认知科学国际联合会议(ICCS/ASCS)，133–138页，2003。
罗斯·W·盖勒和西蒙·D·利维。类比映射的分布式基础:类比研究的新前沿。《类比研究的新领域》，第二届国际类比会议(类比)，第165-174页，2009年。
露露哥和柯沙布K帕尔希。使用超维度计算的分类:综述。
IEEE电路与系统杂志，20(2):30–47，2020。
简·戈斯曼和克里斯·埃利史密斯。向量导出变换绑定:神经网络中深度类符号处理的改进绑定操作。神经计算，31(5):849–869，2019。
亚历克斯·格雷夫斯，格雷格·韦恩和伊沃·丹尼卡。神经图灵机。arXiv:1410.5401，第1-25页，2014年。
Klaus Greff，Sjoerd Van Steenkiste和Ju rgen Schmidhuber。人工神经网络中的绑定问题。arXiv:2012.05208，2020。
Mike Heddes、Igor Nunes、Tony Givargis、Alexandru Nicolau和Alex Veidenbaum。一个健壮有效的动态哈希表。在ACM/IEEE设计自动化会议(DAC)中，第907–912页，2022。
Alejandro Hernandez-Cane、Namiko Matsumoto、Eric Ping和Mohsen Imani。OnlineHD:使用超维度系统的健壮、高效、单程在线学习。欧洲设计、自动化和测试会议及展览(日期)，第56–61页，2021年。
迈克尔·赫什、吉坦·卡鲁纳拉特内、乔瓦尼·切鲁比尼、卢卡·贝尼尼、阿布·塞巴斯蒂安和阿巴斯·拉希米。受约束的少镜头类增量学习。在计算机视觉和模式识别会议上(CVPR)，第9057–9067页，2022。
迈克尔·赫什、穆斯塔法·泽基利、卢卡·贝尼尼、阿布·塞巴斯蒂安和阿巴斯·拉希米。求解瑞文渐进矩阵的神经向量符号结构。自然机器智能，5(4):363–375，2023。
约翰·霍普菲尔德。具有突发集体计算能力的神经网络和物理系统。美国国家科学院学报，79(8):2554–2558，1982年。
Mohsen Imani、Deqian Kong、Abbas Rahimi和Tajana Rosing。VoiceHD:高效语音识别的超维计算。载于国际重启计算会议(ICRC)，第1–8页，2017年。
彭蒂·卡内瓦。稀疏分布式内存。麻省理工学院出版社，1988年。
彭蒂·卡内瓦。完全分布式表示。《真实世界计算研讨会》(RWC)，第358–365页，1997年。
彭蒂·卡内瓦。大图案成就大符号:从例子中学习的例子。《混合神经系统国际研讨会》，计算机科学讲义第1778卷，第194–203页，2000年。
彭蒂·卡内瓦。超多维计算:用高维随机向量进行分布式表示的计算导论。认知计算，1(2):139–159，2009。
姜在英、Behnam Khaleghi、Tajana Rosing和Yeseong Kim。OpenHD:一个基于GPU的超多维计算框架。IEEE计算机汇刊，71(11):2753–2765，2022。
丹尼斯·克莱科、叶夫根尼·奥西波夫、罗斯·W·盖勒、阿萨德·伊·汗和阿德里安·G·戴尔。用向量符号结构模拟蜜蜂的概念学习过程。生物启发的认知架构，14:57–72，2015。
Denis Kleyko、Mansour Kheffache、E . Pax on Frady、Urban Wiklund和Evgeny Osipov。密度编码支持资源高效的随机连接神经网络。IEEE神经网络和学习系统汇刊，32(8):3777–3783，2021。
Denis Kleyko、Connor Bybee、Christopher J Kymn、Bruno A Olshausen、Amir Khosrow- shahi、Dmitri E Nikonov、Friedrich T Sommer和E Paxon Frady。具有组合分布表示的整数分解。神经启发计算元素会议(NICE)，第73–80页，2022a。
丹尼斯·克莱科、迈克·戴维斯、爱德华·帕森·弗雷迪、彭蒂·卡内瓦、斯潘塞·j·肯特、布鲁诺·a·奥尔肖森、叶夫根尼·奥西波夫、扬·m·拉贝、德米特里·a·拉奇科夫斯基、阿巴斯·拉希米和弗里德里希·t·萨默。作为新兴硬件计算框架的矢量符号体系结构。IEEE会议录，110(10):1538–1571，2022b。
丹尼斯·克莱科、德米特里·拉奇科夫斯基、叶夫根尼·奥西波夫和阿巴斯·拉希米。超维计算(又称向量符号体系结构)综述，第一部分:模型和数据转换。ACM计算调查，55(6):1–40，2022c。
丹尼斯·克莱科、德米特里·拉奇科夫斯基、叶夫根尼·奥西波夫和阿巴斯·拉希米。超维度计算的综述，第二部分:应用、认知模型和挑战。美国计算机学会计算调查，55(9):1–52，2023。
德米特里·克罗托夫和约翰·J·霍普菲尔德。用于模式识别的密集联想记忆。
神经信息处理系统进展，29，2016。
恩斯特·库苏尔、德米特里·拉奇科夫斯基和塔季扬娜·拜迪克。联想投影神经网络:架构，实现，应用。神经网络及其应用国际会议(NEURO)，463–476页，1991年。
米卡·莱霍、尤西·H·普瓦科宁、彭蒂·卡内瓦和埃罗·莱托宁。稀疏向量的高维计算。IEEE生物医学电路与系统会议(BioCAS)，第1–4页，2015年。
Jovin Langenegger、Geethan Karunaratne、Michael Hersche、Luca Benini、Abu Sebastian和Abbas Rahimi。全息感知表示的内存分解。自然纳米技术，18(5):479–485，2023。
皮尔·诺伯特，斯蒂芬·舒伯特和彼得·普罗策尔。机器人学的超维度计算导论。KI - Ku nstliche Intelligenz，33(4):319–330，2019。
Igor Nunes、Mike Heddes、Tony Givargis、Alexandru Nicolau和Alex Veidenbaum。GraphHD:使用超维度计算的高效图分类。欧洲设计、自动化和测试会议与展览(日期)，第1485-1490页，2022年。
Igor Nunes，Mike Heddes，Tony Givargis和Alexandru Nicolau。超维计算中从循环数据学习的基超向量扩展。在2023年ACM/IEEE设计自动化会议(DAC)上。
叶夫根尼·奥西波夫、丹尼斯·克莱科和亚历山大·莱加洛夫。超维计算下受控对象有限状态自动机模型的联合综合。在IEEE工业电子学会(IECON)年会上，第3276–3281页，2017年。
亚当·帕兹克、萨姆·格罗斯、苏密特·钦塔拉、格雷戈里·查南、杨德昌、扎卡里·德维托、林泽铭、奥尔本·德迈森、卢卡·安提加和亚当·勒勒。PyTorch中的自动识别。《神经信息处理系统进展》(NeurIPS)，第1–4页，2017年。
Adam Paszke，Sam Gross，Francisco Massa，Adam Lerer，James Bradbury，Gregory Chanan，Trevor Killeen，林泽铭，Natalia Gimelshein，Luca Antiga，等. PyTorch:一个改进风格的高性能深度学习库.《神经信息处理系统进展》(NeurIPS)，2019年。
托尼一个盘子。全息简化表示:合成分布表示的卷积代数。国际人工智能联合会议(IJCAI)，第30-35页，1991年。
托尼一个盘子。用全息简化表示的点积估计类比相似性。神经信息处理系统进展，1109-1116页，1994。
托尼一个盘子。全息简化表示法。IEEE神经网络汇刊，6(3):623–641，1995。
德米特里·拉奇科夫斯基和塞尔日·斯利普钦科。基于结构敏感稀疏二进制分布表示的相似性检索。计算智能，28(1):106–129，2012。
Dmitri A Rachkovskij、Sergey V Slipchenko、Ernst M Kussul和Tatyana N Baidyk。标量的稀疏二进制分布式编码。自动化与信息科学杂志，37(6):12–23，2005。
阿巴斯·拉希米、西蒙尼·贝纳蒂、彭蒂·卡内瓦、卢卡·贝尼尼和扬·拉贝伊。超维生物信号处理:基于肌电的手势识别案例研究。国际重启计算会议(ICRC)，第1–8页，2016年a。
阿巴斯·拉希米、彭蒂·卡内瓦和扬·M·拉贝一种使用大脑启发的超维度计算的健壮且节能的分类器。国际低功耗电子与设计研讨会(ISLPED)，第64–69页，2016b。
阿巴斯·拉希米、彭蒂·卡内瓦、卢卡·贝尼尼和扬·M·拉贝使用超多维计算的有效生物信号处理:ExG信号组合学习和分类的网络模板。IEEE会议录，107(1):123–143，2019。
阿里·拉希米和本杰明·雷希特。大规模内核机器的随机特性。在…里
神经信息处理系统进展，第20卷，第1-8页，2007。
Hubert Ramsauer，Bernhard Sch afl，Johannes Lehner，Philipp Seidl，Michael Widrich，Thomas Adler，Lukas Gruber，Markus Holzleitner，米莲娜Pavlovi c，Geir Kjetil Sandve等。Hopfield networks是您所需的一切。arXiv预印本arXiv:2008.02217，2020。
丹尼尔·拉斯姆森和克里斯·埃利史密斯。一个脉冲神经模型应用于人类行为和认知衰退的研究。智能，42:53–82，2014。
阿尔法·伦纳、耶戈·苏皮奇、安德里亚·达尼列斯库、贾科莫·因迪韦里、布鲁诺·奥尔肖森、尤利娅·桑达米斯卡娅、弗里德里希·萨默和E·帕森·弗雷迪。用共振网络理解神经形态视觉场景。arXiv:2208.12880，第1-15页，2022。
肯尼·施莱格尔，皮尔·纽伯特和彼得·普罗策尔。矢量符号建筑的比较。人工智能评论，55(6):4523–4555，2022。
威廉·安德鲁·西蒙，乌纳·帕莱，托马斯·特杰罗和大卫·阿蒂恩萨。HDTorch:用GP-GPU加速设计空间探索的超维计算。IEEE/ACM计算机辅助设计国际会议(ICCAD)，第1–8页，2022。
保罗·斯摩棱斯基。张量积变量绑定和联结主义系统中符号结构的表示。人工智能，46:159–216，1990。
Paul Smolensky、Richard McCoy、Roland Fernandez、Matthew Goldrick和高剑锋。神经合成计算:从认知的中心悖论到新一代人工智能系统。AI杂志，43(3):308–322，2022。
杰弗里·L·提特斯、丹尼斯·克莱科、彭蒂·卡内瓦和布鲁诺·A·奥尔肖森超维计算中长时记忆和短时记忆的分离。神经科学前沿，16:1–19，2022。
安东尼·托马斯，桑乔伊·达斯古普塔和塔亚娜·罗辛。超维计算的理论基础。人工智能研究杂志(JAIR)，72:215–249，2021。
阿什什·瓦斯瓦尼、诺姆·沙泽尔、尼基·帕尔马、雅各布·乌兹科雷特、莱昂·琼斯、艾丹
戈麦斯，L- ukasz凯泽，伊利亚波洛苏欣。你需要的只是关注。在...方面的进展
神经信息处理系统，30，2017。
克里斯托弗·冯·德·马尔斯堡。我想的是集会吗？《大脑理论》,第161-176页，1986年。
托马斯·耶尔萨，亚历山大·安德森和埃里克·维斯。超维堆叠机。
认知计算，第1–2页，2018。
