编译 | 青暮、陈大鑫
编辑 | 陈彩娴
科学发展史上似乎总是有一个又一个“幽灵”出没。
先以数学为例。曾经繁荣一时的毕达哥拉斯学派曾提出“万物皆数”，也即“一切数均可表示成整数或整数之比”，这也成为这一学派的数学信仰。——后来该学派中的一个成员希巴斯带着
（无理数）出现了。
当牛顿和莱布尼茨为谁先发明微积分争的不可开交时，——此时无穷小量本身的诡异现身了（后来被柯西建立极限理论解决）。
康托尔创立了著名的 集合论，集合论成为现代数学的基石。法国著名数学家庞加莱在1900年的国际数学家大会上兴高采烈地宣称：“……借助集合论概念，我们可以建造整个数学大厦……今天，我们可以说绝对的严格性已经达到了……”，——这时罗素带着他的罗素悖论挺身而出！
上面这三件事史称数学三大数学危机。
物理学也不能幸免。20世纪之初，物理界笼罩在一片喜悦祥和的气氛之中，物理学家们普遍认为，物理大厦已经基本建成。例如，德国物理学家基尔霍夫就曾经说过：“物理学将无所作为了，至多也只能在已知规律的公式的小数点后面加上几个数字罢了。”
英国物理学家开尔文在1900年回顾物理学的发展时也说：“在已经基本建成的科学大厦中，后辈物理学家只能做一些零碎的修补工作了。”——后来大家都知道的，爱因斯坦平平静静地扔出了一篇《论动体的电动力学》论文，又名狭义相对论。
大家还没来及弄懂相对论到底讲的是个啥，量子力学又真正幽灵一般的出现了--薛定谔的猫，测不准原理，量子纠缠........
我们今天的主题是计算机，在计算机的历史长河中也真真正正存在着一个幽灵。
近日来自谷歌大脑的一位研究员Sara Hooker把它写成一篇论文，并把这个幽灵命名曰“硬件彩票（Hardware Lottery）”，用以描述某个研究构想得以成功是因为它和可用的软件和硬件相匹配，而不是因为该构想优于其他研究方向。
这个“幽灵”一直贯穿在整个计算机历史长河，并曾诅咒深度学习至少三十年。
接下来我们就一起随Sara Hooker来探究这个计算机历史上一直存在的“幽灵”吧~
1
引言
历史告诉我们，科学进步是不完美的。理智传统和现有工具可能会导致科学家支持某些想法，而反对其他想法。这通常意味着人们在识别有前途的研究方向时存在惯性。在人工智能研究领域，作者认为，正是工具在决定想法的成败中起着不成比例的作用。
作者认为，在早期计算机科学史上，软件和硬件的选择往往在决定研究构想成败方面起着决定性的作用。
当我们进入一个硬件、软件和机器学习研究社区之间更紧密合作的新时代时，这些经验教训尤为突出。几十年来，我们都将硬件、软件和算法视为独立的选择，而不断变化的硬件经济，深度学习架构规模上对“越大越好”的竞逐，以及将机器学习应用于边缘设备时的需求，则不断促进它们更紧密协调。
更紧密合作的趋势集中在新一代硬件的浪潮上，这种新一代硬件是“特定于领域”的，以优化深度神经网络的商业用例。虽然领域专业化为专注于深度神经网络的主流研究带来了重要的效率收益，但可以说，它使偏离常规研究思路的成本更高。
越来越支离破碎的硬件环境意味着，计算进步带来的收益将越来越不均衡。虽然深度神经网络有明确的商业用例，但有早期警告迹象表明，人工智能的下一个突破可能需要完全不同的算法、硬件和软件组合。
本文首先承认了一个关键的悖论：机器学习研究人员大多忽视硬件，实际上硬件在决定研究构想成败方面起着重要作用。
第2节将探讨是什么激励了软件、硬件和机器学习研究的发展；第3节通过早期的硬件彩票、软件彩票的例子来考虑这种竖井式发展的后果。如今，硬件环境已经越来越异构化。本文的观点是，硬件彩票并没有消失，赢家和输家之间的差距将越来越大。第4-5节对这些论据进行了分析，第6节总结了如何在未来避免硬件彩票。
2
独立部落
把人类描述成一种制造工具的动物，并没有不合适的地方。——查尔斯·巴贝奇
对于第一批计算机的创造者来说，程序就是机器。早期的计算机是单任务的，由于电子设备成本高，以及缺乏多用途的软件，早期的计算机一般不会被用于新的任务。查尔斯·巴贝奇的差分机仅用于计算多项式函数。Mark I是一个可编程计算器。罗森布拉特的感知机计算了一个单层网络。即使提花机（Jacquard loom）通常被认为是最早的可编程机器之一，然而在实践中，重编线程的成本非常高，以至于通常只编一次线程来支持一组预先固定的输入字段。
图1：早期的计算机，如 Mark I 是单任务使用的。虽然 Mark I 可以被编程来做不同的计算，但它本质上是一个非常强大的计算器，不能运行现代的各种程序。
这些早期计算机的专用化是出于必要，而不是因为计算机架构师认为单任务定制化硬件本质上更好。然而，值得指出的是，人类的智能既是算法也是机器。在我们的一生中，并不存在多个大脑。相反，人类智能的概念本质上与1400克的脑组织和大脑中估计850亿个神经元之间的连接模式相关。我们不可能脱离硬件去讨论智能。
今天，与计算机早期必要的专用化不同，机器学习研究人员倾向于把硬件、软件和算法看作三种独立的选择。这在很大程度上是由于计算机科学史上的一个时期从根本上改变了制造的硬件类型，并激励硬件、软件和机器学习研究社区孤立地发展。
图2：人类的认知智能是不可分割的硬件和算法。
2.1 通用时代
通用计算机时代在1969年就开始了，当时一位名叫戈尔丹·摩尔的年轻工程师的一篇评论文章发表在《电子》上，标题很贴切：“把更多的元件塞到电路板上”（Cramming more components onto circuit boards）。摩尔预言，每两年（后改为18个月）集成电路上的晶体管数量将会翻一番。这一预测支持并推动了未来50年将能源转化为信息的成本的显著下降。
摩尔定律与Dennard 缩放比例定律相结合，使得微处理器性能在1980-2010年间提高了三个数量级。每两年计算和内存的可预见的增长意味着专用硬件设计变得非常不利。即使对于需要更高性能的任务，迁移到专用硬件的好处也可能很快被计算量不断增长的下一代通用硬件所掩盖。
人们将开发的重点转移到通用处理器上，它可以解决无数种不同的任务。当摩尔定律允许芯片制造商锁定可预测的利润率时，为什么还要试验更专业的硬件设计来获得不确定的回报呢？研究专门的超级计算机的少数尝试在财政上是不可持续的，而且寿命很短。一些非常狭隘的任务，如掌握国际象棋是一个例外，因为击败人类对手的威望和知名度吸引了企业的赞助。
将硬件、软件和算法的选择视为独立的做法一直持续到最近。无论从时间还是资金上来说，探索新类型的硬件都是昂贵的。生产下一代芯片通常需要3000-8000万美元和2-3年的开发时间。令人生畏的壁垒产生了一种奇怪的硬件研究文化。虽然机器学习论文的数量在过去30年中呈指数级增长，但硬件论文的数量却保持了相当平稳的节奏。对于一家硬件公司来说，知识产权的泄露会影响公司的生存。这导致了一种更加严密的研究文化。
在没有任何可以影响硬件开发的杠杆的情况下，机器学习的研究人员开始理性地将硬件视为工作的沉没成本，而不是一种可塑的变量。然而，仅仅硬件被抽象化了并不意味着它已经不存在。早期的计算机科学史告诉我们，存在很多种硬件彩票，其中硬件和软件的选择决定了研究构想的成败。
3
硬件彩票
如果你唯一的工具是锤子，那么把一切都当作钉子来对待是很有诱惑力的。——亚伯拉罕·马斯洛
图3：查尔斯·巴贝奇设计的分析引擎从来没有建成，因为很难制造出精确的零件。这幅图描绘了1840年分析机的总体规划。
托尔斯泰在《安娜·卡列尼娜》中的第一句话是“幸福的家庭都是相似的，不幸福的家庭却各有各的不幸。”托尔斯泰说婚姻要幸福需要满足很多不同的条件——经济稳定、化学反应、共同的价值观、健康的后代。然而，一个家庭不幸福只需要其中一个条件不满足。这一点被称为安娜·卡列尼娜原则——“一系列因素中的任何一个缺陷都注定了一次努力的失败”。
尽管我们倾向于相信算法的成功或失败是孤立于硬件或软件的，但历史告诉我们，大多数计算机科学的突破都遵循安娜·卡列尼娜原则。成功的突破往往与失败区分开来，因为它受益于多种标准的潜在配合。对于人工智能研究，其成败通常取决于能否赢得本文所说的硬件彩票，即避免下游硬件和软件选择中可能出现的故障点。
幽灵之于分析机：查尔斯·巴贝奇是一位计算机先驱，他设计了一台机器，可以编程来解决任何类型的计算（至少在理论上）。他的分析引擎从来没有建成，因为很难制造出精确的零件。实际上建立了巴贝奇所奠定的理论基础是电磁技术，而电磁技术在第二次世界大战期间才刚浮出水面。在20世纪上半叶，电子真空管大量用于无线电通信和雷达。在第二次世界大战期间，德国重新设计了真空管来计算能量。
正如电视剧《硅谷》所指出的，通常“太早出现等于做错了”。当巴贝奇在1871年去世时，他的思想和现代计算机之间没有铺设一条通畅的道路。一个世纪后，存储程序、可修改代码、内存和条件分支的概念被重新发现，因为有了正确的工具，才从经验上证明这种想法是可行的。
3.1 “幽灵”诅咒深度学习
关于硬件彩票最突出的例子可能是，深度神经网络被认为不是一个有希望的研究方向。深度神经网络的大多数算法组件已经存在了几十年：反向传播（1963年发明，1976年和1988年重新提出），深度卷积神经网络（1982年发明），1989年与反向传播配对（LeCun等人1989年提出）。直到三十年后，深度神经网络才被广泛接受为一个有前途的研究方向。
这些算法进展和经验成功之间的gap在很大程度上是由于不兼容的硬件。在通用计算时代，像CPU这样的硬件受到了广泛的青睐和应用。CPU擅长执行任何一组复杂指令，但由于需要缓存中间结果和一次处理一条指令，因此会产生较高的内存成本。这被称为冯·诺依曼瓶颈，可用的计算受到“CPU和内存之间的通道的限制，数据必须沿着这个通道按顺序传输”。
冯·诺依曼瓶颈非常不适合矩阵乘法，而矩阵乘法恰恰是深度神经网络架构的核心组成部分。因此，在CPU上训练会很快耗尽内存带宽，根本不可能训练具有多层结构的深度神经网络。早在20世纪80年代早期，题为“联想记忆的并行模型”（Parallel Models of Associative Memory）的系列文章就指出，需要专用硬件来支持具有大量并行性的任务。这些论文有说服力地争辩到，生物学证据表明，要使深度神经网络方法发挥作用，需要大量的并行性。
在20世纪80/90年代末，神经网络专用硬件的概念已经过了新奇阶段。然而，由于缺乏共享软件，并且硬件开发成本高，这些努力仍然支离破碎。大多数实际操作的尝试，如1985年的连接机、1992年的Space、1989年的Ring Array Processor和日本第五代计算机项目，被设计用来支持逻辑编程，比如PROLOG和LISP，它们不太适合连接主义的深度神经网络。后来的迭代，如HipNet-1和1991年的模拟神经网络芯片都很有前途，但迭代成本难以承受，而且需要定制硅。
图4：连接机是20世纪80/90年代为数不多的偏离通用CPU的硬件实例之一。在DARPA的初始资金枯竭后，Thinking Machines最终破产了。
在第一篇关于反向传播的论文发表整整40年之后，21世纪初的算力发展，才让大规模并行以一种有益的方式应用了深度神经网络。许多发明都是在设计者意料之外重新设计的。爱迪生的留声机一开始不是用来演奏音乐的。他最初设想将其用于保存遗言或是教授拼写。事实上，他对人们用留声机播放流行音乐感到失望。类似地，深度神经网络只在一项现有技术被意外地改变用途时才开始凸显优势。
图形处理单元（GPU）最初是在20世纪70年代提出的，它是开发游戏、电影、动画的专用加速器。在2000年代，就像爱迪生的留声机一样，GPU被重新设计成一个完全无法想象的用例：用来训练深度神经网络。与CPU相比，GPU有一个关键的优势——它们在并行处理简单的可分解指令（如矩阵乘法）方面要好得多。
更高的每秒浮点运算点数（FLOPS）加上GPU训练的巧妙分配，使更深层网络的训练不受阻碍。网络的层数是关键。在2011年、2012年和2015年，ImageNet的性能随着网络的不断加深而突飞猛进。效率跃升的一个显著例子是，谷歌2012年使用16000个CPU内核对猫进行分类，仅仅一年后，人们仅用两个CPU核和四个GPU解决了同样的任务。
3.2 幽灵之于软件
软件在决定研究构思的成败方面也起着重要作用。直到90年代中期，Prolog和LISP一直是人工智能界最受欢迎的两种语言。在这一时期的大部分时间里，人工智能的学生积极掌握这两种语言中的一种或两种。LISP和Prolog特别适合处理逻辑表达式，逻辑表达式是推理和专家系统的核心组件。
图5：Byte杂志封面，1979年8月，第4卷。直到90年代，LISP一直是人工智能研究的主导语言。
对于那些想研究像深度神经网络这样的连接主义思想的研究人员来说，直到1992年Matlab的出现，他们才有了一种非常适合的语言。在LISP或Prolog中实现连接网络是很麻烦的，大多数研究人员都是用C 这样的低级语言工作的。直到2000年，随着LUSH和随后的TORCH的出现，围绕深度神经网络方法开发的软件，才开始有了一个更加健康的生态系统。
哪里有输家，哪里就有赢家。从20世纪60年代到80年代中期，大多数主流研究都集中在人工智能的符号方法上。在深度神经网络中，学习适当的表征是模型本身的任务，与深度神经网络不同的是，符号化方法旨在建立一个知识库，并使用决策规则来复制人类处理问题的方式。这些规则通常被编码为一系列逻辑假设语句，这些语句非常适合LISP和PROLOG。
人工智能的符号化方法尚未取得成果，但这一研究方向在二十世纪后半叶的广泛和持续流行，不能被视为独立于它与现有编程和硬件框架之间的适应性。
4
“幽灵”的持续存在
今天，人们对硬件、软件和机器学习社区之间的联合合作重新产生了兴趣。我们正在经历第二次专用硬件开发的浪潮。导致这种现象的催化剂包括：摩尔定律的终结和Dennard缩放比例定律的崩溃所导致的硬件经济的变化，机器学习领域的模型参数数量上“越大越好”的竞逐，螺旋式发展的能源成本，以及将机器学习部署到边缘设备的要求。
摩尔定律的终结意味着我们不能保证有更多的计算力，但是硬件将不得不获取更多的计算力。为了提高效率，像CPU这样不确定任务的通用硬件已经转变到领域特定的专用硬件，这些硬件可以定制化设计以使某些任务更加高效。过去几年发布的第一批领域专用硬件有：TPU、edge TPU、Arm CortexM55、Facebook的big sur，这些硬件都针对矩阵乘法等深度神经网络常见的高成本操作进行了明确优化。
硬件和研究社区之间的更密切合作无疑将继续提高深度神经网络的训练和部署效率。例如，虽然非结构化剪枝和权重特定量化是深度神经网络中非常成功的压缩技术，但是它们与当前的硬件和编译内核并不兼容。
虽然目前这些压缩技术还没有得到很好的支持，但是许多聪明的硬件架构师正在考虑如何解决这一问题。合理的预测是，未来几代芯片或专用内核将纠正当前硬件对这些技术的偏见。一些促进稀疏性的首批硬件设计已经开始投入市场中。同时，也有一些有趣的研究在开发专门的软件内核来支持非结构化稀疏性。
在许多方面，硬件正在赶上机器学习研究现状。只有当用例的生命周期超过3年时，硬件才是经济可行的。对于硬件开发人员来说，押注于具有长生命周期硬件的想法是一个关键的考虑因素。因此，协同设计工作几乎完全集中在优化具有已知商业用例的老一代模型上。例如，矩阵乘法是一个安全的优化目标，因为它已经在生产系统和深度神经网络中被广泛采用，因此它们将保持稳定。允许非结构化稀疏性和权重特定量化也是安全的目标，因为人们普遍认为这将实现更高水平的压缩。
还有一个单独的问题，即硬件创新是否具有通用性，足以开启或跟上全新的机器学习研究方向。这个问题很难回答，因为数据是有限的，很难模拟出在不同硬件条件下，这种想法是否会成功还是失败。然而，尽管这项任务存在固有的挑战，但已经有令人信服的证据表明，领域专用硬件使得偏离主流的研究理念获得成功的成本更高。
2019年，Barham&Isard发表了一篇题为“机器学习陷入困境”（Machine learning is stuck in a rut）的论文。作者考量了在领域专用硬件上训练一种称为胶囊网络的新型计算机视觉架构的困难。胶囊网络包括新的组件，如压缩操作和协议路由。这些结构选择旨在解决卷积神经网络的关键缺陷（缺乏旋转不变性和空间层次结构理解），但偏离了典型的神经网络结构。因此，虽然胶囊网络的操作可以在CPU上很好地实现，但对于GPU和TPU这样的加速器，性能却悬崖式下跌，因为这类加速器对于矩阵乘法进行了过度优化。
不管你是否同意胶囊网络是计算机视觉的未来，作者说了一些有趣的事情，试图说明在领域专用硬件上训练一种新型的图像分类架构的困难。硬件设计优先考虑商业用例的交付，而适应下一代研究思想的内置灵活性仍然是一个遥远的次要考虑因素。
虽然专用化使得深度神经网络更加高效，但它也使得偏离公认可被接受的构建模块的成本更高。这不可避免地引发了一个问题：研究人员会在多大程度上隐式地过拟合在可用硬件上运行良好的想法，而不是冒着目前不可行的想法的风险？
5
“幽灵”的未来分析
我们面前的是一些被伪装成无法解决的问题的突破性机会。——约翰·加德纳
这是一个在机器学习社区内持续进行的公开辩论，未来的算法与像深度神经网络这样的模型将会有多大的不同。你所承担的风险取决于你在这场辩论中的立场。如果你认为未来的突破依赖于深度神经网络与不断增加的数据量和计算量的匹配，那么在专用硬件上下大赌注就是有意义的。
几个主要的研究实验室正在押这个赌注：在模型参数的数量上进行一场“越大越好”的竞赛，并收集越来越广泛的数据集。然而，目前尚不清楚这是否可持续。
算法的可扩展性通常被认为是相对于可用资源的性能梯度：如果有更多的资源，性能该如何提高？
对于许多子领域，我们现在处于额外参数回报率下降的状态。例如，虽然Inception v3到v4网络的参数几乎翻了一番（从2180万到4110万个参数），但两个网络之间ImageNet的准确率相差不到2%。
然而额外参数的代价问题正变得非常明显，仅GPT-3的单独训练成本就估计超过1200万美元。也许更令人不安的是，我们离所谓的“人类智能"到底还有多远？
人类的大脑尽管非常复杂，但它们却非常节能。我们的大脑有超过850亿个神经元，但其能耗却只相当于电动剃须刀。虽然深度神经网络可能是可扩展的，但是如果想要达到人类一样的智能，代价是不可想象的。一个恰当的比喻是，我们似乎在试图建造通往月球的梯子。
生物智能与深度神经网络在很多方面都不同，这表明如果把深度神经网络当作是唯一的前进道路是一个很冒险的赌注。
虽然像深度神经网络这样的通用算法依赖于全局更新来学习有用的表示，但我们的大脑却不是。我们自己的智能依赖于分散的局部更新，这种更新以人们不太了解的方式呈现出全局信号。
除此之外，我们的大脑能够从比深度神经网络少得多的标注样本中学习出高效表征。对于典型的深度学习模型而言，整个模型对每个样本都是激活的，这会导致训练成本的二次爆炸。相反，有证据表明大脑并没有对所有的输入进行完全的前向和反向传播。大脑根据传入的感官数据来模拟预期的输入。基于匹配的确定性，大脑会简单地进行填充。我们所看到的大部分都是从记忆中计算出来的虚拟现实。
人类的生物硬件为不同的任务开发了高度优化和专用的通路。例如，人类很容易做到同时走路和谈话。然而，尝试同时阅读和谈话却很难，因为这对认知的影响要大得多。
这表明了神经网络的组织方式和归纳偏置与网络的总体规模大小一样重要。大脑能够在我们的一生中进行微调并始终保留人类已有的技能。相比之下，基于新数据训练出来的深度神经网络往往会表现出灾难性的遗忘，在这种情况下，由于新信息干扰了先前学习的行为，原始任务的性能会出现下降。
图6：人类对某些任务的延迟表明我们对不同的刺激有专门的途径。例如，人很容易同时走路和说话。然而，尝试阅读和走路对认知的影响要大得多。
提这些例子的目的并不是要让你相信深度神经网络不是未来发展的方向。但是，更确切地说，显然还有其他智能模型表明，这可能不是唯一的方法。下一个突破可能需要一种完全不同的方法，用不同的硬件、软件和算法组合来模拟世界。我们很可能正处在一个硬件彩票的时代。
6
“幽灵”的解决之路
任何机器编码系统都应该从操作者获得结果的容易程度来评价。——约翰·莫奇利
当科学家克服现有范式的“粘性”时，科学进步就发生了。人工智能研究中范式转变的速度已经不成比例地取决于硬件、软件和算法之间的协调程度。因此，任何避免硬件彩票的尝试都必须考虑使探索不同的硬件软件算法组合更便宜、更省时。
这说起来容易做起来难。扩大可能的硬件软件算法组合的搜索空间是一个令人生畏的目标。无论从时间还是资金上来说，探索新类型的硬件都是昂贵的。生产下一代芯片通常需要3000-8000万美元和2-3年的开发时间。仅建造一家制造厂的固定成本就非常巨大；2017年估计为70亿美元。
使用强化学习优化芯片布局的实验可能有助于降低成本。人们对可重构硬件也重新产生了兴趣，如场编程门阵列（FPGA）和粗粒度可重构阵列（CGRA）。这些设备允许重新配置芯片逻辑，以避免被锁定到一个单独的用例中。然而，灵活性的代价是更高的失败率，并且需要开发定制软件。在FPGA上编写即使是简单的算法也非常痛苦和耗时。
在中短期内，硬件开发可能仍然昂贵，且持续时间较长。生产硬件的成本很重要，因为它决定了硬件开发人员愿意承受的风险和实验量。为深度神经网络量身定做的硬件投资是有保证的，因为神经网络已经拥有足够的商业化用例。深度学习下游应用的广泛盈利能力刺激了硬件初创企业的健康生态系统，旨在进一步加速深度神经网络，并鼓励大公司自行开发定制硬件。
目前的瓶颈在于，为那些在商业上不可行的用例提供硬件资金。这些风险更大的方向包括生物硬件、带内存计算的模拟硬件、神经形态计算、光计算和基于量子计算的方法。探索使用新材料开发晶体管也存在高风险。
从以往的硬件彩票中吸取的教训表明，投资必须是持续的，并且必须来自私人和公共资金项目。公众对提供此类专用资源的兴趣正在慢慢觉醒，例如2018年DARPA电子复兴计划，该计划承诺为微电子技术研究提供15亿美元的资金。中国还宣布了一项470亿美元的基金来支持半导体研究。然而，即使如此规模的投资也可能严重不足，因为基于新材料的硬件需要10-20年的长交付周期，而公共投资目前远低于行业研发水平。
6.1 软件革命
我们目前的一个临时目标是，向研究人员提供更好的反馈循环，以了解算法如何与现有的硬件交互。机器学习研究人员不会花太多时间讨论硬件如何决定哪些想法成功，哪些想法失败。这主要是因为很难量化成本。
目前，还没有一种简单、廉价的接口来同时针对多种类型的硬件来测试算法性能。不同类型硬件支持的软件操作子集存在巨大的差异，这阻碍了算法在硬件类型之间的可移植性。软件内核通常针对特定类型的硬件进行过度优化，这会导致与不同硬件一起使用时效率出现巨大的滞后。
这些挑战因越来越强大和异构的硬件环境而变得更加复杂。随着硬件环境变得越来越支离破碎和专业化，快速高效的代码将需要越来越多的细分和专业技能来编写。这意味着计算机科学研究的进步将带来越来越不均衡的收益。虽然某些类型的硬件将受益于健康的软件生态系统，但其他语言的进展将是零星的，并且常常由于缺乏关键的最终用户而受到阻碍。
减轻对专业软件和专业知识的需求的一种方法是，专注于开发领域特定的语言，这些语言旨在专注于狭窄的领域。当不强调表达能力时，领域特定的语言允许在不同类型的硬件之间实现更大的可移植性。它允许开发人员专注于代码的意图，而不必担心实现细节。另一个有希望的方向是根据下游硬件选择自动调整程序的算法参数。这有助于简化部署，通过调整程序在各种硬件上实现良好的性能和负载平衡。
这两种方法的困难在于，如果成功了，这将进一步将人类从实现的细节中抽象出来。同时，我们需要更好的分析工具，让研究人员对硬件和软件应该如何发展有一个更明智的意见。理想情况下，软件甚至可以根据算法的配置提出使用哪种硬件的建议。发展与广泛期望不同的领域仍然是推动新科学发现的关键催化剂。
软件需要有更多的发展，但目前也面临着很好的机会。在摩尔定律的整个时代，我们忽视了高效软件，相信计算中可预测的收益将弥补软件堆栈中的低效率。这意味着，当我们开始为更高效的软件进行优化时，会得到丰硕的成果。
7
结论
美国投资者George Gilder有力地将计算机芯片描述为“在沙粒上刻下世界”。
算法的性能基本上与它运行的硬件和软件交织在一起。本文提出硬件彩票这个术语来描述这些下游选择如何决定一个研究构想的成败。今天，硬件环境越来越异构。作者假设硬件彩票并没有消失，赢家和输家之间的差距将越来越大。为了避免未来的硬件彩票，我们需要更容易地量化我们拥有的硬件和软件的机会成本。
最后我们还是要期待一下，硬件彩票这个幽灵也许某一天会如数学三大危机一般被人类成功解决。
原文链接：
https://arxiv.org/pdf/2009.06489v1.pdf
