《超验骇客》（2014 年上映的科幻电影）
1965年，I. J. Good首次提出了“智能爆炸”这个与人工智能（AI）密切相关的概念：
超智能机器可以定义为远远超越任何人类智力活动的机器。由于设计机器也是一种智力活动，超智能机器可以设计出更加高级的机器。毋庸置疑，到时候肯定会出现一场“智能爆炸”，人类智力会被人工智能远远超越。如此，第一台超智能机器便会成为人类的最后一项发明，不过前提是这台机器足够听话，愿意告诉我们该如何控制它。
数十年之后，“智能爆炸”这个概念已经在人工智能界得到普及。人们认为智能爆炸会带来“超智能”的突然崛起以及人类的灭亡。商界领袖们将其视为比核战争或气候变化更严峻的挑战。与此同时，普通的机器学习研究者们正在推动这场爆炸的发生。2015年面对AI研究人员进行的一项电子邮件调查中显示，29%的受调查者认为未来“可能”或“很可能”会发生智能爆炸，21%的受调查者认为发生的可能性非常大。
目前的基本假设是：在不久的未来，人类会创造出首个“种子AI”，它解决问题的综合能力会稍胜人类。接着这个种子AI会设计出更加高级的AI，开始不断进行自我改进，很快便远远超过人类的智力，短时间内即可创造出比人类智力高出数量级的智能。
该理论的支持者还将超智能视为一种超能力，拥有超智能的人会获得塑造环境的超自然能力，就像是2014年上映的科幻电影《超验骇客》中发生的情节。按照这种理论，超智能意味着接近万能，而且这种智能可能会给人类带来灭顶之灾。
我认为，这部科幻小说严重误导着人类关于AI的风险与监管的必要性的讨论。在本文中，我的观点是，“智能爆炸”是不可能发生的，因为“智能爆炸“这个概念的产生源自于对智能本身和递归自我改进系统的行为的误解。接下来，我会通过对智能系统和递归系统的实际观察来论证我的观点。
误解智能所导致的错误论证
和许多上世纪60年代和70年代提出的早期理论一样，智能爆炸背后的论证也是诡辩的。这种论证以完全抽象的方式思考“智能”，与现实环境完全脱离，忽视了关于智能系统和递归自我改进系统的现有证据。
我们可以换一种思考方式，毕竟我们生活的这个星球到处都是智能系统（包括人类）和自我改进系统。但是，我们可以通过观察和学习这些系统来回答需要解决的问题，从而不必借助没有证据支持的循环论证（译者注：循环论证是指以一种观点证明另一观点，接着再用后一种观点反过来去证明前一观点）。
为了探讨智能及其自我改进的属性，我们有必要介绍一些背景知识。当我们谈论智能时我们到底在谈论什么？如何准确定义“智能”，这本身就是一个挑战。关于智能爆炸的科幻小说将“智能”定义为“智能个体”（即当前的人类大脑或未来的电子脑）所表现出的解决问题的综合能力。这个定义太过狭隘，我们可以将其作为基础进一步扩宽它。
智能是基于情境的
我认为智能爆炸理论的第一个漏洞是：它未能认识到智能一定是某个更大的系统的组成部分。该理论将智能想象为可以脱离情境实现智能化的“缸中之脑”。大脑只是一个生物组织，它本质上一点也不智能。除了大脑、身体、感官、环境和人类文化都是思考能力的重要组成部分，大脑的所有想法都产生于这些组成部分。因此，我们不能将智能本身和其表现情境分离开来。
需要特别指出的是，“通用智能”是不存在的。从抽象层面上讲，这个结论是根据“天下没有免费的午餐”定理得出的。也就是说，没有任何的算法能够完美解决任何可能产生的问题。如果“智能”是一个“问题解决算法”，那么它只能被用于解决某一个特定问题。
换句话说，根据经验我们可以得出的是所有智能系统都具有高度的针对性。我们当前构建的 AI 系统只能用于解决针对性极强的任务，比如下围棋，或者将图像分成 10000 个已知的类别这类问题。章鱼的智能只能专用于章鱼的问题。人类的智能只能专用于人类的问题。
如果我们将一个新形成的人类大脑放到一只章鱼的身体中，然后将这只章鱼放到海底，会发生什么呢？它会学习使用它的八条爪子吗？它能存活几天的时间？我们无法完成这样的实验，但是考虑到人类最基本的行为和早期学习模式都是硬编码的（即由基因决定的），这只章鱼体内的人类大脑可能不会表现出任何智能行为，并且它会迅速死亡。
假如我们将一个人类（包括大脑和身体）放到一个不没有任何已知人类文化的环境中，会发生什么呢？被一群狼养大的人类小孩毛克利（电影《奇幻森林》），长大后的智力会比狼更高吗？会和人类一样聪明吗？假如我们将婴儿毛克利换成婴儿爱因斯坦，他能通过自学最终提出伟大的宇宙理论吗？虽然经验证据相对较少，但根据我们已知的知识已经可以看出：除了基本的动物生存行为，在人类文化环境之外长大的儿童不可能发展出任何智能。长大成人之后，他们甚至无法使用语言。
如果智能从根本层面上与特定的感觉运动模式、环境、养育方式和特定的实际问题有关，那么仅仅通过调整智能体的大脑是无法改进它本身的智能的，这种做法和加快传送带速度以增加生产线生产量一样不实际。
智能的改进只能通过思考能力、感觉运动模式和环境的共同发展提高来实现。如果大脑机制决定着解决问题的能力，那么那些拥有超高IQ的少数人就会过上常人无法想象的生活，解决之前无法解决的问题，甚至统治世界（有些人担心比人类聪明的 AI 会这样做）。实际上，拥有非凡认知能力的天才们往往过着非常平庸的生活，只有其中很少一部分人取得了令人瞩目的成就。而在那些曾尝试统治世界的人中，几乎没有哪位拥有超于常人的智商。
在难题上最终取得突破的人往往靠的是环境、性格、教育和智力等因素的共同作用，以及对前人工作的逐步完善。成功（才智的体现）靠的是能力和机遇——在正确的时间遇上重大的问题。大部分杰出的问题解决者甚至谈不上聪明，他们的技能似乎只局限于某一特定领域，他们在各自的领域外往往不会展现出超于常人的能力。一些人取得成功是因为他们更懂得合作，或者拥有更好的毅力、职业道德或想象力。还有一些人取得成功只是因为他们恰好处于正确的环境，在正确的时间上说了对的话。“智能”在根本上是与情境有关的。
环境严重限制着个体智能
智能不是一种超能力。拥有杰出的智能并不意味着拥有掌控环境的超凡能力。然而大量证据表明，智力（以IQ衡量）确实与个人的社会成就相关。从统计结果上看，一个 IQ 130 的人成功解决人生问题的几率要远高于 IQ 70 的人。但是从个人层面上看，这一结论并不适用。而且过了某一点之后，这种相关性会消失。没有任何证据表明IQ 200 的人比IQ 130 的人在同领域取得较大成功的几率更高。为什么会这样？
这表明了一个非常直观的事实：获得高成就需要具备足够（超越某种标准）的认知能力。
但是，当前限制我们问题解决能力和成就的因素并不是潜在认知能力本身，而是我们所处的环境。环境决定着智力的表现方式，会严重限制大脑的潜能。环境决定着我们能获得多大的才智，我们如何有效地利用获得的才智，以及我们能够解决什么问题。
所有证据都指向这样一个事实：我们当前所处的环境，与过去20 万年间的环境和史前环境很像，并不允许高智能个体充分开发和利用其认知潜力。
一个生活在 1 万年前的高潜力人类只能在简单的环境中成长，比如他说的语言少于 5000个单词，无法学习读或写，只能接触到有限的知识和极少的认知挑战。对多数现代人而言，他们所处的环境有所改善，但没有证据表明当前环境所提供的机会超越了我们的认知潜力。
我对爱因斯坦大脑的重量和脑回并不太感兴趣，让我更感兴趣的是那些在棉田和血汗工厂里劳作而死的普通人。——Stephen Jay Gould
一个聪明的人类如果在丛林中长大，他只会成为一只没有毛的猿类。同样，如果现在将拥有超级大脑的AI系统放到一个人类的体内，他的能力可能不会比其他聪明的当代人更强。如果大环境允许，拥有超高智商的人就会实现超凡的个人成就，拥有控制环境的超凡能力，成功解决重大难题。但是实际上，这些人并没有做到这些。
人类的智能主要不在大脑，而是外显为文明
一方面，决定人脑智能程度的因素不只是身体、感觉和环境。另一方面，人脑只是整个人类智能系统的一小部分。我们周围的认知工具可以帮助我们的大脑增强解决问题的能力。这些工具包括智能手机、手提电脑、谷歌搜索、学校教的认知方法、书籍、他人、数学符号、编程等。
在所有这些认知工具中，最基本的是语言。语言本质上是一种用于认知的操作系统，没有它我们就无法进行深层次的思考。这些工具并不只是输入到大脑中供其使用的知识，它们更是外部认知过程，以非生物的方式思考问题和解决问题，跨越时间、空间以及个体。大部分认知能力的实现靠的是这些认知工具，而不是我们的大脑。
个体本身是工具。个人本身没有什么意义，人类只是两足人猿。使我们超越动物本性的是数千年来知识的不断累积以及外部系统的不断发展，我们称之为“文明”。
当某一位科学家在某个问题上取得突破时，他大脑中的思考过程只是整个问题解决过程中的一小部分，他将这个过程中的大量其他的工作交给了计算机、其他研究人员、论文笔记、数学符号等等。研究人员能够取得成功，是因为他们站在巨人的肩膀上。他们自己的研究只不过是整个问题解决过程中最后的一个子例程，而整个过程由几十、几千个人完成的。他们个人的认知工作对整个过程的重要性可能还不及芯片上的一个晶体管。
个体大脑无法实现智能的递归式增强
大量证据表明，一个人的大脑本身无法设计比它更高级的智能。同时，单纯根据经验得出的论断是，这个世界前前后后诞生了数十亿人，没有一人设计出了高于人类智力的智能。很明显，单凭个人的智力，穷其一生也无法设计出超越人类的智能。若是可以，早就该设计出了。
但是，数十亿人脑在过去数千年间累积的知识和开发的外部智能方法，实现了一个系统，“文明”。而“文明”也许会创造出比个人大脑更强的虚拟大脑。创造超人类 AI 的将会是整个“文明”，不是你，不是我，也不会是其他任何人。这个创造过程需要涉及无数人的努力，其跨越的时间尺度是我们无法想象的。这个过程涉及到的外化智能，包括书籍、计算机、数学、科学、因特网等，要比生物智力多得多。
从个体角度来看，我们只不过是文明的向量，在前人的成就上继续探索，然后向后人传授我们的发现。我们只是暂时存在的晶体管，用以运行文明的问题解决算法。
经过数个世纪的共同发展后，未来的超人类 AI 是否能够开发出比其自身更强大的 AI ？答案是不能，人类同样不能。回答“能“就是违背我们已知的事实。请再次记住，任何人类和已知的任何智能体都还没有开发出比它们自己更强的智能。事实上，我们在做的是一起逐步构建比我们自身更强的外部问题解决系统。
但是，未来的AI，同人类以及目前创造出的其他智能系统一样，都会对人类文明作出贡献，而文明也会利用它们来不断发展它所创造出的 AI 的能力。从这个意义上讲，AI 和计算机、书籍、语言并无不同，它是一种推动文明的技术。
因此，超人类 AI的出现并不会带来什么奇点。文明将不断促进 AI 的发展，将最终超越现在的我们，正如它超越了一万年前的人类一样。这是一个循序渐进的过程，而不是突然的转变。
“智能爆炸论”的基本前提是，解决问题的能力比人类更强大的“种子 AI”将导致突然失控，并且其智能会不断循环增强。这是错误的。
我们解决问题的能力（尤其是设计 AI 的能力）一直在提升，因为这些能力的实现主要靠的是外部的、集成的工具，而不是人脑。这种递归循环已经存在很长时间了，和之前的智能增强技术一样，所谓“强于人类的大脑”也无法从根本上改变这种循环。人脑本身并不是 AI 设计过程中的一个瓶颈。
此时你可能会问：“文明”本身难道不就是一个失控的、不断进行自我提升的大脑吗？我们的文明智能正在爆炸吗？并没有。关键在于，“文明”级别的智能增强循环只会导致人类解决问题的能力随时间线性增强。这不是爆炸。
为什么呢？难道数学上递归增加 X 不是会导致 X 呈指数增长吗？
简单来说，没有一个复杂的现实世界系统可以被建模为 X(t 1) = X(t) * a, a > 1。因为没有任何系统是存在于真空中的，尤其是智能和人类文明。
我们所知的递归自我改进系统
当智能系统开始优化自己的智能时，我们不必猜测是否会发生“爆炸”。实际上，大多数系统都在进行递归式的自我改进，并且这些系统在我们的生活中随处可见。我们非常熟悉它们在各种环境和各种时间尺度中的运作方式。人类自身就是一个递归自我改进系统，我们通过自学变得聪明，然后反过来提高自学效率。
同样，人类文明也是递归自我改进的，只不过这种改进跨越的时间尺度更长。机电设备也是递归自我改进的。一个好的生产线机器人可以造出更好的机器人。军事帝国是递归自我扩张的。帝国越大，军队开阔领土的野心就越大。个人投资也是递归自我改进的。本金越多，收益就越多。这样的例子比比皆是。
拿计算机软件来说，编程软件显然可以让程序编写更加便捷。首先，我们编写编译器，让它执行“自动编程”，然后我们利用更强大编程范式来开发新语言。我们再使用这些语言开发先进的开发工具——Debugger、IDE、Linter、Bug 预测器。在未来，软件甚至可以自行编写软件。
这个递归自我改进过程的最终结果是什么？这个电脑软件是否能让你的工作效率比去年提高两倍？明年还能再提高两倍吗？可以说，在我们投入巨大精力开发软件的同时，软件的实用性也一直在呈线性增长。
近几十年来，软件开发者的数量一直以指数方式增长，按照摩尔定律，用于运行软件的晶体管的数量也在迅速增长。但是，人类计算机的实用性相比1992年、2002年或是2012年并没有改进那么多。
这是为什么呢？首先，因为软件的实用性在本质上受到应用环境的限制，就像“智能”受表现情境的定义和限制一样。软件仅仅是某个更大过程（经济、生活）中的一个小小齿轮，就像大脑只是人类文明中的一个小齿轮一样。情境严重限制了软件的最大应用潜力，这就像环境严重限制个体智能发展程度一样。即使是拥有超级大脑的人也会受环境限制。
除了情境的硬性限制之外，如果系统只有某一部分具有递归自我改进的能力，系统的其他部分会不可避免地成为瓶颈。在递归自我改进过程中，便会发生影响改进过程的对抗过程。
在软件中，这会导致资源消耗、功能蔓延（feature creep）、用户体验问题。在个人投资中，支出率就是一种对抗过程，本金越多，支出就越多。而在智能中，系统间的沟通会限制基础模块的改进，大脑的组件越小，在协调时遇到的问题就越多。社会的成员越聪明，社会在交流和沟通等方面的投入就越多。智商非常高的人更容易患上某些精神疾病。这也许不是巧合。古代的军事帝国在发展到一定规模时就会倒塌，这或许也不是偶发事件。指数性的增长对应的是指数性的阻力。
值得关注的一个具体例子是科学的发展。“科学”在概念上与智能本身非常接近，那就是作为一个问题解决系统，科学非常接近失控的超级 AI。毫无疑问，科学是一个递归的自我改进系统，因为科学的进步会带来工具的进步，而这些工具反过来可以进一步加速科学的发展。这些工具包括实验室硬件（如量子物理促进了激光的发明，而激光的使用帮助实现了大量新的量子物理实验）、概念工具（如新定理、新理论）、认知工具（如数学符号）、软件工具，以及能够让科学家们更好地进行协作的通信协议（如网络）等等。
然而，现代科学在某种程度上却是呈线性发展的。我在 2012 年发表的一篇名为《奇点不会出现》（“The Singularity is not coming”）的文章中详细阐述了这个现象。物理学在 1950 年到2000 年的进展速度还不如1900 年到1950 年快。当前数学的发展速度也不如 1920 年那时快。以各项指标衡量，医学在近几十年的发展基本上都是呈线性。
与之对应的是，人类在科学上的投入呈指数式增长。研究人员的数量每隔十五到二十年就要翻一番，同时为了提高生产力，这些研究人员使用的都是运行速度比过去快数倍的计算机。
怎么会这样呢？哪些瓶颈和对抗因素拖慢了科学递归自我改进的速度？我认为多的数不过来了。
下面我会列举其中的一部分。重要的是，其中的每个因素也适用于同样进行递归自我改进的 AI 系统。
- 在给定领域进行科学研究的难度会随着时间推移而增加。该领域的奠基者会收割大多数容易获得的成果，后来者要实现相同的成就则需要付出成倍的努力。在信息理论上，再也不会有人能达到可比肩香农 1948 年论文《通信的数学理论》的突破了。
- 研究人员进行分享与合作的难度会随着领域的发展壮大而呈指数级增长，他们会越来越难跟上新论文发表的速度。请记住，N 个节点的网络有 N×（N-1）/2 个边。
- 随着科学知识体系的不断扩大，我们在教育和培训上投入的时间和精力越来越多。但是，对于个体研究者而言，可以探索的领域也变得越来越狭窄。
事实上，我们周围所有的递归过程的自我改进最终都会受到系统瓶颈、收益递减和对抗反应的影响。自我改进确实会带来进步，但这种过程往往是线性的，或者充其量是S形的。第一次投入的“种子资金”往往并不会带来“财富爆炸”。而若是在投资收益和支出增长之间实现平衡，反而会让你的财富在大体上随时间呈线性增长。这些针对的是比自我改进智能系统简单得多的系统。
同样，第一个超级 AI 只会是人类漫长进步过程中的一小步而已，并且这个进步过程会是线性的。
结论
智能的进步靠的是生物学或数字“大脑”、感知运动功能、环境和文化的共同进化，而不是简单调整的“缸中大脑”。这种共同进化已经持续了数十亿年，并将会随着智能转向数字化而继续。“智能爆炸”不会发生，因为智能进步的过程大体上是线性的。
观点提炼
1. “智能”是基于情境的，不存在“通用智能”这种东西。你的大脑是某个更大系统的一部分。这个系统包括你的身体、你所处的环境、其他人，以及整体文化。
2. 没有任何系统存在于真空中，任何的个体智能都受其所处环境所定义或限制。目前，人类智能发展的瓶颈是我们所处的环境，而不是我们的大脑。
3. 人类智能在很大程度上存在于人类文明当中，而不是人类大脑之中。个体本身是工具。我们的大脑只是某个认知系统中的一个小模块。这个系统比我们本身大很多，而且数十亿年来一直在自我改进。
4. 由于所处环境造成的相应瓶颈、收益递减和反作用，递归自我改进系统在实际中并不能以指数形式发展。根据经验，此类系统的发展往往呈S 型曲线或线性。科学的进步尤为如此。它可能是我们所能观察到的最接近递归自我改进 AI 的系统了。
5. 智能的递归式发展已经在人类文明的层面上发生了。在人工智能时代，这一发展还将继续以线性的形式进行。
作者 | François Chollet 翻译 | Shawn 原文地址 https://medium.com/@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec
