来源：Medium 作者：François Chollet
编译：费欣欣
【新智元导读】Keras作者、谷歌大脑研究人员François Chollet在Medium发表了一篇思辨长文。有一种很流行的观点认为，一个种子超人AI诞生后，它会设计更强大的智能，很快智能就会迎来爆炸，人类智能被远远甩在后面。Chollet认为，并不存在这种所谓的“智能爆炸”，智能并非单个人类大脑的能力，而是依赖于环境和情景。从实践中看，拥有超人智商的人类个人并没有实现同比例超凡的成就就是这个道理。大量事实表明：单一的人类大脑本身并不能设计比自己更强大的智能。
人类通过使用工具，通过各种智能假体，比如计算机、书籍，实现了文明的演进。这些认知假体，而不是我们的大脑，是我们如今大部分认知能力之所在。François Chollet指出，智能爆炸的基本前提——即将出现的“种子AI”具有超过人类的解决问题能力，导致突然的、递归的、失控的智能提升循环——是错误的。我们解决问题的能力（特别是我们设计人工智能的能力）已经不断提高，因为这些能力不是主要存在于我们的生物大脑中，而是存在于我们的外部集体工具中。因此，智能的演进只能来自于大脑、感觉运动能力、环境、文化的共同进化，而不是单纯调整某些大脑的齿轮。
1965年，I.J.Good首次提出了“智能爆炸”（intelligence explosion）的概念，也涉及人工智能（AI）：
将一台超智能（ultraintelligent）机器定义为一台能够远远超过最聪明的人的智力活动的机器。由于机器的设计也属于智力活动，超智能机器能够设计出更好的机器；那么毫无疑问就会出现一场“智能爆炸”，而人的智能会被远远甩下。因此，第一台超智能机器将是人类需要制造的最后一项发明，前提是这台机器足够温顺，还会告诉我们如何控制它。
几十年后，“智能爆炸”的概念——促使了“超级智能”的突然兴起以及人类物种的灾难终结——开始在AI圈子里扎根。著名的商界领袖将其视为一个重大的风险，危险程度比核战争或气候变化还大。机器学习的研究生也正在认可这个观点。在2015年一项针对AI研究人员的电子邮件调查中，29％的受访者回答说，智能爆炸“可能”或“极有可能”出现。另有21％的人认为这是一个需要认真考虑去面对的未来（a serious possibility）。
所有这些看法，基本的前提是，在不久的将来，人类将会创造出第一个“种子AI”，这个种子AI解决一般（general）问题的能力将略微超过人类。而后，这个种子AI会开始设计更好的AI，启动一个递归的自我改进循环，很快就会将人类的智能抛开，在短时间内超越好几个数量级。这个理论的支持者也把智能视为一种超级力量（superpower），赋予其持有者几乎超自然的能力来塑造他们的环境，好比在2014年的科幻电影《超验骇客》中所看到的那样。因此，超级智能意味着接近无所不能，并会对人类生死存亡构成威胁。
在关于人工智能风险和人工智能监管需求的公共辩论中，这种科幻小说的描述将对公众产生一定的误导。在这篇文章中，我认为智能爆炸是不可能的出现的——智能爆炸的概念来自对智能的本质和递归式自我增强的系统的行为的深刻误解。接下来我将根据对智能系统和递归系统的具体观察来提出我的观点。
从误解中提出的观点
就像上世纪60年代和70年代有关人工智能的早期理论一样，推导得出智能爆炸是一种诡辩：它以一种完全抽象的方式来考虑“智能”，与具体场景是割裂的，忽略了关于智能系统和递归式自我完善系统的现有证据。智能的提升或演化不一定得以“爆炸”的形式出现。毕竟，我们所在的星球上到处都是智能系统（包括我们人类在内）和能够自我完善的系统，我们可以简单地观察这些系统并向它们学习，回答智能如何演化的问题，而不是毫无证据地进行推理。
要谈论智能及其可能的自我改善特性，首先应该介绍必要的背景知识。当我们谈论智能时，我们在谈论什么？精确定义智能本身就是一个挑战。智能爆炸理论将智力等同于智能体个体所展示的一般解决问题的能力，这里的智能体个体也即当前的人类大脑或未来的电子脑。这种定义并不是完整的，所以我们以这个定义为出发点，并对其进行扩展。
“智能”并不只是人类大脑的能力，智能是情景化的
我认为智能爆炸理论存在的第一个问题是，它没有认识到智能必然是更广泛的系统的一部分——智能爆炸理论将智能视为“瓶中大脑”，可以独立于情景，任意实现智能化。而实际上，大脑只是一块生物组织，本质上并不具有任何智能。除了大脑，你的身体和感官——你的感觉运动预设用途（sensorimotor affordances）——是你思维（mind）的基本组成部分。你所处的环境也是你思维的基本组成部分。人类文化是你思维的基本部分。这些都是你所有想法的来源。你不能把智能从它表达的情境中分离出来。
特别需要指出，这个世界上并不存在“通用”智能。在抽象层面上，我们通过“没有免费的午餐”定理知道这个事实——没有任何解决问题的算法可以超越所有可能问题的随机偶然性。如果智能是一个解决问题的算法，那么只有在针对一个特定的问题的情况下我们才能理解它。更具体地说，我们可以凭经验观察到，我们知道的所有智能系统都是高度特异化的（highly specialized）。我们今天建立的AI的智能，也都是在超级专业化、非常狭隘的领域完成任务，比如玩围棋，或者将图像分类到10,000个已知类别中。章鱼的智能专注于章鱼的问题。人类的智能专注于人类的问题。
如果我们把一个新创造出来的人的大脑放在章鱼的身体里，让它活在大海的底部会发生什么呢？它会学会使用八条腿吗？它会存活几天？我们无法进行这个实验，但考虑到我们最基本的行为和早期学习模式的硬编码程度，这个人类大脑很有可能不会显示出任何智能的行为，并很快就会死亡。人类大脑现在看起来不那么聪明了吧。
如果我们把人（包括大脑和身体）放到一个并不像我们所知道的典型的人类文化环境中会发生什么？森林之子Mowgli由一群狼抚养长大，他会比他的兄弟姐妹更聪明吗？如果我们把婴儿时期的Mowgli和还是婴儿的爱因斯坦交换，在人类社会中长大的Mowgli最终会自学成才并提出广义相对论吗？虽然没有什么经验证据，但据我们所知，在人类文化培育环境之外长大的儿童除了基本的动物生存行为之外，没有任何智力发展。他们在成年之后甚至无法学会语言。
如果智能从根本上与具体的感觉运动形式、特定的环境、特定的成长过程，以及需要解决的具体问题相关，那么你就不能期望仅仅通过调整大脑来任意增加一个智能体的智能。智能的发展只能来自与心灵（mind）、与感觉运动的形式和与环境的共同进化。如果大脑的某些特性是解决问题能力的决定性因素，那么智商远远超出常人类智力范围的个别人，他们的生活将远远超出正常生活范畴，他们将解决常人所无法解决的问题，甚至占领世界——就像有些人担心比人类聪明的AI会做的一样。在实践中，具有特殊认知能力的天才们，往往过着平庸的生活，很少有人能够完成什么宏图大业。而在那些企图统治世界的人当中，似乎也没有谁拥有特别的智能。
在困难问题上最终取得突破的人，结合了情境、性格、教育、智力，通过对前人工作的逐步完善来取得突破。成功——智能的体现——是在正确的时间用足够的能力解决大的问题。成功人士，也即杰出的问题解决者，大多数都不是那么聪明——他们的技能似乎聚焦某个领域，通常不会在自己的领域之外展现超过平均水平的能力。有些人是因为他们更擅长与团队成员协作，或者有更多的勇气和职业道德，或者更丰富的想象力而取得更多的成就。有些则是恰好处在正确的环境中，在正确的时间跟正确的人进行了正确的对话。智能从根本上说是依赖于情境的。
环境对个人智能构成了巨大的局限
智能并不是超级力量，非凡超群的智能本身也无法带给你超越你所处情景的超凡实力。然而，一个有据可查的事实是，智力——由IQ衡量，虽然这种方法值得商榷——在一定情况下，与社会成就正相关。相比一个智商为70的人，一个智商为130的人在统计上更有可能成功地驾驭生活中的问题，虽然这一点在个人层面上并不能保证。但是，在超过某个点之后，这种相关性会下降。没有证据表明，智商200的人更有可能比智商130的人在其领域产生更大的影响。这是怎么回事呢？
这指出了一个非常直观的事实：取得高的成就需要足够的认知能力——超过一定的门槛，但目前看解决问题的瓶颈，并不是潜在认知能力本身。这个瓶颈是我们的情景。我们所处的环境决定了我们的智力如何表现，对我们的大脑能够做什么产生了严格的限制——我们如何成长，如何有效利用我们发育出的智力，我们如何解决问题。所有的证据都表明，我们现在的环境，就像过去20万年前的人类历史和史前史一样，让高智商的人无法充分发挥和充分利用他们的认知潜能。一万年前的一个拥有极高潜力的人，可能会成长在一个低复杂度的环境中，这个环境很可能是单个语言少于5000个单词，永远不会被教导读写，接触到知识有限，很少遇到挑战。对于大多数当代人来说情况要好一些，但是没有迹象表明，我们目前的环境机会超出了我们的认知潜力。
“从某种程度上说，我对爱因斯坦大脑的权重和卷积不怎么感兴趣，我几乎肯定有拥有同样大脑的人出生了，然后在棉花田和血汗工厂中死去，后者是我更为关注的。”——Stephen Jay Gould
一个聪明人在丛林中长大，只不过是一只无毛猿而已。同样，拥有超人大脑的AI，放在一个人类的身体里，在现代人类社会中，可能不会比一个聪明的现代人发展出更大的能力。如果能的话，那么拥有超高智商的人早已显示出超凡的个人成就水平；他们将对自己的环境达到特殊的控制水平，并解决重大问题，然而在实践中，他们并没有如此。
生物大脑只是人类智能的一小部分，人类智能存在于文明之中
我们的身体、感官和环境决定了我们的大脑可以发展多少智能，不仅如此，更为关键的是，我们的生物大脑只是我们整个智能的一小部分。如今，各种各样的认知假体围绕着我们，扩展我们的大脑，并扩大我们解决问题的能力——你的智能手机、笔记本，谷歌搜索。你在学校习得的认知工具。图书。其他的人。数学符号。编程。所有认知假体中，最基本的部分当然是语言本身。语言在本质上是一个认知操作系统，没有了语言，我们不会思考太多。这些东西不仅仅是供大脑使用的知识，它们实际上是外在的认知过程，是以非生物的方式来运行思维和解决问题的算法——跨越时间、空间，跨越个体。这些认知假体，而不是我们的大脑，是我们如今大部分认知能力之所在。
人类是自己的工具。一个人是非常无用的。是几千年来知识和外部系统的集体积累——我们称之为“文明”——使我们超越了我们的动物本性。当科学家取得突破时，他们在大脑中运行的思维过程只是方程式的一小部分——研究人员将大部分解决问题的过程转移到计算机、其他研究人员、纸质笔记、数学符号等等。而且，他们只能站在巨人的肩膀上才能成功——他们自己的工作只不过是解决问题的过程中的最后一个子程序，跨越几十万人的结晶。他们自己的个人认知工作在整个过程中可能并不比单个晶体管片上工作重要得多。
单一的人类大脑本身并不能设计比自己更强大的智能
大量的证据表明这个简单的事实：单一的人类大脑本身并不能设计比自己更强大的智能。这是一个纯粹经验主义的观点：在从古至今几十亿个人类大脑中，没有一个能够做到这一点。显然，一个人在一生中的智能是无法设计智能的，否则这么长时间这件事肯定已经发生了。
然而，千百年来，这些几十亿的大脑，积累知识，发展外部智力的过程，实现了一种系统文明，最终可能导致比人类更智能的人工智能。整个文明将会创造超人的AI，不是你，也不是我，也不是任何个人。一个涉及无数人类的过程，超过我们几乎无法理解的时间尺度。一个涉及更多外部智能的过程——书籍、计算机、数学、自然科学、互联网——而不是生物智能。在个人层面上，我们只是文明的载体，在以前的工作的基础上提出我们的发现。我们每个人都只是晶体管，整个文明的问题解决算法，短暂的运行在我们身上。
那么，经由我们几百年来共同发展出的未来的超人智能AI，是否有能力比开发出比自己更强大的智能呢？答案是不能。回答“是”的话，不啻否定了我们所知的一切，再一次记住，没有任何一个人，也没有任何我们所知道的智能实体，发展出了比自己更智能的东西。我们所做的是逐渐集体地建立比我们更大的外部解决问题的系统。
然而，未来的人工智能，就像我们迄今为止生产的人类和其他智能系统一样，将会为我们人类的文明做出贡献，而我们的文明又将用它们来不断扩大它所产生的智能的能力。在这个意义上，人工智能与计算机、书本或语言本身没有区别：它是一种强化我们文明的技术。因此，超人工智能的出现就跟计算机的出现、书本或语言的出现一样。文明将发展出人工智能，然后继续前行。文明最终将超越我们现在的状况，就像超越一万年前的那样。这是一个渐进的过程，而不是突然的转变。
智能爆炸的基本前提——即将出现的“种子AI”具有超过人类的解决问题能力，导致突然的、递归的、失控的智能提升循环——是错误的。我们解决问题的能力（特别是我们设计人工智能的能力）已经不断提高，因为这些能力不是主要存在于我们的生物大脑中，而是存在于我们的外部集体工具中。循环上升式发展已经发生了很长一段时间，“更强大脑”的兴起不会对这一过程产生质的影响。我们的大脑本身从来不是AI设计过程中的重大瓶颈。
在这种情况下，你可能会问，文明本身不就是失控的不断自我改善的大脑？我们的文明智能是否爆炸？答案依旧是不会，在文明层面的智能上升式循环发展，使我们解决问题的能力随着时间的推移大幅提高，而不是爆炸。但为什么？数学上递归提高X难道不会导致X以指数方式增长吗？没有——简单说，因为复杂的现实世界系统，并不能被模拟为X（t 1）= X（t）* a，a> 1。没有存在于真空中的系统，智能和人类文明也不例外。
递归自我完善的系统随处可见，爆炸不会发生
我们并不需要去猜测，当智能系统开始优化自己的智能时，是否会发生“爆炸”。碰巧，大多数系统是递归式自我改进的（recursively self-improving）。我们身边随处可见这样的系统。所以，我们确切地知道，这样的系统在各种情况下以及在各种时间尺度上是如何表现的。你自己就是一个递归自我完善的系统：你会学习让自己变得更聪明，然后让自己更有效地学习。同样，人类文明在更长的时间内也是递归地发生自我改善。机械电子也是递归自我改进的——更好的制造机器人可以制造更好的制造机器人。军事帝国也是递归地自我扩张——你的帝国越大，军事手段就越是强大。个人投资是递归自我改善的——你有更多的钱，你就可以赚更多的钱。例子比比皆是。
考虑一下，比如软件。编写软件显然使软件编写成为可能：首先，我们编写了编译器，可以执行“自动编程”，然后我们使用编译器开发实现更强大编程范例的新语言。我们使用这些语言来开发高级开发人员工具——调试器，IDE，错误预测器。将来，软件甚至会自我编程。
这个递归自我改进过程的最终结果是什么？你用现在计算机上的软件，能比你去年做的工作量翻两番吗？你明年还能再翻两番吗？可以说，使用软件后，生产力已经以看得见的趋势呈线性增长，而我们已经投入了巨大的努力来生产软件。软件开发人员几十年来一直呈指数级增长，我们运行软件的晶体管数量也在迅速增长，遵循摩尔定律。然而，我们的计算机只比2012年、2002年或1992年变强大了一点点。
为什么？首先，因为软件的有用性在本质上受限于其应用的场景，这一点类似于智能受环境决定，智能的发挥也受环境的限制。软件只是一个更大的过程中的一个齿轮——我们的经济，我们的生活，就像你的大脑，只是一个更大的过程——人类文化中的一个齿轮。这种情况严重限制了软件的最大潜在用处，就像我们的环境严格限制每个人的聪明才智一样。
除了情景的硬性限制，即使系统的一部分具有递归自我提升的能力，系统的其他部分也不可避免地会成为瓶颈。对于递归自我完善会产生拮抗过程——在软件中，这将是资源消耗，功能改变和用户体验的问题。在个人投资的情景中，你的支出率就是这样一个对立的过程——你拥有的钱越多，花的钱也就越多。在智能方面，系统间的沟通是对基础模块进行改进时的一个制约因素——一个拥有很多智能部件的大脑在协调这些部件时会遇到更多的麻烦；一个拥有更多聪明人的社会，需要在人机关系和交流等方面进行更多的投入。非常高智商的人更可能患有某些精神疾病，这可能不是巧合。过去的军事帝国在超过一定的规模后会迎来毁灭，也许并不是偶然事件。指数级的发展，将遭遇指数级的摩擦。
值得关注的一个具体例子是科学发展，因为科学在概念上与智能本身非常接近——作为一个解决问题的系统，科学非常接近失控的超人工智能。科学当然也是一个递归的自我完善的系统，因为无论是硬件还是软件，都遵循着科学的进步带来科学的发展这样一个模式。
然而，现代科学的进步衡量起来是线性的。我在2012年的一篇题为《奇点不会来》的文章中详细写了这个现象。1950 - 2000年期间的物理学，没有比1900 - 1950年期间取得更大的进展。现在数学的发展速度并不比1920年快得多。几十年来，医学在其基本所有指标上都呈线性发展。另一方面，我们在科学领域投入的资源和努力在呈指数级增长——研究人员的数量基本每15到20年就要翻一番，而这些研究人员正在使用指数级更快的计算机来提高他们的生产力。
怎么会这样？是什么瓶颈和反作用减慢了科学的递归自我改进？原因实在太多，我这里仅仅举出一些。重要的是，下面的每一个原因也适用于递归自我改善的AI。
- 在特定领域从事科学研究的难度随着时间的推移呈指数级增长——领域的创始人收获了低垂的果实，后来人需要付出更多的努力才可能获取同等影响力。没有一个研究人员能像香农在他1948年的论文中那样，在信息论上取得类似的进展。
- 研究人员之间的分享与合作随着领域的扩大而呈指数级增长。跟上新文献越来越难。随着科学知识的不断增多，教育培训投入的时间和精力不断增长，个体研究者的探究领域也越来越窄。
在实践中，系统瓶颈，收益递减和对抗反应最终会压垮我们周围的所有递归过程中的递归自我改进。自我提高确实会带来进步，但是这种进步往往是线性的，或者充其量是S形的。你投入的第一笔“种子美元”通常不会导致“财富爆炸”。相反，投资回报和增长支出之间的平衡通常会导致你的储蓄随着时间的推移大致线性增长。这是一个比自我改善的思维更简单的系统。
同样，第一个超级人工智能只是在一个明显的线性阶梯上迈出的又一步，我们很早就开始在这方面攀登了。
结论
智能拓展只能来自于大脑、感觉运动能力、环境、文化的共同进化，而不是单纯调整某些大脑的齿轮。这种共同进化已经发生了，随着智能向数字化基础的不断发展，这种共同进化将会持续下去。“智能爆炸”不会出现，这个过程也将以现行速度向前发展。
记住：
- 智能是场景化的，不存在通用智能。
- 没有系统存在于真空之中。单个智能会被周边环境所界定和限制。
- 人类智慧在很大程度上是外化的，不是在大脑中，而是储存在文明中。
- 由于存在瓶颈、收益递减、来自大背景中的反作用，递归自我完善系统无法在实践中取得指数级的进展。
原文地址：https://medium.com/@francois.chollet/the-impossibility-of-intelligence-explosion-5be4a9eda6ec
