新智元报道
来源：Twitter、arXiv
编辑：肖琴
【新智元导读】谷歌AI研究员、Keras之父François Chollet历时2年的力作近日发布，在长达64页的论文中，他深入分析、阐述“智能的定义和测量”，引起AI研究社区大量关注。你赞同Chollet的观点吗？来新智元 AI 朋友圈和AI大咖们一起讨论吧。
谷歌AI研究员、Keras之父François Chollet近日发表一篇长达64页的论文，深入分析、阐述“智能的定义和测量”，引起AI研究社区大量关注。
与此同时，Chollet还发布了一个新的AI评价数据集“抽象推理语料库”(Abstraction and Reasoning Corpus)，简称ARC。Chollet表示，在过去的2年里，他一直断断续续地在做这件事。
在新智元小程序获取论文：
论文的主要内容包括：
1) 回顾历史，我们如何定义和评估AI
2) 对“智能”(Intelligence)的新的正式定义，以及对“通用AI的基准”（general AI benchmark）应该是什么样子的具体指导原则
3) 介绍ARC的目标及其背后的逻辑。
Chollet说，这个定义是他试图将过去10年来的思考和讨论(演讲、Twitter、对话等等)正式转化为一些有用、可行的东西的尝试。ARC这个新的AI评价数据集引导他朝着非常有趣的研究方向发展，因此也希望读者发现它有用。
Chollet强调，论文中提供的定义并不是“唯一正确的”定义。那不是重点。因为智能是复杂的，在不同的背景中可能意味着不同的东西。“智能”或“人工智能”的多种定义都可能是有效的。
Chollet最近还在一个算法上取得了很好的进展，这个算法至少能够解决部分ARC，基于一个他研究了很长时间的认知理论(autonomous abstraction)。Chollet表示将尽快分享这些想法和代码。
这个理论自2009年以来一直在酝酿之中。它借鉴了ONEIROS项目(开放终端神经电子智能机器人操作系统)的重要元素，这是Chollet从2009年到2012年(在2014年短暂地再次参与)一直在开发的一个通用AI架构，但后来大部分都被放弃了。
ONEIROS是从一个经典的RL思想开始的，集中于1)学习时空特征的模块化层次“maps”(使用PMI矩阵分解而不是梯度下降)，2)通过注意力机制的形式进行上下文切换，以及3)内在动机(好奇心)。
其基本想法是“认知是一种感知运动信息空间的动态的、层次-模块化的地图”。因此，Chollet还把它称为“map theory”。
Chollet认为ONEIROS做了很多正确的事情(特别是考虑到当时的情况——主要是在2010年设计，并在2012年尝试对其进行简化)，但最终它没有触及最重要的一点：抽象的本质。
这就是“The Measure of Intelligence”这项工作正在做的，ARC正是触及了“抽象的本质”。
有意思的是，“Keras”这个名字来自ONEIROS：
“Chollet 创建了 Keras 作为开放式神经电子智能机器人操作系统 (ONEIROS) 机器人研究项目的神经网络的 API。ONEIROS 这一名称是对古希腊史诗《奥德赛》的致意，在这部史诗中，神话人物Oneiroi（Oneiros 的单数形式）为人类指明了两条进入梦境的路：一条路穿过宏伟的象牙之门进入噩梦，另一条路则穿过低矮的兽角之门，最终呈现一片神圣的景象。Keras 在希腊语中意为角，这个名称非常合适，因为 Keras API 旨在为与神经网络协同使用提供一条捷径。”
“The Measure of Intelligence”论文发表后，在Twitter、Reddit等社区得到很多关注，有人评价“有趣”、“必读的好文章”，也有人质疑这项研究是否必要。
论文内容结构
Google机器学习研究员Emil Wallner带来了不错的总结和解读，一起来看。
为了推进AGI，我们需要量化和评价其技能获取效率
François Chollet的核心观点是：我们不能通过衡量其对特定技能的掌握程度来评价一个AI系统的适应性和灵活性。
只要数据足够多，模型就能靠“记忆”实现决策。为了推进AGI，我们需要量化和评价其***技能获取效率***。
在20世纪70年代，许多人认为国际象棋反映了人类理性思维的全部范围。用计算机下棋就能达成认知理解的重大飞跃。但是，在IBM的DeepBlue之后，他们意识到计算机并没有更好地理解人类的思维。
IBM的DeepBlue并不“智能”，但我们认为掌握国际象棋的人是有智能的。这是因为我们将国际象棋与一种元技能(meta-skill)联系在一起，元技能是一种用于数学和推理等逻辑任务的能力。我们经常以类似的方式将AI系统拟人化：掌握任务= AGI。
同样，Chollet认为DeepMind的围棋AI AlphaZero既不灵活也不通用。他将其与使用局部敏感哈希函数的哈希表进行比较，通过无限的模拟，你可以用动作来映射棋盘的位置。
Chollet认为，当前的以任务为中心的智能观点是推进AGI的瓶颈所在。相反，我们应该采用Hernandez-Orallo的观点：
“人工智能是一门让机器完成它们从未见过、也没有事先准备好的任务的科学和工程技术。”
当人类接受不同的认知测试时，得到的结果是彼此相关的。这表明人类具有学习技能的基本元技能，即“g因子”(g-factor)。这些是Chollet认为评价AI需要衡量的能力，从Broad Generalization开始。
在II.2节， Chollet 正式阐述了他的中心思想：
“一个系统的智能是对其在一定任务范围内的技能获取效率的衡量，与先验、经验和泛化难度相关。”
下面是“技能获取效率”的概述。“Task”可以是国际象棋，“Situation”是一个棋盘位置，而“skill program”是一个固定的国际象棋引擎。可以将智能系统看作是不同任务的程序综合引擎。
Chollet使用算法信息论(Algorithmic Information Theory)来量化程序和交互：
“智能是学习者将自己的经验和先验知识转化为新技能的速度，这种新技能的价值在于不确定性和适应性。”
为了避免局部通用系统人为地“购买”特定任务的表现，Chollet将先验知识限制在发展科学理论中发现的“核心知识”：比如基础物理、算术、几何学和对意图的基本理解。
Chollet根据他概述的最佳实践ARC创建了一个数据集。该数据集模拟了IQ测试(流体智能)中的抽象和推理部分。
下面是几个例子：
ARC数据集包含400个训练任务和600个评估任务。
主要特点:
- 评估集中只有新的任务
- 高度抽象
- 类似于人类智商测试
- 每个任务有3个演示
- 固定/有限的训练数据
- 一组明确的先验条件
https://github.com/fchollet/ARC
向@fchollet致敬，感谢他为AGI的发展提出了清晰可行的建议。这是一篇必读论文！
