重磅！剑桥2020《AI全景报告》出炉，近三成在美顶尖AI人才有中国教育背景

新智元报道

编辑：直子、小匀

【新智元导读】近日，剑桥2020年度《AI全景报告》重磅出炉，全方位总结过去一年来AI领域的研究成果与突破、人才形势、产业动态等，并作出未来预测。报告显示，在美国工作的顶尖AI人才中，27%有中国教育背景。

国庆节期间，剑桥大学的两位研究人员Nathan Benaich 和 Ian Hogarth 推出了一年一度的2020 AI 全景报告（State of AI Report）。

和往年相似，本报告依旧从产业、人才、政策、预测等方面对过去一年来AI领域的技术的新进步、产业格局的新变化、政府政策的新特点等方面进行了总结，并作出关于未来的预测。

AI研究与技术：只有15%论文会公开代码，PyTorch比TensorFlow受欢迎

AI研究没有想象中那么开放。只有15%的论文会开源他们的代码。

研究论文代码的发布对于AI相关的问责，可复制性和推动进步至关重要。

自2016年中以来，这一指标几乎没有改善。一般来讲，学术团体比行业团体更可能发布其代码。尚未发布所有代码的著名组织包括OpenAl和DeepMind。对于大型科技公司，其代码通常与其私有的基础结构交织在一起。

Facebook的PyTorch在研究论文中的使用迅速超过Google的TensorFlow。

在提及使用框架的会议论文（占比20-35%）中，有75％引用了PyTorch，但没有提到TensorFIow。同时，作者观察到TensorFlow，Caffe和Caffe2仍然是AI研究的主力军。

在GitHub上的论文实现中，PyTorch也比TensorFlow受欢迎。其中，47％的论文实现基于PyTorch，而TensorFIow为18％。PyTorch提供更大的灵活性和动态计算图，使实验变得更加容易。JAX是个对数学更友好的Google出品框架，通常在卷积模型和transformer之外的工作中受到青睐。

NLP模型：十亿参数俱乐部

报告分析了当今最火的NLP模型的趋势。

对于NLP模型来讲，性能提高显然需要更大的模型，数据集和更高的计算预算。

根据Google公布的数据，每1000个参数平均需要花费1美元。这意味着OpenAI训练1750亿参数的GPT-3可能要花费数千万的训练费用。专家推测可能的预算会超过1000万美元。

报告指出，如果没有重大突破，将ImageNet错误率从11.5％降至1％会需要数千亿美元！许多从业者认为ML成熟领域的进展目前有些停滞不前。

新一代的transformer语言模型正在解锁新的NLP用例。GPT-3，T5，BART正在极大地改善用于文本到文本任务（例如翻译，文本摘要，文本生成，文本到代码）的transformer模型的性能。

此外，2019年，NLP全新基准SuperGLUE正式发布。十多个团队在GLUE基准测试中超过人类。

SuperGLUE之后会是什么？

多任务语言理解挑战测试涵盖57项任务，包括数学，美国历史，法律等，以全面测试世界知识和解决问题的能力。GPT-3仍然存在巨大的知识空白。

生物学的「AI时刻」

生物研究正在经历「AI时刻」：仅2020年，就有超过21,000篇相关论文发表。自2017年以来，涉及AI方法（例如深度学习，NLP，计算机视觉，RL）的出版物同比增长超过50％。

大型标记数据集带来巨大的潜力，丰富了健康和疾病相关的新生物学知识。

从物理对象识别到「细胞绘画」：通过图像解码生物学

联邦学习

联邦学习在2016年由Google发起，目前正在蓬勃发展。从2018年到2019年，提及联邦学习的论文数量几乎增长了5倍。2020年上半年发表的相关论文数量超过了2019年全年的数量。

AI人才：教授从高校流向科技公司，27%在美顶尖AI人才来自中国

近些年来，科技公司对人工智能教授的需求在上涨。

2004年至2018年间，谷歌、DeepMind、亚马逊和微软从美国大学聘请了52名终身教授，相应地，卡内基梅隆大学、华盛顿大学和伯克利大学有38位教授离任。但值得注意的是，2004年的时候还没有一位人工智能教授离开，而仅2018年就有41位人工智能教授选择离开。

当然，老教授的离开可能会为年轻的学术人才腾出晋升的阶梯。而与此同时，也有一些学者并不买账。

教授离开造成学术毕业创作能力下降

包括Facebook在内的一些公司，他们利用学术/行业的双重合作机制挖取人财，这对高校有什么影响？

根据报告，人工智能教授的流失对高校来说很重要，在美国69所大学中，毕业生创业能力下降与教授的离职有关。一般来说，人工智能终身教授离职4-6年后，毕业生创办人工智能公司的可能性降低了4% ；但这种并不适用于教授在学生毕业前1-3年就离开的情况，这表明教授和学生之间的互动很重要；但人工智能教授的离职与同一所大学的毕业生成立非AI公司之间也没有显著的相关性。

1亿欧元能否为「买」到50位教授?

很多高校都是大力投资AI人才以及学科建设。

例如，荷兰的埃因霍芬理工大学(TUE)已承诺在5年内投入1亿欧元，创建一家专注于在机器人和自动驾驶汽车等机器上使用智能算法的新研究所。

TUE在QS世界大学2021年排名中排名第120位

银湖(Silver Lake)创始人捐赠1亿美元，在东北大学(Northeastern University)创建鲁克斯研究所(Roux Institute)，这是一家专注于应用于数字和生命科学的人工智能的新研究生学院。将在应用分析、计算机科学、数据科学、数据可视化和机器学习，以及生物信息学、生物技术、基因组学、健康数据分析和精准医疗等领域进行发展。