机器之心发布
机器之心编辑部
机器之心《2020-2021 全球 AI 技术趋势发展报告》节选：顶会趋势（NeurIPS）分析。
2021 年伊始，机器之心发布《2020-2021 全球 AI 技术趋势发展报告》，基于顶会、论文及专利等公共数据、机器之心专业领域数据仓库，通过数据挖掘定位七大趋势性 AI 技术领域。
此外，该报告还邀请了近 100 位专家学者通过问卷调查，形成对这七大技术领域近年发展情况、成熟度与未来趋势的综合总结，并基于 2015-2020 年间的开源论文与专利语料，结合机器之心自有的新闻舆论以及模型最佳表现（SOTA）等相关数据库进行了探索性数据分析，并形成了用以帮助技术趋势判定的量化指标 Synced Indicator (SI)。
http://mpvideo.qpic.cn/0bf2maaagaaanqaie3qkibqfaygdanqaaaya.f10002.mp4?dis_k=5cc0c0399c2380a8161b00b34e51bedb&dis_t=1617086977&spec_id=MzA3MzI4MjgzMw==1617086977&vid=wxv_1706391539003768837&format_id=10002
为了方便从业者把握 AI 技术趋势，机器之心将持续刊载该该报告的节选内容，以下部分来自于报告第一章「顶会趋势（NeurIPS）分析」。
「 1-3 」趋势分析
1-3-1 论文热门主题
根据 NeurIPS 组委会博客的数据，今年论文涉及的主题非常广泛，在今年提交的论文中，关于算法以及深度学习的论文合计仍占据了近 50%，比去年略有下降。
应用方面的论文占比约 18%，同样比去年有约 2% 的小幅度下降。除此以外，强化学习与规划以及基础理论方面的论文各占比约 10%，与去年大体持平。而概率论和最优化各占比约 5% 左右，比去年都有 1 个百分点左右的下滑。与占比下降相对应的，神经认知科学相关论文以及数据挑战相关论文的占比均有所上升，此外特别值得一提的是今年大会新增了"机器学习社会方面"的研究主题分类，一次占据了 2020 年提交论文的近 5%。
图 1-3-1-1 NeurIPS 会议不同分类论文投稿比例对比。
从论文接受率的角度来看，基础理论方面的论文近三年来的接受率都很高，它同样是今年接受率最高的论文分类。而"数据、挑战、实现和软件"分类的论文去年接收率排在第三位，今年却是论文接收率最低的分类。整体来看所有论文分类的接收率均高于 10%，但最高的也只是勉强超过 30%，整体均维持在论文平均录取率 20% 左右。
图 1-3-1-2 NeurIPS 会议不同分类论文接收率对比。
根据对 NeurIPS 2020 收录论文的标题及摘要进行关键词的挖掘筛选，我们得出了 NeurIPS 2020 收录论文最相关的技术主题（下图），我们发现神经网络、机器学习、以及强化学习依然是最热门的研究主题，这与我们在发表论文作者相关数据情况的分析比较一致，本届会议上发表论文最多的学者也多是研究机器学习算法和强化学习方向的。半监督学习、对抗学习、表征学习以及在线学习这一系列新的学习范式的研究热度也比较高。
图 1-3-1-3 NeurIPS 论文相关技术主题。
具体模型方面，生成模型（Generative Model）相关研究论文的数量已经非常接近热度最高的深度神经网络。生成对抗网络（GAN）近年来热度虽有下降，但其相关的生成模型、对抗攻击以及 adversarial learning 等领域的研究热度却有上升。在数据挖掘结果中，集成模型（Ensemble）的方法也是热门的技术词汇，在传统模型突破空间达到瓶颈的情况下集成学习是一种尝试的方向。其中最值得关注的当属图神经网络，该模型近年来研究热度不断攀升，在 NeurIPS 2020 接收的论文里涵盖的主题也十分广泛，包括与不同learning 范式的组合以及特定的 GNN 改进等，其中，图卷积神经网络是目前最流行的图神经网络。有关优化方面的论文也占有一定的篇幅，如贝叶斯优化、凸优化、非凸优化、策略优化、其他优化等。另外，本届 NeurIPS 中收录的关于 federal learning 的论文有二十多篇，涵盖计算机视觉、自然语言处理、数据挖掘、machine learning、安全与隐私、分布式系统、移动通信等领域，是一个热门的研究方向，并且可能会随着通信技术与物联网技术的发展而越来越受关注。
具体技术任务方面，游戏博弈 (Game) 作为 RL 的主要研究任务排名靠前，而计算机视觉领域的图像分类和物体识别热度也较自然语言处理相关任务更高。在自然语言处理方面，"注意力机制"、"Transformer"、"BERT"，以及"预训练"等是较热门的主题。除此之外，数据增强（Data Augmentation）这一技术任务的研究也非常引人注意，体现了数据在神经网络相关研究方面的重要性，在数据需求越来越高的今天成为该领域寻求突破的主要方向之一。另外还能看到自动化机器学习相关的"神经结构搜索 (NAS)"，无监督 learning 相关的"Few-shot"，以及神经网络领域绕不开的"模型可解释性"等热点方向。
1-3-2 知名机构关注论文主题
中国知名企业情况
表 1-3.2-1 中国知名企业被录取论文数量。
中国知名企业里，在 NeurIPS 上发表论文数量最多的是阿里巴巴和华为，各有 23 篇相关论文，"BAT"里的腾讯也有 21篇相关论文，而百度在这方面的投入并不太多，仅有 5 篇相关论文，与京东齐平，少于新兴科技独角兽字节跳动的 6 篇。
在具体的论文相关主题方面，阿里巴巴（不含蚂蚁金服）被接收的 23 篇论文里围绕最优化算法的研究最多，具体的讨论主题包括随机梯度优化、策略梯度优化以及超参数优化等。《Hard Example Generation by Texture Synthesis for Cross- domain Shape Similarity Learning》以及《Neuron-level Structured Pruning using Polarization Regularizer》两篇是阿里巴巴学者作为一作发表的论文。在新兴领域中，阿里还在"图神经网络"、"领域自适应"以及"少样本学习"的研究中均有所涉猎。
与阿里共同占据录取论文数量第一位的华为则相对侧重具体的模型优化方法，包括自动化机器学习相关的神经架构搜索， 模型压缩相关的模型蒸馏，以及提高模型推理效率的神经网络剪枝等主题。相比阿里，华为有更多以一作身份发表的论文（8篇），包括其年初提出的可以自适应训练宽度和深度动态 BERT 模型 DynaBERT（DynaBERT: Dynamic BERT with Adaptive Width and Depth） 以及轻量级网络模型 TinyNet（Model Rubik's Cube: Twisting Resolution, Depth and Width for TinyNets），其他华为论文相关的主题还包括回归问题、强化学习、半监督学习等。
腾讯被接收论文为 21 篇，区别于阿里和华为的是没有呈现出明显的研究偏好，整体研究涉猎较广，包括对抗学习、注意力机制、自编码器和强化学习等领域。其作为一作发表的论文共三篇，均是当下较为热门的研究主题，《Towards Playing Full MOBA Games with Deep Reinforcement Learning》主要研究深度强化学习在完整 MOBA 游戏中更进一步的实践；《Self-Supervised Graph Transformer on Large-Scale Molecular Data》研究大规模分子数据上自监督学习图transformer 的应用；《CodeCMR: Cross-Modal Retrieval For Function-Level Binary Source Code Matching》提出基于跨模态检索的二进制代码与源码的端到端匹配算法，聚焦解决二进制安全问题。
字节跳动被接收论文中有一半是自身作为一作发表的，研究问题集中于对抗学习，以及视觉领域的图像修复、实例分割等。值得注意的是，字节跳动还有一篇关于 COVID-19 的论文《The Devil is in the Detail: A Framework for Macroscopic Prediction via Microscopic Models》，该论文基于 COVID-19 数据使用围观模型进行宏观预测。百度和京东的研究内容则多是在小领域内深耕，如百度的稀疏学习、发声物体定位、判别分析，京东的 3D 点云估计、CTR 预测、度量学习、贝叶斯学习等。
中国知名高校情况
表 1-3-2-2 中国知名高校被录取论文数量。
国内高校中，清华大学被 NeurIPS 2020 接收的论文最多，高达 66 文。其研究重心与阿里有些许相似，整体侧重于最优化方法和强化学习方面的研究。值得注意的是，清华在图结构神经网络方面的论文占比也非常高（6 篇以上），除此之外， 清华发表论文的研究主题还在对抗学习、知识表征、目标检测等领域有一定的集中。北大与上交被收录的论文总数在清华的一半左右，但两者同样有相当数量的论文聚焦图神经网络（北大 4 篇以上，上交 3 篇以上）。此外这两家高校的录取论文里也有较多关于强化学习和无监督学习的研究。
海外知名企业情况
表 1-3-2-3 海外知名企业被录取论文数量。
谷歌被接收的论文不仅在海外名企中占据榜首，在所有机构的排名中也是高居首位。其研究主题包括强化学习，图神经网络、最优化理论（策略梯度）、模型优化、数据增强以及多种新型的学习范式（如元学习、在线学习，对抗学习、以及多组织 学习）等。微软的研究方向除了强化学习和最优化方法外，图神经网络和对抗学习的出现频率也较高。DeepMind 依然专注研究强化学习，其中多臂老虎机似乎成为其今年论文里有较多研究的强化学习技术任务；Deepmind 在强化学习方面的研究也多更为深入，体现在有较多强化学习与各种模型和其他学习范式的融合，如强化学习和图神经网络的结合《Reward Propagation Using Graph Convolutional Networks》以及与元学习的结合《Meta-Gradient Reinforcement Learning with an Objective Discovered Online》等。Facebook 方面，似乎非常重视贝叶斯优化方法，与之直接相关的论文有 6 篇之多。除此以外，其研究多结合自身实际应用，在语音和视频领域有着更多的侧重，如语音类的《wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations》、《The Hateful Memes Challenge: Detecting Hate Speech in Multimodal Memes 》 以 及 视 频 类 的 《 COBE: Contextualized Object Embeddings from Narrated Instructional Video》、《Hierarchical Patch VAE-GAN: Generating Diverse Videos from a Single Sample》等。整体而言， 较为受国外各大企业关注的研究技术主题主要是强化学习、最优化算法、模型训练、图神经网络、对抗网络，以及数据增强等。
海外知名高校情况
表 1-3-2-4 海外知名高校被录取论文数量。
相比企业，海外高校被接收的论文数总体而言数量较多。MIT 在今年的 NeurIPS 上收获最多，共有 112 篇论文被接收。其研究重点与主流趋势相似，以强化学习、对抗学习和最优化理论为主。总体而言，MIT 在偏向应用的技术任务领域（如模型优化、语音、视觉等）的论文较少，其研究更多集中在模型背后的算法和数学原理。另外值得注意的是，MIT 在其他机构较少涉猎的前沿领域 - 联邦学习方面有着相对集中的研究论文发表（4 篇以上），这在高校分类中尤为罕见。
UCLA 与 Stanford 的被接收的论文数量也均达到百篇以上，研究重点同样集中在强化学习和最优化理论的基础上。UCLA的论文相比 MIT 有着更多应用层面的研究， 如机器人技术相关的《Deep Imitation Learningfor Bimanual Robotic Manipulation》、COVID分 析 论 文《When and How to Lift the Lockdown? Global COVID-19 ScenarioAnalysis and Policy Assessment using Compartmental GaussianProcesses》、以及文本生成类的《Learning Sparse Prototypes for Text Generation》等。Stanford 则对强化学习框架下的多臂老虎机、奖励机制等具体任务和元素进行了比较细致的研究， 在图神经网络方面有着丰富的研究成果，有 10 多篇的相关论文，甚至与哈佛、微软等机构联合推出了开放图机器学习方面的基准数据集 OGB《OpenGraph Benchmark: Datasets for Machine Learningon Graphs》，数据达百万量级以上。
整体而言，较为受国外各大高校关注的研究技术主题主要包括神经网络、图学习、强化学习、最优化算法等。
1-3-3 报告相关热门技术
基于本篇技术趋势报告"机器之心分析"部分中的分类逻辑，NeurIPS 2020 收录论文主题分布如下图所示，大会相关论文主要是围绕"机器学习"这一技术领域分类的。在其他技术领域分类中，计算机视觉和人类语言技术两大 AI 主要技术任务合计占比约 30%，而机器人与自动化技术任务以及 AI 相关的基础设施、数据智能以及前沿智能技术合计仅占约 5% 左右的论文份额。
图 1-3-3-1 NeurIPS 2020 收录论文主题分布。
在机器学习技术领域内，除深度学习、机器学习这两个常用技术词之外，强化学习是研究热度最高的技术方法。生成对抗网络相关各技术的研究热度也基本能够位列前 10，除此之外进入前十的还有主流的神经网络模型优化方法梯度下降，受诸多影响力背书、可能是未来深度学习主要发展方向的无监督学习，以及近年来在各领域研究热度均越来越高的图神经网络。
图 1-3-3-2 NeurIPS 2020 收录论文机器学习子领域主题分布。
计算机视觉领域是热度排名第二的领域，本届 NeurIPS 计算机视觉领域的论文技术热词为 3D、图像分类、目标检测以及语义分割等，点云也是热门的技术方法，除此之外，图像生成、视觉问答等多模态的领域论文也有一定的覆盖。在人类语言技术中，热门技术还是离不开注意力机制、预训练模型、Transformer、BERT 等，技术任务方面主要涉及文本摘要、机器翻译、文本生成等。推荐系统、异常检测则是数据智能技术领域内最热门的相关技术。
1-3-4 趋势小结
总体来说，NeurIPS 还是围绕神经网络、机器学习算法为主的学术顶会，虽然近年来逐渐成为人工智能领域的标杆，但会议接收论文仍然以算法提升为主，技术应用为辅，也因此最优化算法相关的研究在本届会议上的相关论文数量非常多。除了传统的神经网络、机器学习以及基础的最优化算法之外，强化学习是本届 NeurIPS 2020 最热门的主题，从论文接收总数较高的机构和作者来看，无论是国内外的企业还是高校，强化学习都是其比较重要的研究方向。与此同时，图神经网络的研究有明显的兴起趋势，并且已经开始从学术界向企业界迁移，图神经网络无论是在算法研究还是前沿应用方面都有很多高质量的研究成果与产出。
