Pine 发自 凹非寺 量子位 | 公众号 QbitAI
就在今天，NeurIPS 2022杰出论文奖公布了！与它一同公布的还有数据集和测试基准（Datasets & Benchmarks）最佳论文奖以及时间测试奖。
NeurIPS 2022将于下周一在新奥尔良会议中心举行，为期两周，第一周线下进行，第二周线上进行。
杰出论文奖
对比去年，今年杰出论文的数量翻了一番，从去年的6篇变为今年的13篇。
在这些获奖研究中，有3项研究成果出自华人研究团队，其中有两项研究的团队成员均为华人。
当然，出现在获奖名单中的也肯定少不了今年大火的扩散模型，就比如说谷歌的Imagen就赫然在列。
Is Out-of-distribution Detection Learnable?
文章来自华人研究团队，提供了一个分布外样本（OOD）检测的理论研究，并重点探究了在什么条件下OOD检测模型是可学习的。
获奖理由：
提出了3个具体的不可能性定理，可以很容易地应用于实际环境中确定OOD检测的可行性，为现有的OOD检测方法提供了理论基础。
这项工作也提出了新的理论问题，例如，关于近OOD检测的学习性。因此，它在这一重要研究领域具有广泛的理论和实践影响的潜力。
论文地址：https://openreview.net/forum?id=sde_7ZzGXOE
Photorealistic Text-to-Image Diffusion Models with Deep Language Understanding
文章来自Google Research，介绍了Imagen，是一种使用扩散模型进行文本生成图像的方法。
获奖理由：
基于扩散过程的高质量图像生成模型在机器学习内外都产生了巨大的影响。
这项工作代表了这种模型的艺术状态之一，但也创新地展示了独立训练的大型语言模型与图像解码器在规模上的有效结合。
论文地址：https://openreview.net/forum?id=08Yk-n5l2Al
Elucidating the Design Space of Diffusion-Based Generative ModelsDownload
论文来自英伟达，关键词为：去噪扩散，图像生成等，研究将以前的扩散方法置于一个共同的框架之下，并提出对抽样和训练都普遍适用的改进，得出最先进的结果。
获奖理由：
这篇论文不仅列出了研究结果，而且将先前的研究组织成一个连贯的共同框架，进而改进新的模型。
研究的重点是包含某种形式的扩散过程的图像生成模型，这篇论文对扩散过程模型的理解和实现具有重要意义。
论文地址：https://openreview.net/forum?id=k7FuTOWMOc7
ProcTHOR: Large-Scale Embodied AI Using Procedural Generation
论文来自华盛顿大学和艾伦人工智能研究所，这项工作提供了一个框架，用于在大量数据上训练具体的AI代理。
这个框架的核心是一个引擎，用于构建程序生成、支持物理的环境，代理可以与之交互，引擎与提供的数字资产和环境控制相结合，可以生成大量不同的环境组合。
获奖理由：
作者证明这个框架可用于为多个具体化的AI任务训练SOTA模型。
并且这项工作中使用的框架和代码将是开源的，为研究社区提供了宝贵的资产。
论文地址：https://openreview.net/forum?id=4-bV1bi74M
Using natural language and program abstractions to instill human inductive biases in machines
论文来自普林斯顿大学神经科学研究所和DeepMind，展示了元学习主体如何通过与来自语言描述和程序归纳的表征共同训练来学习人类归纳偏置。
获奖理由：
在程序抽象和自然语言方面的联合训练能够将人的偏置融入到学习中。这是一种合并人为偏置的方法，但是对于抽象的程序也适用。
论文地址：https://openreview.net/forum?id=buXZ7nIqiwE
A Neural Corpus Indexer for Document Retrieval
来自微软、清华大学、北京大学等，研究人员均为华人，提出了神经语料库索引器（NCI），一种序列到序列的网络，直接为指定的查询生成相关的文档标识符。
获奖理由：
这个研究涉及到了一个规模不大但不断增长的研究领域，该领域脱离了主流的高记忆稀疏检索范式。
但值得注意的是，这种新的范式允许使用标准的深度学习算法和框架对目标应用程序的索引器进行基于梯度的优化。
文章中提出的方法引入了架构和训练选择，与以前的工作相比，这些选择带来了重大改进，表明了神经索引器作为一种可行替代方案的前景。
论文还讨论了此次研究的局限性和未解决的问题，对今后的研究有一定的启示作用。
论文地址：https://openreview.net/forum?id=fSfcEYQP_qc
High-dimensional limit theorems for SGD: Effective dynamics and critical scaling
论文来自纽约大学和加州大学等研究机构，文章研究了在高维区域具有连续步长的SGD的标度极限。它显示了如果步长很大，SGD是多么复杂，并且研究还找到了步长的临界缩放范围。
论文地址：https://openreview.net/forum?id=Q38D6xxrKHe
Gradient Descent: The Ultimate Optimizer
论文来自MIT，研究的对象是梯度下降法，关键词是超参数优化和自动微分。
获奖理由：
论文提出了一种方法来优化超参数，并递归优化超—超参数，从而降低梯度下降法对超参数的敏感性。
由于梯度下降法无处不在，因此这项研究的潜在影响是巨大的。
论文地址：https://openreview.net/forum?id=-Qp-3L-5ZdI
Riemannian Score-Based Generative Modelling
论文来自巴黎大学和牛津大学，关键词为扩散模型，生成模型和黎曼流形。
获奖理由：
本文通过识别影响基于分数的生成模型（SGM）成功的主要因素，将欧几里得空间中的SGM推广到黎曼流形。
这种方法既是一种新颖的贡献，也是一种在技术上有用的贡献。
论文地址：https://openreview.net/forum?id=oDRQGo8I7P
Gradient Estimation with Discrete Stein Operators
论文来自斯坦福大学，清华大学，DeepMind等，由华人团队主导，文章研究了分布离散时的梯度估计问题。
获奖理由：
大多数常见的梯度估计都存在过多的方差。为了提高梯度估计的质量，团队引入了一种基于Stein算子的离散分布方差缩减技术。
尽管Stein算子比较经典，但本文的工作为梯度估计提供了一个很好的解释，并且在实验中也显示出实际的改进。
论文地址：https://openreview.net/forum?id=I1mkUkaguP
An empirical analysis of compute-optimal large language model training
文章来自DeepMind，研究了在给定的计算预算下，用于训练transformer语言模型的最佳模型大小和token数。
获奖理由：
这项工作为在语言模型的背景下思考尺度的方式提供了新的启示，这可能对人工智能的其他领域也有帮助。
论文地址：https://openreview.net/forum?id=iBBcRUlOAPR
Beyond neural scaling laws: beating power law scaling via data pruning
来自斯坦福大学和Meta AI等研究机构。
获奖理由：
最近关于尺度定律的工作已经把数据质量看作是统一的，并且集中在计算和数据之间的关系上，这项工作使我们重新关注选择高质量数据的重要性。
它是通过一个精心设计的分析调查来完成的，该调查开发了一个关于数据质量影响的理论模型，与ImageNet上一系列数据过滤指标的经验实例相一致。
这项工作是有见地的和及时的，并将形成关于在机器学习规模的多个维度的权衡的辩论。
论文地址：https://openreview.net/forum?id=UmvSlP-PyV
On-Demand Sampling: Learning Optimally from Multiple Distributions
论文来自加州大学，研究团队利用随机零和博弈中最小-最大均衡的发现，给出了几个多分布学习问题的最优样本复杂性界限。
获奖理由：
研究利用随机零和博弈的方法研究了多重分布学习问题。
对于具有接近最优结果的问题，这种技术会产生非常有趣的理论结果。
论文地址：https://openreview.net/forum?id=FR289LMkmxZ
数据集和测试基准最佳论文奖
去年，NeurIPS新设了一个数据集和基准测试最佳论文奖项，以表彰在数据领域的工作。
今年，该领域的2篇最佳论文奖分别是：
LAION-5B: An open large-scale dataset for training next generation image-text models
研究语言视觉架构（如CLIP和DALL-E）的训练和能力需要包含数十亿图文对的数据集。到目前为止，还没有这种规模的数据集被公开提供给更广泛的研究团体。
而这篇论文介绍了LAION-5B数据集，该数据集由58.5亿个CLIP过滤的图像-文本对组成，旨在使大规模多模态模型的研究民主化。
此外，作者使用这些数据成功地复制了基础模型，如CLIP，GLIDE和Stable Diffusion，提供了几个最近邻指数，以及改进的Web界面和水印，NSFW和有害内容检测的检测分数。
论文地址：https://openreview.net/pdf?id=M3Y74vmsMcY
MineDojo: Building Open-Ended Embodied Agents with Internet-Scale Knowledge
自治代理在Atari游戏和围棋等专业领域取得了长足进步，但通常无法泛化到广泛的任务和功能。
这项工作介绍了MineDojo，这是一个基于流行的Minecraft游戏构建的新框架。
它具有一个模拟套件，其中包含数千种不同的开放式任务，以及一个包含 Minecraft 视频、教程、维基页面和论坛讨论的互联网规模知识库。
同时，它还提出了一种新颖的代理学习算法，能够解决以自由形式语言指定的各种开放式任务。并且提供了一个开源仿真套件、知识库、算法实现和预训练模型，以促进对具有通用能力的具体代理的研究。
论文地址：https://arxiv.org/abs/2206.08853
AlexNet获时间检验奖
时间检验奖，则颁给了图灵奖得主Hinton团队的AlexNet。
2012 年，AlexNet作为第一个在ImageNet挑战赛上接受训练的CNN被提出，远远超过了当时的最先进水平，此后它在机器学习社区产生了巨大的影响。
论文地址：https://proceedings.neurips.cc/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
值得一提的是，Hinton本人也将于12月4日星期四就这项研究和最近的研究发表受邀演讲。
原文地址： https://blog.neurips.cc/2022/11/21/announcing-the-neurips-2022-awards/
— 完 —
