作者 | 琰琰
11月9日，ICLR 2022公开了第一轮评审结果。根据Criteo AI Lab机器学习研究科学家Sergey Ivanov的统计分析，今年共收到有效提交3355篇，desk rejected30篇。
所有论文中，平均分在6分以上的有654篇，约占20%。按ICLR 2021最高录取率28.7%来算，平均分至少要到5.6分以上才可能被录取。
此外，ICLR 2022初审平均分最高为8分，有32篇，比去年多出了25篇。
每篇论文有3-4位评审者共同评分，单个评分达到10分的有39篇，其中一篇出自姚班毕业生，普林斯顿在读博士生李志远，整体评分为[8,6,8,10]，另外其他两篇拿到10分的论文，也都有最低6分的单个评分。
ICLR，全称为International Conference on Learning Representations（国际学习表征会议），2013年由两位深度学习大牛、图灵奖得主 Yoshua Bengio 和 Yann LeCun牵头创办。成立仅七年，ICLR已被学术研究者们广泛认可，被认为是“深度学习领域的顶级会议”。
第一轮评审结束后，作者与审稿人AC将进入Rebuttal环节，截至到11 月 22 日结束，并在22年1月24日公布最终录用结果。ICLR 2022（第十届）在明年 4 月 25 日至 29 日线上举行。
1
初审数据一览
以下是本次ICLR 2022提交论文关键词的词云图：深度学习、强化学习、表征学习、图神经网络等依然为最热门主题。
从排名数据来看，强化学习和深度学习的投稿数量要远超其他研究领域，例如对比学习、迁移学习的投稿数量不足强化学习的四分之一。另外在ICLR 2021 中比较火热的元学习（meta learning），过了一年后热度也有了明显的下降，今年排在了第12位。
在ICLR 20212中，3355篇论文共收到12981 条评论，每篇论文的评论大约在5个左右（平均值为4.917）。论文平均分在4.93分（去年是5.37分），大部分集中在4.2-5.8中间。
通过评论和关键字之间的频率分析，可以看出，要想最大限度地获得高分，最好使用诸如深度生成模型（deep generative models）或标准化流（normalizing flows）之类的关键字。
从晒出的评审列表来看，今年论文的最高平均分为8分，与去年的8.25分相比略低。不过，8分以上的论文有32篇，比去年多出了25篇，且32篇论文中有三篇单个评分达到了10分。
去年最高单个评分为9分，没有任何一篇平均分或单个评分达到10分，而今年总共有39篇。
- Score-Based Generative Modeling with Critically-Damped Langevin Diffusion，匿名提交状态
- What Happens after SGD Reaches Zero Loss? --A Mathematical Framework，第一作者是普林斯顿大学的zhiyuan Li
- Sampling with Mirrored Stein Operators，作者是英国微软研究院的Jiaxin Shi值得关注的是，其中一篇出自华人博士生zhiyuan Li，我是普林斯顿大学
另外，在3325篇有效提交中，7分以上平均分有156篇，6分以上有654篇，约占所有论文的20%。
去年ICLR 2021接收率为28.7%，前年ICLR 2020接受率为26.5%，如果按照这一趋势，目前达到6分以上的论文基本处于安全范围。
比较危险的5.6-6分这一档，总共有233篇。
如果ICLR 2022按照26.5%-28.7%接受率，中稿截至应该在列表881-954的位置，目前5.6分以上论文有886篇。
接下来经过rebuttal环节后，分数可能会发生很大的变化。去年第一轮评审结束后，有1836 名评审者更改了分数（总共 10271 名），整体分数上升了0.3。也就是说，大约 50% 的提交至少有一个分数发生了变化，而且大部分发生在rebuttal之后。
2
10篇争议性的评审
AI科技评论发现，在拿到满分评价的论文中，有一篇出自清华姚班毕业生、普林斯顿博士生李志远。
这篇论文由李志远与tianhao Wang, Sanjeev Arora合作完成，主要研究了随机梯度下降 (SGD) 的隐性偏差问题，论文整体评分为[8，6，8，10]。
给出10分强烈推荐的评审者认为，这项研究非常有价值，解决了机器学习处理有噪声标签的关键问题，并提供了超参数线性网络的有噪声标签SGD的最优性。
给出6分最低分的评审者，认为研究思路有创新，但一些模型假设、设置和主要结果需要更多详尽的解释。
值得注意的是，不是所有拿到满分的论文，整体评分都很高。一位网友根据按标准分爬取出了10篇最具争议的论文，这些论文的单个评分都相差比较大，既有满分评分，也有不足4分的低分。
link | mean | max | min | std | median |
|---|---|---|---|---|---|
Visual hyperacuity with moving sensor and recurrent neural computations | 视觉系统，卷积神经网络，循环神经网络，视觉感知 | 4.75 | 10 | 3 | 3.031089 |
Palette: Image-to-Image Diffusion Models | 机器学习、人工智能、计算机视觉 | 4.75 | 10 | 3 | 3.031089 |
White Paper Assistance: A Step Forward Beyond the Shortcut Learning | 捷径学习、偏差、分类、不平衡分类、鲁棒性 | 3.75 | 8 | 1 | 2.947457 |
Constructing a Good Behavior Basis for Transfer using Generalized Policy Updates | 强化学习、终身学习、迁移学习 | 6 | 10 | 3 | 2.94392 |
Universal Approximation Under Constraints is Possible with Transformers | Transformer 、几何深度学习、可测量最大定理、非仿射随机投影、最优传输。 | 7 | 10 | 3 | 2.94392 |
Learning Continuous Environment Fields via Implicit Functions | 连续场表示，隐式神经网络 | 5 | 8 | 1 | 2.94392 |
Mask and Understand: Evaluating the Importance of Parameters | 影响函数、可解释性、模型剪枝、特征重要性排序 | 4 | 8 | 1 | 2.94392 |
Efficient and Modular Implicit Differentiation | 隐式微分、双层优化、autodiff、jax | 6.333333 | 10 | 3 | 2.867442 |
Robust Robotic Control from Pixels using Contrastive Recurrent State-Space Models | 对比学习、基于模型的强化学习、干扰、预测编码 | 4.666667 | 8 | 1 | 2.867442 |
Information-Aware Time Series Meta-Contrastive Learning | 信息感知、时间序列、对比学习 | 6.333333 | 10 | 3 | 2.867442 |
Quantized sparse PCA for neural network weight compression | 模型压缩，神经网络量化，稀疏主成分分析，矢量量化 | 4.666667 | 8 | 1 | 2.867442 |
例如这篇与Transformer相关的论文《Universal Approximation Under Constraints is Possible with Transformers》，整体评分为[8,3,10]。给出3分的评审者认为，论文提供了严谨的理论基础，但实验论证不够充足，有很多无法理解的细节。
给出满分的评审者认为，这是一个值得称赞的工作，研究问题清晰，论证过程研究，既有理论支撑，文末也有附实验细节，而且研究方法具有足够的创新性。
3
ICLR 评审流程
ICLR 采用公开评审（Open Review ）机制。所有提交的论文都会公开，并且接受所有同行的评审及提问，任何学者都可或匿名或实名地评价论文。而在初审公开之后，论文作者也能够对论文进行调整和修改以及进行Rebuttal。以下是CLR2021 的评审流程如下图所示：
翻译下来，大概如下:
1、作者提交论文 | 5、程序主席分配论文给审稿人 | 9、审稿人作出终审 |
|---|---|---|
2、区域主席竞标论文 | 6、审稿人完成初审 | 10、区域主席作出论文Oral/poster等接收建议 |
3、程序主席分配论文 | 7、区域主席审阅评审质量 | 11、程序主席作出论文最终的接收决定 |
4、区域主席推荐审稿人，审稿人竞标论文 | 8、“互怼”（Rebuttal）阶段 |
ICLR 审稿一直吐槽与争议不断。此前，南京大学周志华教授曾曝出ICLR 2020有47%的审稿人从来没有在本领域发表过论文。开放评审的参与者应该都是水平相当的专家才有效，否则容易被误导，顶会能“顶”正是因为有高水平专家把关，但现在似乎不太可能了......
滑铁卢大学计算机系教授Gautam Kamath在推特上发文表示，自己的论文也投了ICLR，但是审稿人不具备专业知识，审核不了，直到截稿之前也审核完，而且不回复邮件，拒绝沟通......
引用链接：
https://openreview.net/group?id=ICLR.cc/2022/Conferencehttps://twitter.com/SergeyI49013776/status/1458018709847560193
https://github.com/kashif/ICLR2021-OpenReviewData/tree/iclr2022
https://github.com/VietTralala/ICLR2022-OpenReviewData/blob/master/analyze_reviews.ipynb
