丰色 发自 凹非寺 量子位 报道 | 公众号 QbitAI
深度学习顶会ICLR 2022的投稿不久前已结束。
根据官网数据，本次一共收到了3407篇投稿，比去年多了400多篇。
此次投稿趋势又是如何？
中山大学的一位博士生为大家爬取了官方数据，做了一个简单分析。
从分析结果来看，投稿里霸占前三甲的关键词，分别为强化学习、深度学习和图神经网络。
但除了它们，本届ICLR中又有哪些关键词、技术较为突出呢？
下面详细看。
ICLR 2022投稿趋势
首先是按照论文关键字统计，出现频率最高的前50个keyword如下：
前四其实变化不大，依旧是强化学习、深度学习、图神经网络、表征学习。
变化较大的有：
对比学习 （contrastive learning），从去年的第15位前进到了第9。频率区间也从0-50前进到了50-75。
联邦学习，从去年的19位前进到了第7。
transformer，这可能是今年投稿增幅最明显的研究课题了。去年倒数（No.40），今年直接跃居第11位，离前10仅一步之遥。看来transformer是真的火爆。
而vision transformer则是今年新上榜(No.36)。
生成模型 （generative model）上升得也很急剧，48=>18。
其余变化也不小的还包括：
位居13位的计算机视觉，去年第24。 位居14位的持续学习 (continual learning)，去年第25。 位居17的机器学习，去年第27。 位居20的对抗训练 （adversarial training），去年31。 位居22的知识蒸馏（knowledge distillation），去年39，进步17位。 以及变化了14位的图像分类**， 42=>28。
另外，我们还捕捉到了也是才上榜的领域自适应（domain adaptation ），今年排到了27。
“有人欢喜有人忧”，今年元学习 （meta learning）掉的厉害，从去年的前十（No.6）已经跌到今年的21。
除此之外，还有NLP(16=>23)、少样本学习(13=>25)、深度强化学习(17=>26)以及GAN(30=>38)，这四位都下降了10名左右。
ps.与ICLR 2021投稿论文的对比数据来自下表(出自另一位GitHub用户):
△ ICLR 2021一共接受了2966篇投稿
前面说完了按关键字统计，下面是按标题，前50个常用标题关键字及其频率如下：
前10分别是：representation、reinforcement、graph、adversarial、training、data、transformer、optimization、efficient、image。
这个就不过多分析了，感兴趣的大家自己看看。
如何？整体趋势和大家的预期是否出入？
大概四个月的Open Review过后，ICLR 2022的入选结果就将于明年1月24日揭晓。
自己亲手试一试
最后，如果你也想自己亲自爬一爬，据GitHub上的介绍，可以这样做：
1、安装相应依赖
代码语言：javascript复制pip install wordcloud nltk pandas imageio selenium tqdm
2、下载用于语言处理NLTK包
代码语言：javascript复制import nltk
nltk.download('punkt')
nltk.download('averaged_perceptron_tagger')
nltk.download('wordnet')
nltk.download('stopwords')3、抓取数据（运行项目里的crawl_paperlist.py）
抓取3000 论文大约花半小时。
如果你调用webdriver.Edge(‘msedgedriver.exe’) 遇到了问题，作者顺便也给了参考解决方法：
然后将结果可视化做成表和词云图即可。
参考链接： https://github.com/EdisonLeeeee/ICLR2022-OpenReviewData
— 完 —
本文系网易新闻•网易号特色内容激励计划签约账号【量子位】原创内容，未经账号授权，禁止随意转载。
