作者 | 琰琰
编辑 | 青暮
11月7日,2021 EMNLP在多米尼加共和国蓬塔卡纳巴塞罗巴瓦罗会议中心开幕。本届大会由复旦大学计算机科学学院教授黄萱菁,伦敦帝国理工学院、谢菲尔德大学教授Lucia Specia,以及Facebook AI实验室科学家 Scott Wen-tau Yih担任程序主席。
EMNLP 是由国际语言学会(ACL)下属的 SIGDAT 小组主办的自然语言处理领域的顶级国际会议,在计算语言学类别下影响力排名全球第二。EMNLP 每年举办一次,由于疫情的关系从去年开始转为线上线下结合的形式举办。
前不久,EMNLP 官网博客提前公布了今年的论文获奖情况。在入选的7篇论文中,华人学者霸占3篇,其中剑桥大学博士生刘方宇、哥伦比亚大学博士生杨子小帆分别斩获最佳长、短论文;北大校友、谷歌科学家雷涛荣获杰出论文奖。
今日开幕上,几位程序主席介绍了EMNLP投稿趋势以及评审工作。EMNLP 2021收到有效投稿3717篇,接收论文840篇,总体接受率为23.3%,相比去年略有下降。Findings论文接收419篇,包括300篇长论文,119篇短论文。
其中,NLP 应用、机器学习、机器翻译与多语言等研究方向依然最热门,相关论文占比26.5%。
从地区分布来看,中国大陆投稿量最高达1137篇,接收论文合计331篇,略次于投稿量第二的美国(441篇)。排在第三名的是英国,投稿论文177篇,接收论文77篇,与中国两国相差悬殊。往后依次是德国、韩国和印度。
EMNLP 2021有3112名评审员和370名二级评审员参与论文评审工作,每篇论文至少有3名评审者共同评审。经过Rebuttal环节,12.3%的评审者提高了论文评分;7.6%的评审者降低了评审分数。
接受率为23.3%,中美两国投稿量最高
在开幕式上,复旦大学教授黄萱菁介绍了EMNLP 2021的论文投稿趋势。
EMNLP 2021共收到投稿4834篇,有效投稿3717篇,总接收论文840篇,比去年增加了88篇,接受率为23.3%。长、短论文接收数量也略有上升,其中长论文接收650篇,短论文190篇。
此外,Findings论文接收率为11.6%,包括300篇长论文,119篇短论文,比去年的520篇略有减少。
“Plus Findings”是EMNLP 2020新增的一种接收论文类型。这类论文符合可发表标准,但由于各种原因无法被会议所接收的论文,其衡量标准包括两项:
1、扩展了有关特定任务的SOTA水平的论文,但是对于EMNLP社区而言,没有新颖的见解或发现;
2、实验数据良好,提供了详尽的分析和发现过程,但使用的方法仍不够“新颖”;
具体可参见AI科技评论报道:EMNLP 2020 录取结果已出,听说你中的是Findings?
从接收率来看,近五年来EMNLP的论文接收率没有太大浮动,基本维持在24.6%-25.8之间。去年长、短论文的接收率均为历史最低,尤其是短论文接收率仅为16.6,今年这两项指标都有所回升,分别为23.3%和17.9%,这可能与Finding 评审机制有关。
此前EMNLP官方曾表示,Findings机制将使更多高质量短篇和长篇论文被接收。从数据来看,相比EMNLP 2020,今年ACL 和 EMNLP 会议的Findings论文接收率均有所增加。其中EMNLP 2021收到论文445篇,占有效投稿总量的12.4%,最终接收419篇,占比11.6%。
EMNLP接收论文的平均分都在3分以上,主要集中在3.50-3.83区间,大概有560篇以上。Findings论文只有少量论文不足3分,但也有4分以上的高分。
从研究方向上来看,NLP 应用、机器学习、机器翻译与多语言的投稿论文最多,合计占比26.5%。
其次是,信息提取(8%)、对话和交互(7%)和语义词汇(6.9%)。这六个方向近50%。最冷门的研究方向依然是语法、标签和伦理NLP,占比不超过2%。
从地区分布来看,中国大陆和美国投稿量最高均在1000篇以上,超过第三名800多篇。其中中国大陆接收论文207篇,Findings论文124篇,略低于美国。英国、德国、韩国紧随其后,分别位列第三四五名,接收论文总数最高77篇,最低33篇。
Rebuttal环节:19.9%评审者改了分数
EMNLP 2021评选出了236名区域主席,46名高级区域主席和3名程序主席。Lucia Specia在会上介绍了EMNLP 会议的评审过程:3112名评审员和370名二级评审员参与论文评审工作,每篇论文至少有3名评审者共同评审,每个评审者平均会受到3.5篇论文。
其中,超过80.4%的论文收到了评审者的回复。经过rebuttal环节,12.3%的评审者提高了论文评分,7.6%的评审者降低了评审分数。
伦理委员会成员(EC)包括2名主席和33名评审者,他们指派了203名评审者,对技术评审委员会提出的道德问题进行了调查。在技术评审委员会提出的61篇论文中,EC主席接受17篇为EMNLP论文;20篇为Findings论文。
此外,730篇提交论文接受了Sticky 评审,其中208篇被EMNLP会议接收,112篇被Findings论文接收,占比20.3%。
今年EMNLP 2021引入了滚动审稿机制(ACL Rolling Review,ARR),ARR机制要求投稿论文通过集中滚动审查,并提交至公共出版平台。经过SAC和PC共同决议,今年有17篇ARR论文被EMNLP接收。
开幕式最后,Scott Wen-tau Yih教授介绍称,EMNLP 2021 会议为期三天,巴伊兰大学计算机科学系教授.Ido Dagan,麻省理工学院副教授Evelina Fedorenko,查尔斯达尔文大学、加州大学伯克利分校教授Steven Bird将分别带来三场精彩的Keynote演讲。此外,会议开设了主会议、教程和研讨会,其中 5-6 场按主题组织的平行会议,会谈后可进行现场问答和互动讨论。
官网链接:https://2021.emnlp.org/