新智元报道
编辑：David 好困
【新智元导读】这几年，计算机顶会的论文接收率连续走低，不到20%都快成家常便饭了，难道真是「接受率越低，会议越顶」？
与大多数学科不同，在计算机科学领域，会议论文的分量比期刊论文分量更重。
有趣的是，现在的CS顶会们，似乎对「接收率」有一种近乎偏执的追求。
好像这个数字越低，自己就越厉害一样。
举个例子：
IJCAI的接收率，在2019年突破20%大关，达到了17.9%。并在次年以12.6%的接收率，刷新了最低纪录。此后的两年，接收率有所回升，分别为13.9%和15%（大约）。
对此，来自加利福尼亚大学伯克利分校的Edward Lee教授，在发表于ACM SIGBED博客上的一篇文章中指出，这种「有毒的文化」已经开始在CS领域蔓延了。
拒稿率越高，会议就越顶？
越来越多的人觉得，拒稿率越高，接收率越低，会议就越顶。
很多时候，我们已经把「低接收率」作为评价会议质量的一个重要指标，有时甚至是首要标准。许多顶会现在都以10%级别的低接收率为荣。
虽然适当控制论文接收率，可以避免一些「江湖骗子」广撒网式的投稿泛滥，但从文化上讲，这种以「多拒稿为荣」的文化，实际上助长了一种互相攻击的氛围。PC的目标已经变成了破坏，而不是发展。
接收率这么低，真的合理吗？
我所服务的会议并没有吸引很多江湖骗子的投稿。被拒掉多数论文都是认真的努力，需要大量的背景工作，往往是由最有前途的年轻人做的。
仅仅从我最近担任的一个PC来看，有一些专家评审认为 「写得很好......与会议主题高度相关的有趣主题」的论文，付出了 「了不起的努力」，但最后还是被拒了。
因为目前的审稿机制实际上是挑刺式审稿，即找到拒稿的理由，而不是找接收的理由。有时一个审稿人的一条负面评价，论文就被拒了。
一个最常用的拒稿理由是「不够新颖」 。
我们当然首先希望论文能够提供新信息，而不仅仅是过去研究的重复。但是，这个「新颖」的判定标准和使用方式有几个问题。
首先，我们中的许多人使用了实际已经过时的科学概念，即：把一个学科的进步视为新事实的增加。发文章的目的变成了将这些新事实「归档」，而不是用来启发、教育和告知社会。
在达尔文主张的进化过程中，大多数突变（新事物）都是有害的，不会在生态系统中持续存在。技术领域也是如此。大多数真正的新想法都是不好的，不会存活。那为什么要把追求「新意」作为最高目标？
恰恰相反，大多数好的想法在走向普及之前会被重新发明多次。需要反复强化，才能在文化中建立起来。而我们的审稿，却把它们扼杀掉了。
更糟的是，这种对「新颖」的追求，让我们几乎拒绝了所有的系统性论文，建立任何系统都需要整合大量的现有技术，而所有这些现有技术对审稿人来说都是熟悉的，并以「新颖不足」被拒掉。
对「新颖性」如此看重另一个原因是传统。过去，发表文章的成本很高，发表任何重复的东西，其代价就是要牺牲其他可发表的内容。但今天，发文章基本上是免费的。
另外，过去的知识学科规模小，共享一些业内公认的标准。现在的CS社区缺乏这样的普遍标准。有时候，在三名不熟悉现有技术的审稿人看来，一些论文是「有新意」的，实则不然。
强调新意的一个更站得住脚的理由是，审稿人不想浪费读者和参会者的时间，告诉他们已经知道的东西。然而，他们没意识到，对于大多数有新意的论文，他们甚至不想知道。想想看，如果我们接受有趣的论文而不是新颖的论文，现在的计算机学术会议会有多不一样。
第二个常用的拒稿理由是「显而易见」。
实际上，大多数好的想法在回想起来都是显而易见的，而我们在遇到这样的想法时，很难意识到刚刚已经学到了什么。我们的反应都是：「哦，是的，当然，的确如此」。却没有意识到一小时前，还根本没有想到这个点子。
我们偏爱深奥的、难以阅读的和晦涩的东西。如果一篇论文很容易读，就被认为是「显而易见」的，被接收的可能性很小。
另一个问题是内在的利益冲突，这种冲突一方面来自于低接收率，另一方面是因为许多审稿人和PC也要发论文，有其他额外的动机来拒掉手头审稿的论文，以提高他们自己论文被接受的机会。
双盲评审的一个重大缺陷是，审稿人掌握权力，但不用负责任。
如果你发过论文，肯定遇见过那些傲慢和错误的批评意见。但由于论文是提交给会议，而不是期刊，作者回应审稿人的机会是非常有限的。
有些会议在评审过程中有一个 「申辩」（Rebuttal）阶段，但据我的经验，大部分情况下这只是个摆设，很少能起到什么实际作用。
这种审稿中的「拒绝文化」产生了严重的不利影响。这个领域里有前途的年轻人被拒绝了一次又一次。如果他们顽强地坚持下去，也许多年后可以熬出头。但很多人选择了放弃，离开学术界或完全转了行。这不能不说是个悲剧。
现在的审稿机制，向作者提倡的是固执和坚持，而不是质量，而且越来越严重。
在经历了多轮拒稿后，年轻的研究人员最终成为PC，他们自然会产生这样的想法：我当年遭过的罪，要让现在这些作者都受一遍。这倡导的到底是学术审稿，还是学术欺凌？
退一步讲，压低接收率，对于投稿泛滥的现象真的能遏制吗？
目前的学术界奉行的是「不发表就毁灭」的文化，所有人都以尽可能多发论文为目标，会议接收率低，怎么办？改，改完继续投。
但通常情况下，被拒的论文作者不会就此放弃。论文会被修改、重新提交，直到被接受。因此，PC成员被要求在几天内审查大量论文，以至于根本无法很好地完成任务。拒掉大部分的论文，只会导致下一群PC有更多的论文要审。
我们该怎么做？
文化很难改变。但我们可以共同努力，寻找那些有趣的、有指导意义的、有用的或对我们社区有影响的论文。我们当然应该只发表高质量的论文，但今天，我们拒绝了许多高质量的论文。
有些在审稿制度上的新思路可以缓解一些问题。包括在接受或拒绝论文时公开审稿人的名字；将每篇投稿、审稿和作者的rebuttal存档；将审稿意见和rebuttal与论文一起发表。
上面的最后一项意见，可以在不影响大会论文质量的情况下，允许一些有小缺陷的论文发表。而对论文中潜在缺陷的讨论，也可以作为论文内容的一部分。
如果你在PC上任职，你应该认为匿名的作者是你的同事、博士生和朋友，而不是陌生人。双盲评审过程消除了过去可能影响我们评审的自然偏见，包括根据性别拒绝或接受来自「更好」机构的倾向。但我们已经用全面的拒绝倾向取代了这些偏见。
另外，作为审稿人，应该更谨慎地使用「不够新颖」作为拒稿理由。几乎没有什么有价值的东西是真正新的，许多好的想法需要反复强化才能流行起来。让我们关注论文对社区的贡献，而不是对事实「归档」的贡献。
作者介绍
Edward A. Lee从1986就开始在加利福尼亚大学伯克利分校任教，现在是UCB研究生院的教授以及Robert S. Pepper电气工程和计算机科学（EECS）的荣誉教授。
Lee教授是IEEE的研究员，曾获得1997年Frederick Emmons Terman工程教育奖，2016年IEEE实时系统技术委员会（TCRTS）的杰出技术成就和领导奖，2018年伯克利奖，2019年IEEE网络物理系统技术委员会（TCCPS）技术成就奖，以及2022年欧洲设计与自动化协会（EDAA）成就奖。
Lee教授的研究方向网络物理系统，该系统将物理动力学与软件和网络相结合。研究重点是使用确定性模型作为此类系统的工程工具包的核心部分。
2005-2008年，Lee教授曾担任加利福尼亚大学伯克利分校EE部门的主席，然后是EECS部门的主席。他领导开发了几个有影响力的开源软件包，特别是Ptolemy和Lingua Franca。
至今，Lee教授共计发表了数百篇论文和技术报告，在世界各地做了200多场主题演讲，著有7本书，并带出了40名博士。
Lee教授于1979年在耶鲁大学获得学士学位，主修计算机科学和工程及应用科学双学位，1981年在麻省理工学院获得EECS硕士学位，1986年在加州大学伯克利分校获得EECS博士学位。
Lee教授是BDTI公司的创始人之一，目前是该公司的高级技术顾问，并为其他一些公司提供咨询。此前，他曾在1979年到1982年之间，担任贝尔实验室先进数据通信实验室的技术员。
网友评论
对此，一位最近担任了接收率约为15%的顶会（不难猜到是哪个）的程序主席辩解称：
如果一个会议的目标不仅仅是为了「认证 」某些研究，而是鼓励发现和知识交流，以深化特定领域。这意味着不光是要选择好的东西，还要选择那些能与其他演讲/与会者/研究课题产生最佳共鸣的。
一个会议开始时可能没有很大的声望，但如果发表的论文开始产生影响，它便可以催化整个子领域的工作。有些会议就与「新颖性」挂钩——ACM学术会议；有些则与「渐进式进步」挂钩——安全领域的行业会议，如Usenix Security；有些与「最佳解释思路」挂钩——如Enigma。
一位自称在圈内很有名的网友，对上面那位PC的观点进行了驳斥。
他表示，自己写论文的目的是要看到它们被传播。顶会上接收/拒绝的过程，可谓是无稽之谈，毕竟有研究表明它基本就上是随机的。而且从评论就可以看出，有很多审稿人就没读过论文。而很多质量非常高的工作，也都会因此被砍掉。
这种通过低录取率来寻求声望的自负行为，让那些有更好的事情可做的人离开了，研究的传播也被放缓了。
另一位网友指出，可悲的是，审稿人「太长，不看」这种情况，是普遍存在的。
我们不得不经常向编辑呼吁：「审稿人说我们没有指出的问题，在第X节！给我们换一个审稿人吧」。
参考资料：
https://sigbed.org/2022/08/22/the-toxic-culture-of-rejection-in-computer-science/
