机器之心报道
参与：路、贾伟
前天，一篇 ICLR 2019 的接收论文引发了热烈讨论。该论文的匿名评审结果是 4，4，3，三位评审全都给出了 rejection 的决定。然而，领域主席「力排众议」，对这篇论文给出了 Accept (Poster) 的决定……网友对这件事的不满主要集中在这三个方面：作者泄露了个人信息，违反了双盲规定；论文写作风格草率；作者对匿名评审人员的回复言论语气恶劣。
刚刚，ICLR 2019 大会官方回复了这一事件。
我们说明一下评审过程中的内部信息。rebuttal and discussion period 持续了 3 周，期间我们通过电子邮件与大约 80 位领域主席讨论 ICLR 2019 的论文接收决定。这些讨论旨在确保论文接收与否的决定能够真正基于领域专家的意见。
就本案例而言，作为该领域公认专家的领域主席（AC）认为这项研究被严重低估了，因此为其做出了辩护。理想情况下，领域主席应该与审稿人进行充分讨论；但这里，讨论没有得到充分进行。
鉴于审稿人人数众多、水平各异，因此在领域主席认为有必要进行干预时，我们将采用遵从领域主席意见的方式。大多数情况下，这会让讨论更充分且最终能达成共识。不过这里我们看到了私下讨论的一个失败案例。
就文章匿名问题，我们务实地决定不直接将没有匿名的论文自动拒绝，而是在被举报时让作者尽早修改。从本案例来看，这种机制显然存在问题；但据我们所知，本案例中没有证据表明 AC 受此影响。
从这个回复中我们可以看到，ICLR 评审制度存在以下几点问题：1）评审人员水平参差不齐；2）由此导致 AC 权力过大；3）「私下讨论」因人而异，并未制度化，可能带来隐患；4）未严格执行「匿名性」。
近期各大机器学习顶会论文投递数量暴涨，导致论文数量增多与合格论文评审人员数量不足之间的矛盾。ICLR 的评审制度对此采取的措施是「优先遵从领域主席意见」，在匿名评审与领域主席观点不一致时，允许私下讨论。在这一案例中，我们可以清楚地看到私下讨论未必都能成功。在之前的 reddit 讨论中，一位 ICLR 2019 评审人表示：「是有私下讨论的，不过不是必须。作者/评审/主席可以选择是否公开信息。」
我们目前对 ICLR 的「私下讨论」环节并不了解，由谁发起、讨论记录是否公开或至少提交给 ICLR 程序委员会、讨论过程中是否有可能出现「学术欺凌」，这些都是值得关注的问题。
之前曾有多位学术大牛表示：junior 会比较严格，因为某些细节不足而打低分，有可能忽视某项工作的真正创造性；而 senior 会比较宽松，看到真正的闪光点。这种情况是会存在的，但遵从某一个人的意见也有可能出现偏差。因此在意见不统一的时候，充分的讨论是必要的，而如何保证讨论的公平公开，从而保证论文接收决定的公平性，这值得我们思考。
此外，ICLR 官方回复称」在本案例中没有证据表明 AC 受匿名问题影响」，但这似乎并不代表」匿名问题」在其他案例中不存在问题。「双盲评审」却不能保证严格的「双盲」，这事实上是对「学术不诚实」行为开放的一个秘密通道。
我们期望学术界出现更多创新性研究，期望论文评审制度更加完备，期望学术公平。
