大会|论文审稿意见太奇葩？NeurIPS 2021：把它曝光出来给人看_审核|论文|评审|NeurIPS|意见|

机器之心报道
编辑：泽南、小舟

江湖上出现过各种「荒谬」的拒稿理由，但以后审稿人在说出口之前可要掂量掂量了。

文章图片

「审稿随意，打分随缘，给出的意见看起来不像是了解本领域的」、「审稿人让我对比还没有发布的论文」每次机器学习顶会的论文接收结果出炉之后，我们都会在社交网络上见到研究者们吐槽奇葩审稿意见的声音。
因为 AI 领域的火热、顶会论文提交量的暴涨，论文投稿和审稿之间的矛盾正显得愈发突出。

文章图片

【大会|论文审稿意见太奇葩？NeurIPS 2021：把它曝光出来给人看】在知乎问题「如何评价 NeurIPS 2020 的审稿质量和论文接收结果？」下，一个匿名的回答。
在过去的五年内，大型 AI 会议的投稿量增长了三倍不止，也给主办机构带来了不小的压力。人工智能顶会 NeurIPS 2020 收到了 9000 多份有效投稿，比上一年增长了 40% 。组织者不得不将 3 万多个审稿任务分派给约 7000 位审稿人。 NeurIPS 2020 大会主席 Marc’Aurelio Ranzato 曾表示：「这非常累，压力很大。」
论文提交数量的激增，对同行评审的质量提出了挑战，因为称职审稿人显然要比投稿的增长数量少很多。
随之而来的就是在面临「审稿 deadline」时，评审意见数量在短时间内的爆发。在 NeurIPS 2020 中，一个审稿人最多可能需要对六篇论文提供审稿意见。有人表示这可能意味着，有些人会在最后的四个小时内提交完六篇文章的 review 。「他大概得学过量子波动速读，才能写出高质量的 review 。」

文章图片

为了避免好论文被错杀，最近机器学习领域里最负盛名的大会 NeurIPS 除了用 AI 分配审稿人以外，又想出了好办法：让被拒论文的作者多了一个选项，可以把评审意见和论文一同被公开出来。
被拒论文作者的「反击」机会
每一年， NeurIPS 大会都会对组织作出新的调整。今年即将在 12 月举行的大会，审稿阶段的新修改是公开了审核流程。
首先最重要的是，大会的全部审稿流程已经转移到了 OpenReview 上了。这是一个灵活的论文审核平台，可以进行大量的自定义，并且可以根据会议需求的发展快速进行调整。它带来了许多基础方面的改进，包括可以自我管理的用户历史信息，利益冲突声明中的责任制以及程序委员之间交互方式的改进。
和往年一样的是，论文的审稿过程仍遵循保密原则。审核过程中提交的内容仅对指定的程序委员会成员显示， NeurIPS 不会在这一过程中接受公开意见。在通知截止日期之后，被接收的论文将被公开在网站上，并接受非匿名公众评论。匿名的评审意见、对评审意见的意见和作者的回复都将被公开。不过在评审过程和评审之后，所有的审核者内部讨论不会被公开。
以上看起来和之前使用 OpenReview 系统的机器学习会议没什么两样，重点来了：在默认的情况下，被拒绝的投稿不会被公开。但在 NeurIPS 2021 上，被拒论文的作者可以在通知截止日期后的两周内选择公开其匿名化的论文，并在 OpenReview 中公开发表评论。
在被公开的论文之下，系统同样也会把审稿意见、作者的讨论等内容全都一并曝光出来。大会方面表示，尽管现在我们还是无法利用开放审稿系统的全部好处，但新政策确实可以给论文作者们提供一个可以公开显示，并反击论文评审中存在问题的机会。
「我们认为这是最好的折中方案，因为它还可以让初级研究人员避免因为有害的公共批评而遭受打击，」NeurIPS 2021 大会的程序主席们在博客中写道。
在以往的会议中，有时研究人员会抱怨在 rebuttal 阶段领域主席未对作者提出的辩解给出任何实质性意见，也不会对误解做出解释。现在这类问题有了新的解决渠道，利益相关者看起来可以继续讨论，外界也可以参与进来。
根据 NeurIPS 2020 试验的结果，如果经过完整的审稿流程，大约有 6% 的直接拒稿（desk rejection）论文可能会被接收。因此， NeurIPS 2021 今年决定取消 desk rejection 。但如果论文违反页数限制或其他提交要求，仍可能会被拒稿，无需经过审核。
为了最大程度地减少审稿过程中的偏见和误解， NeurIPS 2021 组委会将在提交初审和作者反馈后允许作者与审稿人进行「滚动讨论」。在滚动讨论阶段，作者可以回答审稿人提出的问题。为了让作者在回答之前能够仔细分析审稿意见，在讨论开始之前，还将划定一个反应阶段。如果出现新的审稿意见，作者也能在讨论阶段及时回复。

文章图片

为了阻止没有实质性修改的重复提交，大会要求论文作者声明论文不是此前任何其他同行评审过程的拒稿。和去年一样，重复提交的作者必须提交一份描述新更改的文档。在机器学习社区，有一些证据表明：审稿中存在「重复提交偏见」。
在一项面向新晋审稿人的调查中，审稿人给标有「重复提交」的论文评分较低。另一方面， COLT 2019 允许将提交给 STOC 的论文同时提交给 COLT ，如果论文已被其中一个会议接收，就从另一会议撤回。尽管 STOC 和 COLT 的审稿人共享了这些提交论文，但并没有证据表明存在「重复提交偏见」。为了大规模评估「重复提交偏见」， NeurIPS 2021 将随机从提交论文中选择一部分，只有这部分论文的重复提交信息对审稿人和区域主席可见。
当然，审核过程的成功取决于审核的质量和 NeurIPS 社区的努力工作。根据以往经验， NeurIPS 的论文提交数量每年以约 40% 的速度增长。到 2020 年，论文提交量超过了 9400 篇。考虑到 ICML 2021（约 10%）和 ICLR 2021（约 15%）的增长， NeurIPS 组委会正在为可能的 12,000 篇提交量做准备。
没有专职审稿人、区域主席和高级区域主席的工作，会议将无法继续进行，这些角色至关重要。为了帮助培训 NeurIPS 社区的新晋审稿人， NeurIPS 组委会还在准备编写审稿教程。
ACL：论文投稿太多，我们不如每月循环审
让审稿意见公开化，给了论文作者们一个申诉的新机会，但如果我是想大改论文怎么办？有的机器学习会议今年还引入了更为动态的方式：滚动审稿。
国际计算语言学协会 ACL 就介绍了自己的新机制 ACL Rolling Review ，它适用于所有 ACL 系列会议和 Workshop 的投稿与审稿流程。 ARR 将在今年 11 月 7 日举行的 EMNLP 2021 大会上首次得到应用。

文章图片

具体来说， EMNLP 2021 现在会通过两步过程完成对论文的审阅和接收：
第一步，集中式滚动审阅：论文被提交到的是每月的统一论文池中（类似于 TACL），评审者是动态变化的，同时也允许论文进行修改和重复提交。
第二步，会议论文的发表：当会议、Workshop、期刊的提交机会到来时，作者可以将已被审阅的论文提交给会议、研讨会或期刊以供发表。程序主席（有时也包含高级程序主席）会接收其中的一部分论文并最终将其公开发表。
对于审稿人来说，在每个月截稿后 7 天左右的时间里，每个审稿人将最多收到 3 篇论文，他们需要立即检查论文是否存在利益冲突（COI），随后需要在 30 天内完成审稿。
会方表示，这样的论文审核方式可以大幅提升审稿效率，降低审稿人在 deadline 以前的压力，减少规避盲审过程的投机方法，提升被接收论文的质量，同时显著降低审稿活动的组织成本。
不知在新的机制下，大会论文的接收率是否会出现显著变化。
参考内容：
https://neuripsconf.medium.com/neurips-2021-changes-to-the-review-process-909e797580cf
https://www.aclweb.org/adminwiki/index.php?title=ACL_Rolling_Review_Proposal
https://www.zhihu.com/question/412386603