机器之心整理
机器之心编辑部
公平的审稿、有效的Rebuttal、先发arXiv有优势，这是NeurIPS的审稿大招；个官方演讲视频、70页研究者参会笔记，这是NeurIPS的「在线参会」福利。盛大的NeurIPS刚刚落幕。今年，NeurIPS官方总结了大会达投稿情况，并介绍了评审委员会在保证投稿质量、完善投稿机制上的种种探索。与此同时，今年NeurIPS官方也提供了演讲视频集，很多研究者分享了他们的参会笔记。
在本文中，我们将回顾NeurIPS最为主要的五大模块：论文提交与接收基本情况、限制投稿量的实验、审稿质量统计、官方出品的演讲视频合集，以及一份干货满满的70页大会笔记。
因为文章较长，我们可以先概览这些重要结论：
算法、深度学习、应用是最热的投稿关键词，但水论文也多。
发表在arXiv上的论文接收率更高，是未发表在arXiv上的文章的两倍。
今年大会测试了几项减少被审论文数量的措施，但减少的论文数都非常有限，还有可能错过好论文。
1/3的论文被其参考文献中引用的大牛审到，这些大牛给出的意见置信度也较高。
吐槽NeurIPS给的评审意见太短？统计数据表明：意见长短符合正态分布，和其他大会没有多大差别。
Rebuttal真的管用：20%的论文初始分数得以修改，一半左右的投稿至少改变了一个分数。
官方视频集很重要，你可以找到各种杰出论文解读、教程和研讨会。
布朗大学博士生DavidAbel的70页大会笔记干货满满，结构清晰，非常值得收藏，每一条笔记都记录了研究背景、主要思想和结论等关键内容（链接我们已经放在最后了，记得收好）。
论文提交、接收基本情况
在过去的五年中，NeurIPS的投稿量翻了两番。今年，经过筛选后，稿件的数量仍然达到了6,篇（在通知时减少到了6,篇），总计有4,多名审稿人撰写了超过2万条评审意见。最终，今年有1,篇论文被录用，录取率为21.6%。
其中，共有85位作者提交了至少10篇论文。这些多产提交者的平均录取率为24.7%，略高于平均录取率21.6%。
投稿热门关键词：算法、深度学习、应用
今年及去年各领域投稿、录取比例如下图所示（按每个领域中提交论文的数量进行排序）。
从投稿数量可以看出，算法、深度学习与应用是今年投稿论文最集中的几个领域，而概率方法、优化、神经科学则相对冷门。
但在录取率方面，排名靠后的几个领域录取率反而较高。NeurIPS大会官方对此的解释是，「在提交论文数最多的主题领域中，提交的低质量论文的比例更大并不足为奇。」也就是说，论文多的地方，水论文自然也多。
绝大多数作者没有参与审稿
大会官方表示，提交至本届NeurIPS大会的论文出自15,名作者之手。这之中四分之三的人并未受邀担任程序委员会中的任何职务（审稿人，领域主席（AC）或高级领域主席（SAC））。
剩下的四分之一里，有大约70％的人接受了邀请加入程序委员会。此外，大多数审稿人也提交了自己的论文。
那么，本届NeurIPS中是否存在「搭便车」的现象呢？
如上表所示，这个问题并不严重，在拒绝了审稿邀请的人中，只有四分之一向本届NeurIPS提交了论文。这些人中有大概10％的人提交了五篇甚至更多的论文。
总而言之，在6,篇论文中，至少有一名作者受邀担任委员会成员的论文只有篇，但他们却完全没有参与审稿过程。
领域主席论文多产，接收率也高
现在，让我们再把目光转向没有被列入程序委员会邀请名单的另外四分之三的人。
其中，大约40％的作者是没有与邀请名单上的任何人合作提交论文。这些人的投稿数约占总投稿数的30％，然而接收率却是最低的——仅有十分之一。
正如预期的那样，受邀担任高级职务的人提交了更多论文，并且平均接受率更高。下表统计了AC的投稿情况。这一数字在高级SAC中更高——平均每位SAC提交了5.24篇论文，接收率为34.78％。
来自学术界的审稿人与AC的比例约为70%。
发表在arXiv上的论文接收率更高
在本次大会中，过半数（54%）的投稿曾经发表在arXiv上，其中有21%的论文被至少一位审稿人阅读过。这些被读到过的论文的接收率为34%，明显高于21.6%的整体接收率。相比之下，未曾在arXiv上发表过的论文的接收率仅为17%。
不过也很难理清这其中的因果关系：
一种可能存在的情况是：在arXiv上发表过的论文质量更高，因为作者认为它们已经达到了公开分享的标准。
另一方面，这也反映了单盲审稿模式中存在的偏见，即知名作者在arXiv发表过的论文更有可能被阅读，并引导审稿人对他们的工作做出积极的评价。
减少或限制投稿量的实验
近年来各个顶会投稿量的激增给审稿人带来了很大的工作负担，导致每次的审稿质量也颇受质疑。因此，NeurIPS也在考虑采取一些措施限制投稿量，比如如规定每个人投稿数的上限。
在官方博客中，大会放出了一些「如果采纳部分建议后」的假设结果。
审稿之前，先让领域主席筛选
如果在审稿人接手论文之前先让领域主席筛选一遍，能不能有效减轻审稿人负担呢？为了测试这个想法，大会做了一个实验。
他们选了50%的领域主席作为实验对象，给每个人分配一些论文，然后让他们在不看审稿意见的情况下，直接选出其中最差的25%，还要给出每个意见的置信度。
如下图所示，置信度＞＝5表示「我确定这篇论文应该被拒」。
结果，这50%的领域主席给出了篇置信度＞＝5的论文。对比了最后确实被拒的论文，准确率也很高，达到95.74%。
但问题在于，即使筛掉这篇，或全部领域主席都算上，筛出篇，总共筛选出的论文也不到投稿量的4%。
所以，这种方法还有待商榷。
限制每个人的投稿数
另一个经常解决方案就是，限制每个人可以提交的论文数。AAAI甚至已经规定了年每个作者最多提交15篇论文，所以，NeurIPS也想测试一下这一做法。
下图展示了个人论文提交数目会对NeurIPS的投稿量产生怎样的影响：k（X轴）是每个人作为共同作者身份能够提交的论文数目限制，如Y轴所示，这确实导致了投稿量的下降。
由于这是个假想实验，主办方也并不知道真实情况下的作者为了符合政策，都会挑选出哪些论文提交。因此，大会官方让作者在审稿结果公布后再选择，留下他们被接收的论文，然后随机选择k（最大限制）篇论文。如果某个作者被接收的论文数达不到限制的投稿量上线，大会将从其被拒绝的稿件中随机挑选稿件来补上空缺。
如果将每人的投稿量上限设置为15篇（如AAAI-采取的措施）只能减少不到份投稿（总数的1.5%）。如果将这一上限设置为10，则会减少4.3%的投稿（减少次审稿工作），但这对最终的接受结果并没有太大的影响。
总而言之，也许将「领域主席筛选」和「限制每个人的投稿数」相结合可以充分降低总投稿数，从而使情况有所不同。但是，在真正实施前，仍然需要进一步考虑一下该怎么具体执行。
只审吸引审稿人注意力的论文
还有一个提议是引入市场机制来控制审稿量。只有那些引起了足够北京白癜风去哪治的好最好的白癜风医院咨询