新智元报道
编辑:编辑部
【新智元导读】一篇出色的ACL论文,竟因为匿名期后半小时上传到arXiv就被拒?ACL引来了一大波声讨!
ACL,惹众怒了!今天早上,整个AI社区都因这个帖子而掀起轩然大波——纽约大学博后研究员Naomi Saphra表示,自己刚刚从ACL那里收到了一份直接拒稿,因为在匿名截止日期之后,这篇论文(署名)仍然被提交到了arXiv上,仅仅晚了30分钟。Naomi Saphra愤怒地声讨:ACL的embargo policy严重伤害了初级研究者,并且让ACL大会不再适合NLP工作。机器学习大佬、Sebastian Raschka也声援道——注意,这篇论文并不是晚了几分钟提交给会议,只是晚了几分钟提交给一个非必要的外部预印本服务器。在推特上,愤怒的研究者们纷纷聚集在帖子之下,向ACL大赛组委会发起讨伐。
本次事件
Saphra被拒稿,是因为ACL有这样一个政策。在12月20日11:59PM(UTC-12:00)之后,匿名期就开始了,此后不得以非匿名形式发表已提交给ACL的论文。尤其值得注意的是,对于提交到arXiv上的预印本论文,ACL的规定是指「提交时间」,而非「发表时间」。
官网地址:https://2023.aclweb.org/calls/main_conference/另外,ACL并不禁止研究者就正在评审中的工作发表演讲,但在匿名期内,研究者不得在社交媒体上宣传预印本或演讲,不得在博客中谈论,也不能让媒体报道。匿名期开始后,可以发布匿名预印本,但作者或其亲近的同事也不能宣传,因为这可能会影响评审过程。
另一篇,也迟了25分钟
有趣的是,与Saphra合著另一篇论文的MIT本科生Zack Ankner,也因为论文在匿名期开始25分钟后出现在arXiv上,而遭到拒稿。
论文地址:https://arxiv.org/abs/2305.15096EMNLP匿名期的起始时间如下:Ankner表示,自己对于评审结果非常有信心,花了整整一周时间来写rebuttal和编码实验。结果,论文还是被拒了。作为该论文的二作,Saphra表示,「这是Zack Ankner提交的第一篇论文。我告诉他,EMNLP大会应该比ML大会更好,因为前者有短论文的选项。但现在,经历了这么多糟心事,我不觉得ACL大会还值得参加。越来越多的人都是这么想的。」对此,Mosaic ML和Databricks科学家Jonathan Frankle表示,「我非常生气,我再也不会向ACL投稿了!他们在rebuttal之后用愚蠢的政策坑害了一名学生。不过,既然匿名期已过,我们现在可以宣传了。」机器学习大佬Sebastian也惊到了:「以前他们只是不让作者在网上谈论自己的arXiv论文,现在连什么时候能上传、什么时候不能,都有限制了?」
网友质疑
在这篇帖子下,网友们纷纷表示质疑。「尽管有明文禁止的规定,但我不明白为什么审查期一开始就不通知你们?3位审稿人,1位区域主席,就没一个人看到?」「我在2016年的EACL会议上也有过这样的经历,直接拒稿是在rebuttal后发出的。既然一定要拒,那为什么第一周不拒,非要让投稿人等上几个月?」「还有一个奇怪的地方是,匿名期是1个月,而不是30天。如果是在下一个月,你的论文或许就没问题了……」「我以前就说过, arXiv在推进科学和扩大学术参与方面的贡献,比匿名制度可大多了。任务阻碍arXiv的政策不仅愚蠢,而且对科学进步和包容性都适得其反。」与此同时,网友们也纷纷回想起了自己被组委会因为各种程序上的问题而被拒稿的经历。「这让我想起了我的论文是如何被拒绝的,因为我使用了ACL 2021模板而不是几个月前发布的新ACL ARR模板。拒稿是一个愚蠢的决定,因为这个问题可以在论文被退回后轻松解决。但论文本身花了我3-4个月时间才完成。」「我们因为优化了字符间距被拒。这简直毫无意义。」「我的一篇论文被退稿,原因是学生把表格标题添加在了表格顶部,而不是底部。」面对种种乱象,网友们嘲讽到:「ACL早已失去了科学的主心骨,取而代之的是日益复杂的官僚统治。」
再见了,ACL
也许是对ACL组委会的做法感到失望,许多网友们表示,自己决计不会再向ACL投稿。爱丁堡大学博士生符尧表示,「在对ACL 2023和ICML 23进行比较后,我问同事们他们会不会把论文提交到*CL,他们说不会。原因有很多,总之,大模型学者们不会再参加ACL和ICML了。」「现在,理由又多了一个。」
CVPR禁令:审稿期禁止宣传
其实,类似的禁令,也不是第一次出现了。在2021年,CVPR就曾规定:审稿期间,禁止论文作者以任何形式在社交媒体上进行讨论或自我宣传。CVPR 2021 PAMI-TC会议此前已经通过动议,论文作者在评议期间不应使用社交媒体传播向CVPR提交的论文。在动议中定义了社交媒体的沉默期。社交媒体的沉默期从论文提交截止日期前四周开始,直到论文最终结果通知发送给作者的时间。根据目前的时间表,此静默期从2021年10月19日到2022年3月2日。在此期间,任何由作者主动发起的对论文的社交媒体宣传都被视为违反政策。CVPR认为,此项政策有助于保持双盲评审的公信力。这份动议认为,现行政策对于投稿作者在社交媒体宣传自己的论文的行为无法有效制约,而且定义含混,只要作者没有明确说明文章处于会议审稿阶段,就允许在社交媒体上宣传。这种宣传愈演愈烈,无疑会影响双盲评审的信度,影响审稿人对文章质量的判断。同时,在社交媒体上拥有众多追随者的大V们会借此获得更大的舆论优势,降低了大众对评审制度公平性的信任,也会影响科学界内部的互信。这项禁令一出,社区炸锅,反对者众。甚至连深度学习先驱、图灵奖得主Yann LeCun都直呼「疯了」!「这个政策不仅限制了科学信息的有效交流和沟通,而且还阻碍了进步。」
大家认为,这个政策初衷是好的,但实际实行起来很难,因为操作起来可以绕过「主动宣传」的方法太多了。看起来是促进公平,实际上是进一步拉大「贫富差距」。大牛作者本身就鼎鼎大名,又背靠知名机构,根本不需要通过社交媒体宣传。但对于一般作者,社交媒体不让用了,那可真的没啥别的招了。参考资料:https://twitter.com/nsaphra/status/1698697352238813538