終于,NLP頂會ACL投稿不用匿名了
對于自然語言處理領域的研究人員,最近有一條好消息。
近日,計算語言學協會年會(ACL)正式宣布,該系列會議論文投稿已取消匿名期,同時允許作者在投稿期間宣傳自身工作。新規定直接適用于下一個審稿周期。
今年的 ACL 是第 62 屆,將于 2024 年 8 月 11 日至 16 日在泰國曼谷舉行。自 2022 年起,ACL 啟用了滾動審稿機制(ACL Rolling Review,ARR),每月設 deadline。需要注意的是,在上一個截止日期之前提交給評審流程的論文仍受舊匿名政策的約束。
大會聲明鏈接:https://www.aclweb.org/portal/
據了解,ACL 會方是在最新一期工作組報告的建議下實行了新規的,新的政策也會對獎項產生影響。這一調整立即獲得了研究社區的歡迎:
在報告《Report of the ACL Committee on the Anonymity Policy》中,工作組指出自 2017 年起 ACL 實行的雙盲評審規則成功地減少了匿名審稿期間可作為預印本的論文數量。ACL 2023 上有預印本的提交比例為 13.8%,而 ICML 和 ICLR(均對預印本沒有任何限制)等機器學習會議的相應比例通常在 30% 以上。
雖然匿名在 arXiv 上提交預印版并不會破壞雙盲評審,但根據 ACL 2023 審稿過程中收集的信息,91% 的投稿保持完全匿名,即審稿人無法猜測作者身份,可猜測作者身份的投稿(有預印本)比例為 4% 左右,相當于所有帶預印本提交的論文的 30% 左右。
工作組認為,原有雙盲評審政策顯然已經產生了一些負面影響。作者可能會急于在匿名截止日期之前發布預印本,這會破壞預印本的質量。此外,由于作者必須等到論文接收后才能更新預印本,因此他們無法在匿名期間糾正錯誤或添加新結果,包括改變工作結論的結果。
禁止作者更正公共記錄與科學研究的價值觀格格不入。另一方面,選擇不提交 arXiv 預印版的作者可能需要等待很長時間才能發表論文。在某些情況下,這會導致他們的工作被在此期間發表或預印的其他論文(通常是非 ACL 論文)搶先。
由于 AI 領域,特別是 NLP 領域研究節奏的加快,維持當前評審方式正在變得越來越困難。許多 ACL 作者指出,相對于許多不認同 ACL 方式的機器學習會議(如 ICML、ICLR、NeurIPS 和 AAAI),以及相對于自行發表的有影響力的行業實驗室,當前的雙盲評審使他們經常處于不利地位。這使得 NLP 社區變得支離破碎,ACL 會議面臨著失去優秀作者、審稿人以及聲譽下降的巨大風險。
新的政策旨在促進科學交流,作者仍然被鼓勵在論文接收之前不要過度宣傳工作(因為這可能會導致審稿人偏見而影響論文評分)。此外,不提交預印版或在社交媒體上提前宣傳也可以提升論文獲獎的機會。
此前,CVPR 的「社交媒體禁令」也出現了松動的跡象。
2023 年 11 月 25 日,作為 CVPR 2024 Publicity Co-chair 的 Kosta Derpanis 教授曾在個人推特上透露,CVPR 2024 關于投稿社交媒體宣傳的立場有一些變化。
根據 CVPR 2023 會議的投票結果,只要不提及 CVPR,作者可以在社交媒體上談論他們已提交給 CVPR 的研究成果。因此,無論你是否向 CVPR 投稿,都可以在社交網絡上談論研究。你可以宣傳自己發布的 arXiv 論文、在線進行演示等。但是,作者不得談論研究目前正在 CVPR 審稿階段。這既適用于社交媒體發布,也適用于與媒體的公開討論。
鑒于 CVPR 2024 官方推特賬號隨后轉發了這條動態,新規則變動的可信度大大提升。
CVPR 的社交媒體禁令起始于 2021 年。禁令頒布的背景,是馬普智能系統研究所所長 Michael Black 提出的一項動議:審稿期間禁止在社交媒體上宣傳論文,在 arXiv 上自動發布的預印本論文除外。
當時,這一動議引發了眾多研究者的不滿。圖靈獎獲得者 Yann LeCun 也公開表示:「這種行為會限制科學信息的交流,損害技術進步且違反道德規范。簡而言之就是瘋了。」
不過這項動議最終還是高票通過。大會官方宣布,面向所有 CVPR 2022 的投稿作者,從 2021 年 10 月 19 日到 2022 年 3 月 2 日為社交媒體靜默期。在此期間,任何由作者主動發起的對論文的社交媒體宣傳都被視為違反政策。
值得注意的是,將論文放在 arXiv 上供專家進行早期分析,與在社交媒體上向廣大受眾進行宣傳有本質不同,投 CVPR 的論文放在 arXiv 上還是被允許的。原因是 arXiv 論文并不是「已發表」,而應該被理解為「預發表」的狀態。
這項操作的目的是解決同行評審中的偏見問題,但打擊社區內交流會帶來很多消極后果,而且同行評審中的偏見問題未必能真正改善。
或許是引發了太多反對的聲音,如今機器學習領域,對于禁止社交媒體宣傳的規定已有所緩和。