ICML 2022審稿結果遭「圍攻」,Yann LeCun:我投了三篇,被拒了三篇
剛剛,圖靈獎得主Yann LeCun在推特發(fā)布了一條動態(tài):「投了3篇,拒了3篇……如果從推文統計的話,ICML今年應該拒絕了每一篇論文。」
是的,ICML 2022的審稿結果,已經在這幾天通過郵件發(fā)送給各位作者。
這屆ICML共收到5630篇提交,其中1117篇被接收為短論文,118篇被接收為長論文,接收率為21.9%,與上一年的接收率(21.5%)基本持平。根據以往的經驗,很多論文被接收的作者會在社交媒體平臺公開介紹自己的研究。但在今年,被拒稿作者的發(fā)言似乎比往年更多,也更「激烈」:「自豪地宣布……我在今年ICML的接收率為NaN(Not a Number)。」
「所有的ICML投稿都被拒了!」
「從我的信息流推送里,只看到了ICML的拒稿,沒看到接收。」
「祝大家ICML拒稿日快樂……」看完各種吐槽,有人心中產生了一些疑問:到底有論文被ICML 2022接收嗎?
ICML 2022的新審稿機制
這些年,各大著名人工智能會議提交的論文數量出現了大幅度增長。鑒于這種大型會議的規(guī)模和緊迫的時間安排,ICML程序委員會也做出了相對調整:引入兩階段評審?(two-phase reviewing)。這一機制將評審過程分為兩個階段,初衷是更好地分配審稿人資源并提供高質量的 review。大致而言,對于一篇投稿,最初只分配兩個 review,而不是分配三個 review。如果這兩個 review 一致認為一篇論文應該被拒稿,那么它就不會得到進一步的 review。審稿的第二階段是為剩下的論文分配兩個額外的 review。也就是說,這次ICML的審稿意見不再具體包含分數,但第一階段審稿結束后,會有一個最終結論決定這篇投稿還能否進入第二階段評審。
在投稿人收到的郵件里,ICML組委會這樣說道:
審稿過程包括兩個階段,我們努力實現盡可能公平和徹底的決策過程。這些決定由高級元審稿人和程序主席在審稿人討論中審議,并在多個層面進行各種檢查。在困難的情況下,也征求了更多的評價。
但這種審稿制度并沒有得到太多投稿人的認可,因為大家收到了各種「神奇」的審稿意見:「寫的很好,也容易理解。理論分析扎實、合理,給出了一個有趣而清晰的方法……這篇論文解決了一個有趣的問題……但有些不足以被接收。」
「雖然我的一些論文被接收了,但我最喜歡的那篇投稿被拒了。為什么作者要為低水平審稿付出代價?太荒謬了……」
「不會再向ICML投稿了」
對于這次的ICML審稿結果,UC伯克利教授馬毅也連續(xù)發(fā)布了幾條動態(tài)吐槽:
ICML的元審稿是很隨意的!在rebuttal中,我們完全按照審稿人的要求做了,但AC拒稿了而且表示『不確定這個在短時間內進行的新實驗是否準確地完成了』。如果根本不信任rebuttal,那為什么要有這個環(huán)節(jié)呢?
「沒有審稿人的分數,ICML 的審稿過程就變成了 AC 操縱的黑箱。至少深度網絡是具有可量化輸出的黑箱。ICML 審查過程已成為一個沒有可量化輸出的黑箱。我不會容忍這樣的程序。」
「鑒于我去年在 ICML 的經歷——那篇被四位審稿人一致接收但最終被 AC 拒絕且沒有任何具體證據的論文,再加上今年的經歷,我想我以后不會再向 ICML 提交任何論文了。」
馬毅教授提到的「去年經歷」也曾引發(fā)熱議:論文《ReduNet:A White-box Deep Network from the Principle of Maxinizing Rate Reduction》得到了ICML2021四位審稿人的一致接收,但是AC認為「這篇論文尚不能解釋目前深度神經網絡的所有tricks」,因此決定拒稿。后來,這篇文章被JMLR接收。
當時,馬毅教授也向ICML組委會建議將論文評審轉移到openreview,這也是很多研究者的心聲:
有研究者表示,相比之下,自己更喜歡「透明且負責」的ICLR會議:
? ?