NeurIPS 2021論文公開評審被刪除,Reddit網友猜測:觀眾太蠢,我決定隱藏討論
今年 NeurIPS 2021 首次采用 OpenReview 進行評審,要求接收的論文公開他們的評審結果和討論內容,但 Reddit 網友發現一些作者刪除了他們和評審討論的內容,引起網友們的無限遐想,甚至有人認為是商業機密,不便公開。Reddit 網友表示,我看不懂,但我大受震撼。
今年的盛會 NeurIPS 2021 已經放榜,不知道你中了幾篇?
與以往不同的是,今年 NeurIPS 采用了 OpenReview 審稿,也就是說審稿過程都是透明的,所有的審稿意見、評論和最終錄取結果都是公開的。
對這個決定,網友們表示各有利弊,甚至有的作者怕這種方式引來公開處刑,在考慮更換論文進行投稿。
最近 Reddit 上一個網友也發現一個問題,就是有的作者在 NeurIPS 論文被接受以后,把所有的公開討論內容給刪掉了。
還拿了一篇論文舉了一個例子,并表示不是針對誰,只是在座的各位。。這是他第一份發現的,并且在過去的幾個月里這種情況的發生的頻率很高。
對此他表示非常難以理解,這個操作的背后到底有什么意義?
因為 ICLR 和 NeurIPS 都采用了 OpenReview,所以這位網友推測 ICLR 的作者刪除可以認為是論文被拒掉了,所以刪除掉相關評論,這篇論文在未來某天發表的時候相關文件沒有那么多。
但為什么 NeurIPS 的論文都已經被接受了,還刪除掉相關討論呢?
并且 OpenReview 有一個權限設置,作者可以可以選擇讓評審之外的所有人都看不到他們的原始回復。
但同樣的問題也適用于這種操作:為什么作者需要隱藏他們的回復,特別是在評論是公開的情況下?
對此,網友也是眾說紛紜,有人表示,我還沒有這樣做,但可以理解有人會這么做的一個原因。評論者有時要求進行無用或誤導性的比較和實驗。
如果這些內容成為人們在 OpenReview 上看到的第一件事可能對論文的理解上有誤導,最好是在文章中有適當的上下文和解釋。
對于「無用或誤導性的比較和實驗」,有人表示,不能同意更多。這些評審有時候好像就是要發帖挑釁一樣,他們想表現得很聰明,總想問或者挑點什么錯誤出來,所以他們只是隨便瀏覽一下論文,并且隨意發表評論,這對所有人來說都毫無幫助。
還有網友表示,一場富有成效的討論需要所有參與者在思想上達成一致,因此,刪除這些討論的一個可能原因是,你不能保證普通的觀眾在智力上能夠理解討論的內容。不過,這只是一個一般性的結論,答主不知道它是否適用于 OpenReview 討論。
還有人認為是為了減少接觸。如果曝光太多的話,全世界都能看到這些論文在胡說八道。此外,學術界充滿了太多自私的人,他們不希望其他人從他們與評審的討論中受益,即獲取想法。
從工業的角度而非從學術的角度來看,這個操作是有意義的。如果研究人員計劃將他們的研究成果商業化,那就需要給他們自己一些時間來領先于其他人。
當構建一個系統時,有很多組件和變量,你可以在論文中列出它們,但你不一定要解釋你對它們所做的調整以獲得結果。這樣做以后,結果仍然可以得到驗證,盡管這樣做需要更長的時間來復現。
因此,如果一家企業看了你的論文,但因為這是一個公共領域,所以仍然有更多的時間將你的算法商業化,并將其推向生產。除此之外,想不出一篇被接受的論文的作者需要取消與評論員的討論的理由。不過,他也同意對一篇被拒絕的論文進行討論。
OpenReview 帶來的「反腐敗」作用是很明顯的,例如有網友分享了看到一篇因為重復投稿被公開處刑的文章。
也有人表示 OpenReview 這種方式會促進作者變得實誠,更好地改進論文。
除此之外,OpenReview 也會促使評審人員在措辭時更加慎重,不能無故以各種荒謬理由來拒稿。
在今年 NeurIPS 2021 公告中認為,OpenReview 提供了高度可定制化的接口,并且可以很容易地適配會議規模的增長。OpenReivew 系統提供了很多改進項,例如:可自行管理的用戶配置、利益沖突(COI)聲明以及改進的程序委員交互方式。
在默認的情況下,被拒絕的投稿不會被公開。但在 NeurIPS 2021 上,被拒論文的作者可以在通知截止日期后的兩周內選擇公開其匿名化的論文,并在 OpenReview 中公開發表評論。
「我們認為這是最好的折中方案,因為它還可以讓初級研究人員避免因為有害的公共批評而遭受打擊。」