美國教授揭發AI頂會作弊:作者串通審稿人,垃圾論文也能過審
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
美國知名AI學術大牛,在ACM官網刊文,直指AI學術界最尖銳的問題:
論文盲審,存在嚴重作弊行為。
措辭之嚴厲,揭露之詳細,學術圈罕見。
而讓這位AI大牛無法再繼續保持沉默的,正是震蕩發酵至今的佛羅里達大學中國博士生被逼學術作假后自殺事件。
AI大牛為何忍無可忍?
首先來認識一下這位學術大牛。
關注AI學術會議的一定不陌生,Michael L. Littman,2013年AAAI聯合項目主席,布朗大學計算機科學系教授。
研究領域涵蓋機器學習、博弈論、計算機網絡、馬爾可夫決策過程等,在強化學習方面有很高的建樹。
2018 年,Littman因其為人工智能的順序決策算法的設計和分析做出的貢獻,被選為ACM Fellow。
這位在AI圈有很大影響力的人物,在最新發表于Communications of ACM官方雜志上的文章中,揭露了AI學術界嚴重的審稿作弊行為。
Littman解釋道,他寫這篇文章的直接動機,是一直在關注的2019年佛羅里達大學中國籍博士被逼自殺一事。

事情緣由,是一篇名為《3D-based video recognition acceleration by leveraging temporal locality》的ISCA論文。
在讀的中國博士生是一作,他在自己的遺書和與他人的通信記錄中,指控他的華人導師逼迫他學術造假。
之后導師通過私人關系使論文過審,還威脅這位同學不準撤稿,否則“弄死他”。
最后,這位同學選擇在博士即將畢業之際結束自己的生命。
量子位之前詳細報道過此事。今年2月,ACM官方也出了調查處理結果,嚴厲處罰了涉事人員。
Littman教授沒有在文章中指名道姓,但在結尾的Note中附上了這個轟動中美學術界事件的鏈接和當事人的博客。
Littman認為,“評審作弊”問題日益嚴重,危害到計算機科學的成果產出和傳播。而他希望通過曝光類似行為的幕后操作,來呼吁社會對學術界“不法團伙”施壓。
同時也希望能幫助“解救”被迫裹挾進集體學術造假的研究生們。
Littman教授對自殺的中國博士生表達的惋惜與悲痛,他說“他寧可選擇自殺,也不愿意參與內外勾結的學術不端”。
顯然,Littman教授是對這顆“毒瘤”如何出現,怎么運作有了比較直觀的調查了解。
“同行評審”,怎么作弊?
垃圾論文為什么能通過同行評審?
Littman以自己參加和組織學術會議的經驗總結出了論文同行評審的一般流程。
同行評審過程是由一個程序委員會進行的,該委員會由一到兩名程序主席、幾百名項目主席和大約5000名評審員組成。
審稿人被要求事先聲明利益沖突,委員會因此不會被指派他們去審閱可能影響公正性的論文。
而作者在提交論文時,要隱去他們的名字以便盲審。
有資格的審稿人根據論文標題/摘要對提交的特定論文進行 “競標”。
最后由項目主席分配論文。
接下來,就是評審員閱讀論文并提交評審意見。交流意見后,給出接受或拒絕的建議。
區域主席和項目主席則利用這些建議來制定會議具體議程方案。
正常情況下,錄取率很低(15%-25%)。而在絕大多數頂級會議一年一次。所以論文被拒(尤其是對研究生來說)會對未來的工作前景產生很大影響。
所以,一些人就動起了歪心思,想方設法提高通過率。
作弊者的“朋友圈”怎么拉?
Littman提到了一個特殊的案例,由ACM的一名項目主席發現線索,并花了大量時間調查分析,但依然沒有指名道姓。
一般來說,都是一個團隊事先串通好,對論文數據結論等等進行偽造,然后向會議提交論文。
接著,由有“能力”的作者去拉攏認識的評審員,透露論文標題、作者信息。
涉事的評審員當然不會報告利益相關,而“競標”審閱目標論文,有時甚至會多注冊好幾個賬號,增加中標的幾率。
評審員會給這些論文寫出非常積極的評價,甚至可能通過私下渠道游說項目主席,將他一塊拉下水。
此外,如果這位“有能力的論文作者”意外發現其他評審的名字,有可能會給他們發郵件,連威脅帶引誘,能拉一個是一個。
評審員在給垃圾論文“放水”時,在討論中會暫時改掉會議管理系統中的名字,以“保護”自己的名聲和羽毛。
鑒于許多會議有接收論文數量的限制,這種內幕操作得手,就意味著有一篇本來很有價值的論文被拒絕。
會議的質量不可避免受到影響。
今后怎么辦?
現在還不知道。
2019年的悲劇發生后,經過20個月的調查,今年2月,ACM給出了史上最嚴厲的處罰:
15年內,禁止涉事情節最嚴重人員在ACM相關期刊發表一切學術成果。
不得擔任何評審、編輯或項目委員會的職務。
而被自殺博士生指控的導師,和佛羅里達大學,卻沒有聲明。
前段時間,網絡上流出一封辭職信,表明涉事導師已經從佛羅里達大學辭職,但真實性無法考證。
但目前也僅止步于此。
AI頂會的評審機制上如何改善,防范調查手段如何設置,包括ACM、IEEE在內的機構,仍然沒有明確的制度或相關議程公布。
Littman教授在文章中說,希望通過自己的發聲,呼吁社會對學術界的不法行為施壓,也是眼下一種“沒有辦法的辦法”吧。
但ACM官方刊登此文,似乎也表明意識到了問題嚴重性,而目前學術界能做的,只有靜觀其變了。