正值AAAI 2023論文截止提交之際，知乎上突然出現了一張AI投稿群的匿名聊天截圖。

其中有人聲稱，自己可以提供「3000塊一個strong accept」的服務。

爆料一出，頓時引起了網友們的公憤。

不過，先不要著急。

知乎大佬「微調」表示，這大概率只是「口嗨」而已。

據「微調」透露，打招呼和團伙作案這個是任何領域都不能避免的問題。隨著openreview的興起，cmt的各種弊端也越來越清楚，未來留給小圈子操作的空間會變小，但永遠會有空間。因為這是個人的問題，不是投稿系統和機制的問題。引入open review和bid+隨機匹配可能會有幫助。

而且他的個人觀點是，文章發在NeurIPS還是AAAI還是IJCNN都無所謂，充分宣傳讓大家知道你在做什么就行了，citation會證明這東西有沒有用。

那么，這種風氣是否在如今的頂會論文審稿中普遍存在呢？又是否已經有人因此「名利雙收」了呢？

萬物皆可發家致富

在討論之前，我們先來簡單說一下這個bid到底是啥。

為了方便分配審稿人，有的會議會設置一個bidding環節讓審稿人自己選擇感興趣的文章。然后系統就可以參考這些審稿人的選擇進行論文的分配了。不過，審稿人在這個階段只能看到論文標題和摘要。

而這其中，可就大有文章了。

各種匿名爆料

另有知乎匿名網友表示，格局小了吧，有微信聊天截圖為證，其實連best paper都是能互相bid的，這點小事算個啥。

有網友表示，今年投稿AAAI時，還一本正經地讓填conflicted users、conflicting domain等等，但實際上作用不大。

這位知乎匿名用戶甚至提出了令人拍案叫絕的解決方案：用圖神經網絡、推薦系統等自動挖掘出以各個導師為中心的關系網絡，再檢查各大會議的bid數據、審稿數據、給分情況，這樣異常節點和關系就可以輕而易舉地挖出來，因為它們在圖神經網絡里像恒星一樣耀眼。

或者干脆舉辦個頂會bid數據挖掘大賽。

不過也有網友指出，這個所謂「3千塊包SA」，其實是有bug的：

要知道，就算你強推了，其他審稿人一個borderline加一個weak reject，直接白給。畢竟這東西又不是算平均分錄取的。而且分歧很大的話，AC也不可能給過的。

所以就算要給錢，也要用在「刀刃」上。這么一想，那就得找SPC或者AC了。但這時，你就需要考慮兩個問題了（其實是一個）：第一，人家這種level的，你給3000塊就想搞定？第二，如果人家真給你搞定了，只會收你3000？

當然，除了吐槽外，還有一位「見義勇為」的senior reviewer表示，如果自己看到有審稿人給了「水文」高分，就會直接strong reject，然后寫小作文狠狠地diss，而且現在連模板都已經擬好了。

據說，所有會議和期刊都有類似的問題，只是比例和嚴重程度不同。此文中就不便多講了。

某匿名用戶的建議，屬實有才

審稿隨機性有多大

AI頂會審稿的隨機性究竟有多大呢？

在2021年，NeurIPS就曾做過一次審稿一致性實驗。

根據港中文CS博士「電光幻影煉金術」的視頻介紹，在這個實驗中，同一份稿件有10%的概率會送給兩組審稿人，兩組審稿人互相不知道對方的存在。

兩組審稿人會分別進行評分，有兩個領域主席對評分的結果作出決定。這樣就可以定量分析，同一份稿件會有多大概率得到不同的審稿結果。

結果顯示，第一組審稿人accept、第二組審稿人reject的概率是52%，這概率已經超過一半了。

而如果第一組審稿人reject，第二組審稿人也reject的概率是83%。

這個結果和李飛飛的觀點也是符合的。

李飛飛就曾發表過一篇很著名的討論審稿的文章，提出了這兩個觀點：1.審稿過程是高度隨機的。2.差的論文會得到差的審稿意見，這是隨時間和隨機性都不會改變的黃金規則。

NeurIPS官方還進行了這樣一個比較，每篇論文不進行審稿，隨機決定，然后根據接收率和分歧率制成一條曲線，橫軸是接收率，縱軸是分歧率。

圖中可見，如果接收率非常低或非常高，那么分歧率是不大的。

而中間的分歧率是最大的，如果說接收率是50%的話，分歧是最大的。

AAAI和IJCAI都是采用這種模式，用高拒絕率，來換取較小的隨機性。

最后，「電光幻影煉金術」給出這樣一份關于人工智能審稿的結論小結。

風口浪尖上的AAAI

當初，AAAI 2022的審稿結果就飽受爭議。

有人在社交媒體上表示，自己的論文得到了4個accept，最后還是被拒了。

下面這位作者表示，4位審稿人均給出了「偏向接收」或「接收」的意見，在審稿意見中也都是正面評價：idea有趣、模型足夠solid、實驗和分析也夠全面。

但最終結果卻是：拒稿。

對于AAAI 2023來說，采用的依然是兩階段+雙盲的審稿形式。

在第1階段中，每篇論文會得到兩名審稿人。如果收到的兩份意見都是負面的，那么這篇論文就會被直接拒絕。其余的將進入到第2階段。

在第2階段中，每篇論文會得到至少兩名新的審稿人。在新的審稿人提交自己的意見之前，他們是不會看到第1階段的審稿結果的。

而進入第2階段的論文作者，可以針對所有的審稿意見進行回應。程序委員會和高級程序委員會將會根據作者的反饋進行討論。

至于具體的操作方法，可以參考下面的這篇論文。

該論文提出了一種新穎的審稿人-論文匹配方法，并且已經在AAAI 2021、ICML 2022、AAAI 2022和IJCAI 2022上得到了應用（全部或部分）。

論文地址：https://arxiv.org/abs/2202.12273最后只能說，目前看來投稿時能整的花活不多，投稿人唯一能做的就是盡量寫出好文章，讓自己的paper成為NeurIPS實驗曲線里最右邊的那一小搓。