ICLR 2025審稿正式開(kāi)啟了，預(yù)計(jì)截止到11月3日。

而且，每位審稿人最多被分配到3篇論文，就是為了讓大家深思熟慮去撰寫(xiě)高質(zhì)量反饋。

圖片

與2024年一樣，今年論文提交數(shù)量再創(chuàng)新高！

ICLR 2025共有11000多篇論文提交，同比增長(zhǎng)61%。ICLR 2024同比增長(zhǎng)47%。

圖片

如此多的論文，究竟該怎么審？如何獲得建設(shè)性、高質(zhì)量同行評(píng)審？

而且，論文提交數(shù)增加，對(duì)評(píng)審員需求也會(huì)增加，往往導(dǎo)致評(píng)審質(zhì)量不一致問(wèn)題。

對(duì)此，ICLR官方竟引入了「評(píng)審反饋智能體」（review feedback agent），讓AI去識(shí)別審查中的問(wèn)題，并向?qū)徃迦朔答伕倪M(jìn)。

更有意思的是，很少發(fā)聲的Bengio轉(zhuǎn)發(fā)了ICLR 2025官博，繼續(xù)征集不同于學(xué)術(shù)論文的投稿形式——博客文章。

而且，截止日期就到11月16日。

圖片

ICLR頂會(huì)每年舉辦一次，2025年將是第13屆年會(huì)，于4月24日-28日將在新加坡舉辦。

圖片

今年頂會(huì)，著實(shí)有些不同。

官方讓AI來(lái)參與審稿了

鑒于投稿數(shù)那么多，ICLR 2025也是想要借AI洪荒之力解難了。

圖片

不過(guò)，不是讓AI完全審稿。

目的是為了，讓AI幫助審稿人的評(píng)審結(jié)果，更具建設(shè)性、可操作性。

為此，ICLR使用了多個(gè)大模型設(shè)計(jì)出反饋系統(tǒng)，就是為了將化覺(jué)降到最低，提高反饋質(zhì)量。而且，該系統(tǒng)已經(jīng)在ICLR 2024評(píng)審意見(jiàn)上，進(jìn)行了測(cè)試。

「評(píng)審反饋智能體」將就審稿中可能存在的三類(lèi)問(wèn)題，提供建議。

圖片

ICLR 2025官方組委會(huì)通過(guò)匯編公眾評(píng)論，并評(píng)估了以往ICLR審稿確定了這三類(lèi)問(wèn)題：

- 鼓勵(lì)審稿人改寫(xiě)含糊的評(píng)論，讓其對(duì)作者更具可操作性；

- 突出文章中可能已經(jīng)回答了審稿人一些問(wèn)題的部分；

- 在評(píng)審中，發(fā)現(xiàn)并處理不專(zhuān)業(yè)、不恰當(dāng)?shù)难哉摗?/span>

圖片

如下，是由AI為以上三種類(lèi)別標(biāo)記的評(píng)論的示例，并給出一個(gè)示例反饋。

首先，第一種提升準(zhǔn)確性。

以往幾屆，不論是哪個(gè)頂會(huì)，都會(huì)被作者們吐槽的一個(gè)問(wèn)題是——審稿人太糊弄了。

一句話(huà)——這篇論文還應(yīng)提供更多實(shí)驗(yàn)數(shù)據(jù)，直接給了低分。

而這次，審稿人這種模棱兩可的評(píng)論，就要被AI「打回去」了。

AI會(huì)給審稿人提供一種建議：

如果能提出您認(rèn)為必須包括的具體基線(xiàn)，將會(huì)很有幫助。您是否認(rèn)為目前的比較缺少某些方法？能否詳細(xì)說(shuō)明原因？

圖片

其次，內(nèi)容明確。

當(dāng)審稿人評(píng)論稱(chēng)，「在圖4中，Transformer的效率實(shí)驗(yàn)沒(méi)有結(jié)果，這是一個(gè)關(guān)鍵的限制因素」。

而論文中，可能包含了這個(gè)結(jié)果，只是審稿人沒(méi)有注意到。

AI這時(shí)便會(huì)明確告訴他，圖5回答了這個(gè)問(wèn)題。

圖片

最后，針對(duì)不恰當(dāng)評(píng)論。

比如，審稿人會(huì)說(shuō)，「作者完全不知自己想要做什么」。

AI會(huì)建議道，「我們感謝您的評(píng)論，但懇請(qǐng)您將評(píng)論重點(diǎn)放在論文的具體內(nèi)容和方法上，而不是對(duì)作者發(fā)表個(gè)人意見(jiàn)」。

AI不會(huì)取代審稿人

官方表示了，智能體系統(tǒng)不會(huì)取代任何人類(lèi)審稿人，而且也不會(huì)撰寫(xiě)審稿評(píng)論，或直接對(duì)評(píng)論自動(dòng)編輯。

相反，它將作為一個(gè)助手，提供可選的反饋。審稿人可以選擇接納，或者忽略。

與以往的ICLR頂會(huì)一樣，每一份提交的論文皆由人類(lèi)審稿人獨(dú)立進(jìn)行反饋，最終的「接收」決定，將由ACS、SAS和審稿人做出。

而且，AI將為隨機(jī)選擇的一部分初始評(píng)審提供反饋，以便進(jìn)行比較并評(píng)估其影響。

圖片

在評(píng)審意見(jiàn)對(duì)作者公開(kāi)之前，審稿人將有機(jī)會(huì)更新他們的評(píng)審（如果愿意的話(huà)）。

AI一般在提交評(píng)審后的幾小時(shí)內(nèi)，向?qū)徃迦颂峁┙ㄗh。對(duì)后續(xù)的審稿人回應(yīng)將不再提供反饋，審稿人與反饋系統(tǒng)之間也不會(huì)有進(jìn)一步的互動(dòng)。

此外，反饋只對(duì)評(píng)審員和ICLR項(xiàng)目主席可見(jiàn)；不會(huì)與其他評(píng)審員、作者或區(qū)域主席（AC）分享，也不會(huì)影響錄用決定。

審稿人太多了

據(jù)官方統(tǒng)計(jì)，今年有15249位審稿人，824位AC，以及71位高級(jí)AC。

圖片

由于邀請(qǐng)了太多的審稿人，導(dǎo)致許多人盡管收到了電子郵件通知，卻沒(méi)有收到任何評(píng)審的論文。

圖片

還有人指出，自己看到審稿人的自定義最大論文數(shù)（custom-max-papers）設(shè)置為0，本應(yīng)無(wú)法分配到論文，但他們卻被分配了一篇論文。這是怎么回事？

圖片

目前，這些問(wèn)題還待ICLR去解決。

博客文章，也能提交

延續(xù)之前的傳統(tǒng)，今年ICLR頂會(huì)繼續(xù)批準(zhǔn)提交博客類(lèi)型的文章。

提交的文章，需要符合以下要點(diǎn)：

- 回顧過(guò)去的工作并總結(jié)結(jié)果，提出新的直覺(jué)，或指出一些不足之處

- 對(duì)現(xiàn)有的機(jī)器學(xué)習(xí)概念或技術(shù)提出新穎的觀(guān)點(diǎn)或解釋

- 從新的角度討論機(jī)器學(xué)習(xí)中的重要問(wèn)題，如可復(fù)現(xiàn)性

- 分析機(jī)器學(xué)習(xí)和人工智能最新進(jìn)展的社會(huì)影響

- 你嘗試過(guò)但未成功的有趣研究想法

圖片

去年被接收的博客文章，感興趣的童鞋可作參考。

圖片

參考資料：

https://x.com/Yoshua_Bengio/status/1846197032966385867

https://blog.iclr.cc/2024/10/09/iclr2025-assisting-reviewers/