ICLR 2024審稿結果公布了！

ICLR是機器學習領域重要的學術會議之一，每年舉辦一次。2024年是第十二屆，將在奧地利維也納5月7日-11日召開。

根據OpenReview官方放出的結果顯示，今年共有7135篇投稿論文。

此外，另有國內開發者魏國強自己爬蟲做了完整的統計數據，論文投稿有7215篇，平均分為4.88。

https://guoqiangwei.xyz/iclr2024_stats/iclr2024_submissions.html

就具體分數分布情況來看，均分為4.2分的論文有1086篇，4.9分1163篇，5.7分1015篇，這些都是1000篇+的論文的得分。

亞馬遜工程師統計有7304篇提交的論文，平均分為4.9。

具體占比，均分為4.9-5.0，5.2-5.3論文數分別占總數的9%。

https://github.com/maxxu05/openreview_summarizereviews/tree/main

論文投稿暴漲7000+，創歷史新高

最值得一提的是，不管具體投稿數字是多少，ICLR 2024總論文提交創下歷史新高。

這種巨大反差，可以從歷年的統計數據中可以看出。

ICLR 2017那時僅有490篇，一直到ICLR 2023漲到4955篇。ICLR 24更是增長了2000+篇。

最近兩年接收率都在30%以上，今年也不會低。

論文提交數量空前爆發，離不開ChatGPT做出的巨大貢獻。

上周，arXiv平臺公布了10月份該平臺論文提交總數，僅僅一個月就有20,710篇，也創下了最新記錄。

其中，大約一半的論文關于CS領域，3500預印與CV、ML領域有關。

平均一下，每天有668論文上傳，這個數據確實有點離譜。

ICLR 2024研究領域，擴散模型占比最多

那么，ICLR 2024提交論文的主題都涉及了哪些領域，也有網友做出了總結。

- 451個標題包含「Diffusion」

- 208個標題包含「LLM」

- 6個標題包含「ChatGPT」

- 25個標題包含「NeRF」

- 41個標題包含「GAN」

- 15個標題包含「All you need」

- 22個標題包含「Dream」

- 6個標題包含「Magic」

高分論文

第一篇Generalization in diffusion models arises from geometry-adaptive harmonic representation是關于擴散模型的研究，評分為8,8,10,8。

當前，基于分數的反向擴散算法，能夠生成高質量的樣本，這一發現表明經過去噪訓練的深度神經網絡（DNN）可以學習數據密度分布，盡管存在維數災難（curse of dimensionality）。

但是，最近有許多討論關于，模型只是簡單地記憶了訓練數據，并沒有真正意義上學習到數據的本質分布。

對此，研究人員訓練了兩個在不同數據子集上訓練去噪DNN模型，結果發現它們得分函數和密度分布非常接近，而且訓練圖像數據量驚人地少。

這種強大的泛化能力證明了，DNN架構和訓練算法中存在強大的歸納偏置（Inductive bias）。

研究人員進一步分析了這種歸納偏置存在的原因，證明去噪模型在適應底層圖像的基礎上執行收縮操作。

即使在一些不適合這種基礎的圖像數據上訓練，模型也還是會學習到這種諧波表示。因此可以證明去噪模型對這種自適應諧波表示存在偏置。

此外，我們表明，當在已知最優基礎是幾何自適應和調和的常規圖像類上訓練時，網絡的去噪性能接近最優。

第二篇Revitalizing Channel-dimension Fourier Transform for Image Enhancement是關于圖像增強、傅里葉變換的研究，評分為8,10,8,8。

探索傅立葉變換的全局表示來增強圖像已成為一種替代方法，并取得了重大進展。

然而，以往的研究只在空間維度上進行，忽略了通道維度的潛力，而通道維度本身就具有識別特征。

在這項工作中，作者提出了一個全新的視角，即用于圖像增強的通道維傅里葉變換。

其中的設計過程簡單而有效，包括3個簡單的步驟：對通道維度進行傅里葉變換以獲得通道傅里葉域特征，對其振幅和相位分量進行通道變換，然后返回空間域。

根據上述規則，作者在不同的運算空間中提供了3種可供選擇的通道變換實現格式，分別在 1) 帶高階的全局向量；2) 帶通道組的全局向量；以及 3) 基于空間的傅里葉變換得到的傅里葉特征中進行運算。

上述核心設計作為通用運算器，可與增強網絡無縫集成，取得顯著收益并建立高效模型。

通過對多種圖像增強任務（如低照度圖像增強、曝光校正、SDR2HDR轉換和水下圖像增強）的廣泛實驗，研究的設計架構顯示出一致的性能提升。

Monte Carlo guided Denoising Diffusion models for Bayesian linear inverse problems是關于去噪擴散模型的研究，評分為6,10,8,10。

從計算攝影到醫學成像，各種應用中經常出現難以解決的線性逆問題。最近的研究方向是利用貝葉斯推理和信息先驗來處理這類問題。

在這些前置條件中，基于分數的生成模型（SGM）最近被成功應用于幾個不同的逆問題。

在這項研究中，作者利用SGM定義的先驗的特殊結構，定義了一系列中間線性逆問題。隨著噪聲水平的降低，這些逆問題的后驗越來越接近原始逆問題的目標后驗。

為了從這一系列后驗中采樣，研究人員使用了序列蒙特卡羅（SMC）方法，并提出了算法 \algo。

研究證明，在貝葉斯環境下處理問題不明確的逆問題時，該算法的性能優于其他同類算法。

SDXL模型我們最熟悉不過了，它的評分為8,8,8,8。

作者介紹了用于文本到圖像合成的潛在擴散模型——SDXL。與之前版本的SD模型相比，SDXL利用的UNet主干網擴大了3倍，這是通過顯著增加注意力塊的數量，并加入第二個文本編碼器實現的。

此外，研究者還設計了多種新穎的調節方案，并在多種長寬比上對SDXL進行了訓練。

為了確保獲得最高質量的結果，他們還引入了一個細化模型，用于利用事后圖像對圖像技術提高SDXL生成的樣本的視覺保真度。

研究證明，SDXL比以前版本的Stable Diffusion有了顯著改進，其結果可與Midjourney等先進圖像生成器相媲美。

至于如何能拿下8,8,10,8的高分論文，你只需要復習自己大學本科學習的圖像處理課程就行了。

剩下的高分論文，有感興趣的童鞋，可以自己查閱。

地址：https://guoqiangwei.xyz/iclr2024_stats/iclr2024_submissions.html

最后，祈禱大家都能中。