ICLR 全稱為國際學習表征會議（International Conference on Learning Representations），今年舉辦的是第十二屆，于 5 月 7 日至 11 日在奧地利維也納展覽會議中心舉辦。

在機器學習社區中，ICLR 是較為「年輕」的頂級學術會議，它由深度學習巨頭、圖靈獎獲得者 Yoshua Bengio 和 Yann LeCun 牽頭舉辦，2013 年才剛剛舉辦第一屆。不過 ICLR 很快就獲得了學術研究者們的廣泛認可，被認為是深度學習的頂級會議。

本屆會議共收到了 7262 篇提交論文，接收 2260 篇，整體接收率約為 31%，與去年持平（31.8%）。此外 Spotlights 論文比例為 5%，Oral 論文比例為 1.2%。

相比于往年，無論是參會人數還是論文提交量，ICLR 的熱度可以說是有極大的提升。

歷屆 ICLR 論文數據圖

在近日公布的獲獎論文中，大會評選出了 5 篇杰出論文獎和 11 篇榮譽提名獎。

5 篇杰出論文獎

Outstanding Paper winners

論文：Generalization in diffusion models arises from geometry-adaptive harmonic representations

• 論文地址：https://openreview.net/pdf?id=ANvmVS2Yr0
• 機構：紐約大學、法蘭西公學院
• 作者：Zahra Kadkhodaie 、Florentin Guth 、Eero P. Simoncelli 、Stéphane Mallat

本文對圖像擴散模型的泛化和記憶方面進行了重要的深入分析。作者通過實證研究了圖像生成模型何時從記憶輸入切換到泛化模式，并通過幾何自適應諧波表示與諧波分析的思想建立聯系，從架構歸納偏差的角度進一步解釋了這一現象。本文涵蓋了我們對視覺生成模型理解中缺失的關鍵部分，對未來研究啟發巨大。

論文：Learning Interactive Real-World Simulators

• 論文地址：https://openreview.net/forum?id=sFyTZEqmUY
• 機構：UC 伯克利、 Google DeepMind 、 MIT 、阿爾伯塔大學
• 作者：Sherry Yang、 Yilun Du 、 Kamyar Ghasemipour、Jonathan Tompson、Leslie Kaelbling、Dale Schuurmans、Pieter Abbeel

跨多個來源聚合數據以訓練機器人基礎模型是一個長期目標。由于不同的機器人具有不同的感知運動接口，這給跨大規模數據集的訓練帶來了重大挑戰。

UniSim，是朝著這個方向邁出的重要一步，也是一項工程壯舉，它利用了基于視覺感知和控制的文本描述的統一接口來聚合數據，并通過利用視覺和語言領域的最新發展來訓練機器人模擬器。

總結而言，本文探索了通過生成模型學習真實世界交互的通用模擬器 UniSim，邁出了構建通用模擬器的第一步。例如 UniSim 可以通過模擬「打開抽屜」等高級指令和低級指令的視覺結果來模擬人類和智能體如何與世界交互。

本文將大量數據（包括互聯網文本 - 圖像對，來自導航、人類活動、機器人動作等的豐富數據，以及來自模擬和渲染的數據）結合到一個條件視頻生成框架中。然后通過仔細編排沿不同軸的豐富數據，本文表明 UniSim 可以成功地合并不同軸數據的經驗并泛化到數據之外，通過對靜態場景和對象的細粒度運動控制來實現豐富的交互。

如下圖 3 所示，UniSim 能夠模擬一系列豐富動作，例如廚房場景中洗手、拿碗、切胡蘿卜、擦干手這一系列動作；圖 3 右上是按下不同的開關；圖 3 下是兩個導航場景。

對應上圖 3 右下的導航場景

上圖 3 右下的導航場景

論文：Never Train from Scratch: Fair Comparison of Long-Sequence Models Requires Data-Driven Priors

• 論文地址：https://openreview.net/forum?id=PdaPky8MUn
• 機構：特拉維夫大學、IBM
• 作者：Ido Amos、Jonathan Berant、Ankit Gupta

這篇論文深入探討了最近提出的狀態空間模型和 transformer 架構對建模長期序列依賴性的能力。

令人驚訝的是，作者發現從頭開始訓練 transformer 模型會導致其性能被低估，并且通過預訓練和微調設置可以實現顯著的性能提升。該論文在關注簡潔性和系統性見解方面表現極佳。

論文：Protein Discovery with Discrete Walk-Jump Sampling

• 論文地址：https://openreview.net/forum?id=zMPHKOmQNb
• 機構：基因泰克、紐約大學
• 作者：Nathan C. Frey、Dan Berenberg、Karina Zadorozhny、Joseph Kleinhenz、Julien Lafrance-Vanasse、Isidro Hotzel、Yan Wu、Stephen Ra、Richard Bonneau、Kyunghyun Cho、Andreas Loukas、Vladimir Gligorijevic、Saeed Saremi

這篇論文解決了基于序列的抗體設計問題，這是蛋白質序列生成模型的一個及時而重要的應用。

為此，作者引入了一種創新而有效的新建模方法，用來專門針對處理離散蛋白質序列數據的問題。除了在硅中驗證該方法外，作者還進行了大量的濕法實驗室實驗，以測量體外抗體結合親和力，展示了他們生成方法的有效性。

論文：Vision Transformers Need Registers

• 論文地址：https://openreview.net/forum?id=2dnO3LLiJ1
• 機構：Meta 等
• 作者：Timothée Darcet、Maxime Oquab、Julien Mairal、Piotr Bojanowski

該篇論文識別了 vision transformer 網絡的特征圖中的人工痕跡，這些痕跡以低信息背景區域中的高范數 tokens 為特征。

作者提出了這種現象發生的關鍵假設，并提供了一個簡單而優雅的解決方案，使用額外的 register tokens 來解決這些痕跡，從而增強了模型在各種任務上的性能。從這項工作中獲得的見解還可以影響其他應用領域。

這篇論文行文極佳，為進行研究提供了一個很好的示范：「識別問題，理解其發生的原因，然后提出解決方案。」

11 篇榮譽提名

除了 5 篇杰出論文，ICLR 2024 還評選出了 11 篇榮譽提名獎。

論文：Amortizing intractable inference in large language models

• 機構：蒙特利爾大學、牛津大學
• 作者：Edward J Hu、Moksh Jain、Eric Elmoznino、Younesse Kaddar、Guillaume Lajoie、Yoshua Bengio、Nikolay Malkin
• 論文地址：https://openreview.net/forum?id=Ouj6p4ca60

這篇論文從貝葉斯推理的角度提出了一種在大型語言模型中替代自回歸解碼的有前景的方法，這可能會激發后續研究。

論文：Approximating Nash Equilibria in Normal-Form Games via Stochastic Optimization

• 機構：DeepMind
• 作者：Ian Gemp、Luke Marris、Georgios Piliouras
• 論文地址：https://openreview.net/forum?id=cc8h3I3V4E

這是一篇寫得非常清晰的論文，對解決開發高效且可擴展的納什求解器這一重要問題意義重大。

論文：Beyond Weisfeiler-Lehman: A Quantitative Framework for GNN Expressiveness

• 機構：北京大學、北京智源人工智能研究院
• 作者：張博航 蓋景初 杜逸恒 葉啟威 賀笛 王立威
• 論文地址：https://openreview.net/forum?id=HSKaGOi7Ar

GNN 的表達能力是一個重要課題，而當前的解決方案仍然存在很大的局限性。作者提出了一種基于同態計數的新表達理論（expressivity theory）。

論文：Flow Matching on General Geometries

• 機構：Meta
• 作者：Ricky T. Q. Chen、Yaron Lipman
• 論文地址：https://openreview.net/forum?id=g7ohDlTITL

本文探討了在一般幾何流形上進行生成建模這一具有挑戰性但又十分重要的問題，并提出了一種實用且高效的算法。本文的呈現非常出色，并在廣泛的任務上進行了全面的實驗驗證。

論文：Is ImageNet worth 1 video? Learning strong image encoders from 1 long unlabelled video

• 機構：中佛羅里達大學、 Google DeepMind、阿姆斯特丹大學等
• 作者：Shashanka Venkataramanan、Mamshad Nayeem Rizve、Joao Carreira、Yuki M Asano、Yannis Avrithis
• 論文地址：https://openreview.net/forum?id=Yen1lGns2o

本文提出了一種新穎的自監督圖像預訓練方法，即通過從連續視頻中學習。本文既貢獻了新類型的數據，也貢獻了一種從新數據中學習的方法。

論文：Meta Continual Learning Revisited: Implicitly Enhancing Online Hessian Approximation via Variance Reduction

• 機構：香港城市大學、騰訊 AI 實驗室、西安交通大學等
• 作者：Yichen Wu、Long-Kai Huang、Renzhen Wang、Deyu Meng、魏穎（Ying Wei）
• 論文地址：https://openreview.net/forum?id=TpD2aG1h0D

作者提出了一種新的元連續學習方差減少方法。該方法表現良好，不僅具有實際影響，而且還得到了 regret 分析的支持。

論文：Model Tells You What to Discard: Adaptive KV Cache Compression for LLMs

• 機構：伊利諾伊大學厄巴納 - 香檳分校、微軟
• 作者：Suyu Ge、Yunan Zhang、Liyuan Liu、Minjia Zhang、Jiawei Han、Jianfeng Gao
• 論文地址：https://openreview.net/forum?id=uNrFpDPMyo

本文針對 KV 緩存壓縮問題（該問題對基于 Transformer 的 LLM 影響很大），通過一個簡單的想法來減少內存，并且無需耗費大量資源進行微調或重新訓練即可部署。這種方法非常簡單，事實證明它非常有效。

論文：Proving Test Set Contamination in Black-Box Language Models

• 機構：斯坦福大學、哥倫比亞大學
• 作者：Yonatan Oren、Nicole Meister、Niladri S. Chatterji、Faisal Ladhak、Tatsunori Hashimoto
• 論文地址：https://openreview.net/forum?id=KS8mIvetg2

本文使用了一個簡單而優雅的方法，用于測試受監督的學習數據集是否已被包含在大型語言模型的訓練中。

論文：Robust agents learn causal world models

• 機構：Google DeepMind
• 作者：Jonathan Richens、Tom Everitt
• 論文地址：https://openreview.net/forum?id=pOoKI3ouv1

這篇論文在奠定理論基礎方面取得了長足進展，以便理解因果推理在智能體推廣到新領域的能力中所起到的作用，對一系列相關領域也產生了影響。

論文：The mechanistic basis of data dependence and abrupt learning in an in-context classification task

• 機構：普林斯頓大學、哈佛大學等
• 作者：Gautam Reddy
• 論文地址：https://openreview.net/forum?id=aN4Jf6Cx69

這是一項及時而極其系統性的研究，探討了我們在開始理解這些現象的時候，in-context 學習與 in-weight 學習之間的機制。

論文：Towards a statistical theory of data selection under weak supervision

• 機構：Granica Computing
• 作者：Germain Kolossov、Andrea Montanari、Pulkit Tandon
• 論文地址：https://openreview.net/forum?id=HhfcNgQn6p

這篇論文為數據子集選擇建立了統計基礎，并確定了流行的數據選擇方法的缺點。