天啦擼！！AI想出來的idea，還真有人寫成論文了。

甚至預印本arXiv、博客、代碼全都有了。

今年8月，Sakana AI（由Transformer論文8位作者的最后一位Llion Jones創業成立）這家公司推出了史上首位“AI科學家”，且一登場就一口氣生成了十篇完整學術論文。

而現在，受其中一篇論文想法的啟發，人類研究員真的寫出相關論文并在arXiv上公開了。

OpenAI前研究團隊負責人Jeff Clune激動直言：

簡直不敢相信！這是它產生的我最喜歡的想法之一。看到與人類達成一致真是太酷了，人類確實執行得更好。

話不多說，讓我們來康康論文具體內容。

Claude提的idea，被人類寫成論文了

翻開“AI科學家”之前撰寫的論文，我們找到了Jeff Clune提到的這一篇。

《Grokking Through Compression: Unveiling Sudden Generalization via Minimal Description Length》
通過壓縮實現Grokking：借助最小描述長度（MDL）揭示突然泛化現象

根據描述，這篇論文的想法由Claude 3.5 Sonnet在第22次迭代時提出。

它主要探討了神經網絡中最小描述長度（MDL）與 “grokking” 現象（模型經長時間訓練后突然泛化）的關系，從信息論視角研究突然泛化的機制。

其中，MDL可以被看成一種衡量模型復雜度和可壓縮性的方法，即模型既要能夠很好地擬合數據，又不能過于復雜（避免過擬合）。

具體而言，研究引入了一種基于權重剪枝的新型MDL估計技術，并將其應用于多種數據集，包括模塊化算術和排列任務。相關實驗揭示了MDL減少與泛化能力提高之間存在強烈的相關性（下圖），MDL的轉變點通常在“grokking”事件發生之前或與之同時出現。

此外，研究觀察到在“grokking”與非“grokking”情境下MDL演變模式的差異，前者以快速的MDL減少后持續泛化為特征。這些發現為理解“grokking”的信息論基礎提供了見解，并表明在訓練期間監控MDL可以預測即將發生的泛化。

Okk，了解了原論文，我們再來看人類選手最新發表的內容。

概括而言，他們研究了神經網絡在 “grokking” 現象中的復雜性動態，即網絡從記憶訓練數據到實現完美泛化的過渡過程，并提出了一種基于失真壓縮理論的新方法來衡量神經網絡的復雜性。

首先，作者之一Branton DeMoss自述，他們受到了Sean Carroll和Scott Aaronson之前研究的啟發。

通過觀察咖啡與奶油混合的現象，Scott等人發現復雜性隨著時間的推移首先上升，然后下降，這一過程與熵單調增加的趨勢相似。

而DeMoss團隊形式化了這一直覺，并將其應用于神經網絡，以跟蹤這些網絡學習的抽象復雜度。

展開來說，作者們同樣先介紹了grokking現象，即神經網絡在長時間過度擬合訓練數據后突然能夠泛化的能力。

其中x軸表示優化步數，y軸表示準確率；紅線代表訓練集的準確率，綠線代表驗證集的準確率。

可以看到，如果訓練一個小型Transformer來進行模擬，在幾百個訓練步驟之后，模型已經完美地擬合了訓練數據；然而，它直到大約10^5個訓練步驟才能實現泛化。

為了解釋這一現象，團隊引入了一種基于失真壓縮和Kolmogorov復雜性的新方法來衡量神經網絡的復雜性，并通過這一框架追蹤了grokking過程中網絡復雜性的動態變化。

按照作者的比喻，這就像“神經網絡的JPEG”。

研究結果表明，網絡在從記憶到泛化的過渡中，其復雜性首先上升，隨后在泛化發生時下降。

進一步地，研究發現如果神經網絡沒有任何形式的正則化（一種防止過擬合的技術），它將無法從記憶階段過渡到泛化階段，而是會無限期地保持記憶模式。

沒有正則化的反應：

有正則化的反應：

此外，作者指出傳統的復雜性評判標準（如參數數量和權重范數）并不能準確描述模型的復雜性，因為它們忽略了訓練過程中的變化。

對此，他們采用了最小描述長度（MDL）原則和Kolmogorov復雜度來定義和近似復雜性，并通過實驗驗證了這種方法，并強調了簡單模型在數據壓縮中的優勢。

最終，研究表明理解復雜性對預測模型泛化能力至關重要。

更多細節感興趣可以查閱原論文（地址文末）。

可以看出，一個由AI最初提出的想法，最終由人類來完成了更細致的論證。

有網友就分析指出AI寫的那篇實驗結果不及人類研究員：

而之前撰寫過“AI科學家”總論文的共同一作Cong Lu也表示：

誰知道未來AI還會激發出哪些其他想法……

BTW，就在Sakana AI公布“AI科學家獨立生成10篇學術論文”的消息后，公司在9月份還拿到了一筆2億美元的A輪融資，里面還有英偉達的參與。

總之，AI以后不僅能自己寫論文，還能和人類搭配干活了。

論文：https://arxiv.org/abs/2412.09810
GitHub：https://github.com/brantondemoss/GrokkingComplexity
博客：https://brantondemoss.com/research/grokking/