自Ilya Sutskever官宣離職OpenAI后，他的下一步動作成了大家關注焦點。

甚至有人密切關注著他的一舉一動。

這不，Ilya前腳剛剛點贊??了一篇新論文——

——網友們后腳就搶著都看上了：

論文來自MIT，作者提出了一個假說，用一句話總結是這樣嬸兒的：

神經網絡在不同的數據和模態上以不同目標進行訓練，正趨向于在其表示空間中形成一個共享的現實世界統計模型。

他們將這種推測起名為柏拉圖表示假說，參考了柏拉圖的洞穴寓言以及其關于理想現實本質的觀念。

Ilya甄選還是有保障的，有網友看過后將其稱為是今年看到的最好的論文：

還有網友真的有才，看完后化用《安娜·卡列尼娜》開篇的一句話來總結：所有幸福的語言模型都是相似的，每個不幸的語言模型都有自己的不幸。

化用懷特海名言：所有機器學習都是柏拉圖的注腳。

俺們也來看了一下，大概內容是：

作者分析了AI系統的表征收斂（Representational Convergence），即不同神經網絡模型中的數據點表征方式正變得越來越相似，這種相似性跨不同的模型架構、訓練目標乃至數據模態。

是什么推動了這種收斂？這種趨勢會持續下去嗎？它的最終歸宿在哪里？

經過一系列分析和實驗，研究人員推測這種收斂確實有一個終點，并且有一個驅動原則：不同模型都在努力達到對現實的準確表征。

一張圖來解釋：

其中圖像（X）和文本（Y）是共同底層現實（Z）的不同投影。研究人員推測，表征學習算法將收斂到對Z的統一表征上，而模型規模的增加、數據和任務的多樣性是推動這種收斂的關鍵因素。

只能說，不愧是Ilya感興趣的問題，太深奧了，俺們也不太懂，下面請AI幫忙解讀了一下給大家分享～

表征收斂的證據

首先，作者分析了大量先前的相關研究，同時也自己上手做了實驗，拿出了一系列表征收斂的證據，展示了不同模型的收斂、規模與性能、跨模態的收斂。

Ps：這項研究重點關注向量嵌入表征，即數據被轉化成向量形式，通過核函數描述數據點之間的相似性或距離。文中“表征對齊”概念，即如果兩種不同的表征方法揭示了類似的數據結構，那么這兩種表征被視為是對齊的。

1、不同模型的收斂，不同架構和目標的模型在底層表示上趨于一致。

目前基于預訓練基礎模型構建的系統數量逐漸增加，一些模型正成為多任務的標準核心架構。這種在多種應用上的廣泛適用性體現了它們在數據表征方式上具有一定通用性。

雖然這種趨勢表明AI系統正朝著一組較小的基礎模型集合收斂，但并不能證明不同的基礎模型會形成相同的表征。

不過，最近一些與模型拼接（model stitching）相關的研究發現，即使在不同數據集上訓練，圖像分類模型的中間層表征也可以很好地對齊。

比如有研究發現，在ImageNet和Places365數據集上訓練的卷積網絡的早期層可以互換，表明它們學習到了相似的初始視覺表征。還有研究發現了大量“羅塞塔神經元”（Rosetta Neurons），即在不同視覺模型中被激活的模式高度相似的神經元……

2、模型規模和性能越大，表征對齊程度越高。

研究人員在Places-365數據集上使用相互最近鄰方法衡量了78個模型的對齊情況，并評估了它們在視覺任務適應基準VTAB的下游任務表現。

結果發現，泛化能力更強的模型集群之間的表征對齊度明顯更高。

之前還有研究觀察到，較大模型之間的CKA內核對齊度更高。在理論上也有研究證明了輸出性能相似的模型內部激活也必然相似。

3、不同模態的模型表征收斂。

研究人員在維基百科圖像數據集WIT上使用相互最近鄰方法來測量對齊度。

結果揭示了語言-視覺對齊度與語言建模分數之間存在線性關系，一般趨勢是能力更強的語言模型與能力更強的視覺模型對齊得更好。

4、模型與大腦表征也顯示出一定程度的一致性，可能由于面臨相似的數據和任務約束。

2014年就有研究發現，神經網絡的中間層激活與大腦視覺區的激活模式高度相關，可能是由于面臨相似的視覺任務和數據約束。

此后有研究進一步發現，使用不同訓練數據會影響大腦和模型表征的對齊程度。心理學研究也發現人類感知視覺相似性的方式與神經網絡模型高度一致。

5、模型表征的對齊程度與下游任務的性能呈正相關。

研究人員使用了兩個下游任務來評估模型的性能：Hellaswag（常識推理）和GSM8K（數學）。并使用DINOv2模型作為參考，來衡量其他語言模型與視覺模型的對齊程度。

實驗結果顯示，與視覺模型對齊程度更高的語言模型在Hellaswag和GSM8K任務上的性能也更好?？梢暬Y果顯示，對齊程度與下游任務性能之間存在明顯的正相關。

之前的研究這里就不展開說了，感興趣的家人們可查看原論文。

收斂的原因

接著，研究團隊通過理論分析和實驗觀察，提出了表征收斂的潛在原因，并討論了這些因素如何共同作用，導致不同模型在表示現實世界時趨于一致。

機器學習領域，模型的訓練目標需減少在訓練數據上的預測誤差。為了防止模型過擬合，通常會在訓練過程中加入正則化項。正則化可以是隱式，也可以是顯式。

研究人員在這部分闡述了這個優化過程中，下圖每個彩色部分如何可能在促進表征收斂中發揮作用。

1、任務通用性導致收斂（Convergence via Task Generality）

隨著模型被訓練來解決更多任務，它們需要找到能夠滿足所有任務需求的表征：

能夠勝任N個任務的表征數量少于能夠勝任M個（M < N）任務的表征數量。因此，當訓練能同時解決多個任務的更通用模型時，可行的解決方案將會減少。

此前也有過過類似的原理被提出，圖解是這樣嬸兒的：

而且，容易的任務有多種解決方案，而困難的任務解決方案較少。因此，隨著任務難度的增加，模型的表征趨于收斂到更優的、數量更少的解決方案上。

2、模型容量導致收斂（Convergence via Model Capacity）

研究人員指出了容量假設，如果存在一個全局最優的表征，那么在數據足夠的條件下，更大的模型更有可能逼近這個最優解。

因此，使用相同訓練目標的較大模型，無論其架構如何，都會趨向于這一最優解的收斂。當不同的訓練目標有相似的最小值時，較大的模型更能有效地找到這些最小值，并在各訓練任務中趨于相似的解決方案。

圖解是這樣嬸兒的：

3、簡單性偏差導致收斂（Convergence via Simplicity Bias）

關于收斂的原因，研究人員還提出了一種假設。深度網絡傾向于尋找數據的簡單擬合，這種內在的簡單性偏差使得大模型在表示上趨于簡化，從而導致收斂。

也就是說，較大的模型擁有更廣泛的覆蓋范圍，能夠以所有可能的方式擬合相同的數據。然而，深度網絡的隱性簡單性偏好鼓勵較大的模型找到這些解決方案中最簡單的一個。

收斂的終點

經過一系列分析與實驗，如開頭所述，研究人員提出了柏拉圖表示假說，推測了這種收斂的終點。

即不同的AI模型，盡管在不同的數據和目標上訓練，它們的表示空間正在收斂于一個共同的統計模型，這個模型代表了生成我們觀察到的數據的現實世界。

他們首先構建了一個理想化的離散事件世界模型。該世界包含一系列離散事件Z，每個事件都是從某未知分布P(Z)中采樣得到的。每個事件可以通過觀測函數obs以不同方式被觀測，如像素、聲音、文字等。

接下來，作者考慮了一類對比學習算法，這類算法試圖學習一個表征fX，使得fX(xa)和fX(xb)的內積近似于xa和xb作為正樣本對（來自臨近觀測）的對數odds與作為負樣本對（隨機采樣）的對數odds之比。

經過數學推導，作者發現如果數據足夠平滑，這類算法將收斂到一個核函數是xa和xb的點互信息（PMI）核的表征fX。

由于研究考慮的是一個理想化的離散世界，觀測函數obs是雙射的，因此xa和xb的PMI核等于相應事件za和zb的PMI核。

這就意味著，無論是從視覺數據X還是語言數據Y中學習表征，最終都會收斂到表示P(Z)的相同核函數，即事件對之間的PMI核。

研究人員通過一個關于顏色的實證研究來驗證這一理論。無論是從圖像的像素共現統計中還是從文本的詞語共現統計中學習顏色表征，得到的顏色距離都與人類感知相似，并且隨著模型規模增大，這種相似性也越來越高。

這符合了理論分析，即更大的模型能力可以更準確地建模觀測數據的統計量，進而得到更接近理想事件表征的PMI核。

最后的一些思考

論文最后，作者總結了表征收斂對AI領域和未來研究方向的潛在影響，以及柏拉圖式表征假設的潛在限制和例外情況。

他們指出，隨著模型規模的增加，表示的收斂可能會帶來的影響包括但不限于：

• 雖然簡單擴大規?？梢蕴岣咝阅埽煌椒ㄔ跀U展效率上存在差異。
• 如果存在模態無關的柏拉圖式表征，那么不同模態的數據應當被聯合訓練以找到這種共享表征。這解釋了為什么將視覺數據加入語言模型訓練是有益的，反之亦然。
• 對齊的表征之間的轉換應相對簡單，這可能解釋了：有條件生成比無條件生成更容易、無配對數據也可實現跨模態轉換。
• 模型規模擴大可能會減少語言模型的虛構內容傾向和某些偏差，使其更準確反映訓練數據中的偏差，而非加劇偏差。

作者強調，上述影響的前提是，未來模型的訓練數據要足夠多樣和無損，才能真正收斂到反映實際世界統計規律的表征。

同時，作者也表示，不同模態的數據可能包含獨特的信息，可能導致即使在模型規模增加的情況下，也難以實現完全的表示收斂。此外，目前并非所有表征都在收斂，例如機器人領域還沒有標準化的狀態表征方式。研究者和社區的偏好可能導致模型向人類表征方式收斂，從而忽略了其他可能的智能形式。

而且專門設計用于特定任務的智能系統，可能不會與通用智能收斂到相同的表征。

作者還強調了測量表示對齊的方法存在爭議，不同的度量方法可能會導致不同的結論。即使不同模型的表征相似，但還有差距有待解釋，目前無法確定這種差距是否重要。

更多細節及論證方法，給大噶把論文放這兒了～

論文鏈接：https://arxiv.org/abs/2405.07987