LLM居然長「腦子」了？

就在剛剛，MIT傳奇大牛Max Tegmark團隊的新作，再次炸翻AI圈。

論文地址：https://arxiv.org/abs/2410.19750

他們發現，LLM學習的概念中，居然顯示出令人驚訝的幾何結構——

首先，它們形成一種類似人類大腦的「腦葉」；其次，它們形成了一種「語義晶體」，比初看起來更精確；并且，LLM的概念云更具分形特征，而非圓形。

具體而言，這篇論文探討了LLM中稀疏自編碼器（SAE）的特征向量表示的。

Max Tegmark團隊的研究結果表明，SAE特征所代表的概念宇宙在多個空間尺度上展現出有趣的結構，從語義關系的原子層面到整個特征空間的大規模組織。

這就為我們理解LLM的內部表征和處理機制，提供了全新的見解。

總之，這個研究實在太過震撼！網友直言：如果LLM和人腦相似，這實在是給人一種不好的預感……

所以，美麗的自然法則并不獨屬于人類，硅基也從屬于這一法則。

這個發現證明了：數學才是一切的基礎，而非人類構造。

LLM的三個層面：原子，大腦和星系

團隊發現，SAE特征的概念宇宙在三個層面上都具有有趣的結構：

1. 小尺度「原子」
2. 中尺度「大腦」
3. 大尺度「星系」

原子級的微觀結構，包含面為平行四邊形或梯形的「晶體」，這是對經典案例的推廣（比如「男人-女人-國王-王后」的關系）。

他們發現，當使用線性判別分析（LDA）高效地投影出諸如詞長等全局干擾方向時，這些平行四邊形和相關函數向量的質量會顯著提升。

而類似「大腦」的中間尺度結構，則展現出了明顯的空間模塊化特征，團隊將其描述為空間集群和共現集群之間的對齊。

比如，數學和代碼特征形成了一個「腦葉」，跟神經功能磁共振圖像中觀察到的人類大腦功能分區相似。

團隊運用多個指標，對這些功能區的空間局部性進行了量化分析，發現在足夠粗略的尺度上，共同出現的特征簇在空間上的聚集程度遠超過特征幾何隨機分布情況下的預期值。

而在「星系」的大尺度結構上，特征點云并非呈各向同性（各個方向性質相同），而是表現出特征值冪律分布，中間層的斜率最抖。

而聚類熵也在中間層周圍達到峰值！

看完這個研究，有網友給出了這樣的評價——

「如果這項研究出自Max Tegmark之外的任何人，我都會覺得他是瘋子。但Tegmark是我們這個時代最優秀的科學家之一。當我說意識是一種數學模式、一種物質狀態時，我引用的是他。」

LLM學習概念中，驚人的三層幾何結構

去年，AI圈在理解LLM如何工作上取得了突破，稀疏自編碼器在其激活空間中，發現了大量可以解釋為概念的點（「特征」）。

稀疏自編碼器作為在無監督情況下發現可解釋語言模型特征的方法，受到了很多關注，而檢查SAE特征結構的工作則較少。

這類SAE點云最近已經公開，MIT團隊認為，是時候研究它們在不同尺度上的結構了。

「原子」尺度：晶體結構

在SAE特征的點云中，研究者試圖尋找一種稱之為「晶體結構」的東西。

這是指反映概念之間語義關系的幾何結構，一個經典的例子就是（a, b, c, d）=（男人，女人，國王，女王）。

它們形成了一個近似的平行四邊形，其中b?a≈d?c。

這可以解釋為，兩個函數向量b?a和c?a分別將男性實體變為女性，將實體變為皇室。

研究者還搜索了只有一對平行邊b?a ∝ d?c的梯形（對應于僅一個函數向量）。

圖1（右）即為這樣的一個例子：（a, b, c, d）=（奧地利，維也納，瑞士，伯爾尼），其中函數向量可以解釋為將國家映射到其首都。

研究者通過計算所有成對的差向量并對其進行聚類來搜索晶體，這應該會產生與每個函數向量相對應的一個簇。

簇中的任何一對差向量，應該構成梯形或平行四邊形，這取決于在聚類之前差向量是否被歸一化（或者可以等效于，是否通過歐幾里得距離或余弦相似度，來量化了兩個差向量之間的相似性）。

最初搜索SAE晶體時，研究者發現的大多是噪聲。

為什么會出現這種情況？

為了調查原因，研究者將注意力集中在了在第0層（token嵌入）和第1層，在這些層中，許多SAE特征與單個詞相對應。

然后，他們研究了Gemma2 2B模型中來自數據集的殘差流激活，這些激活對應于先前報告的詞->詞函數向量，于是搞明白了這個問題。

如圖1所示，晶體四重向量通常遠非平行四邊形或梯形。

這與多篇論文指出的情況一致，即（男，女，國王，王后）并不是一個準確的平行四邊形。

之所以會有這種現象，是因為存在一種所謂的「干擾特征」。

比如，圖1（右）中的橫軸主要對應于單詞長度。

這在語義上是不相關的，并且對梯形（左）造成了嚴重破壞，因為「Switzerland」要比其他的詞長很多。

為了消除這些語義上無關的干擾向量，研究者希望將數據投影到與這些干擾向量正交的低維子空間上。

對于數據集，他們使用了線性判別分析（LDA）來實現這一點。LDA將數據投影到信號噪聲比特征模式上，其中「信號」和「噪聲」分別定義為簇間變化和簇內變化的協方差矩陣。

這種仿佛顯著改善了簇和梯形/平行四邊形的質量，突顯出干擾特征可能掩蓋了現有的晶體結構。

「大腦」尺度：中等尺度的模塊結構

接下來，我們到了論文最精彩的地方。

在這一部分，研究者們縮小了視角，試圖尋找更大規模的結構。

他們研究了功能相似的SAE特征組（這些特征組傾向于一起激活），想看看它們是否在幾何上也是相似的，是否會在激活空間中形成「腦葉」。

在動物的大腦中，這種功能組就是眾所周知的神經元所在的三維空間中的簇。

例如，布羅卡區涉及語言生成，聽覺皮層處理聲音，杏仁核主要處理情緒。

研究者非常好奇，是否可以在SAE特征空間中找到類似的功能模塊呢？

他們測試了多種方法，來自動發現這類功能性「腦葉」，并量化它們是否是空間模塊化的。

他們將腦葉分區定義為點云的一個k子集的劃分，這種分區的計算不使用位置信息，相反，他們是基于它們在功能上的關聯性來識別這些腦葉分區的。

具體來說，這些腦葉在同一文檔內傾向于一起激活。

為了自動識別功能腦葉，研究者首先計算了SAE特征共現的直方圖。

他們使用Gemma2 2B模型處理了來自The Pile的文檔。

研究者發現，在第12層的殘差流SAE具有16k個特征，平均L0為41。

他們記錄了這個SAE被激活的特征（如果某特征的隱藏激活值> 1，則將其視為被激活）。

如果兩個特征在同一個256個token的塊內同時激活，則它們被視為共現。

此長度提供了一種粗略的「時間分辨率」，使他們能夠發現傾向于在同一文檔中共同激活的token，而不僅限于同一token。

研究者使用了最大長度為1024的上下文，并且每個文檔只使用一個這樣的上下文，這就使他們在The Pile的每個文檔中最多有4個塊（和直方圖更新）。

他們在5萬個文檔中計算了直方圖。

基于此直方圖，他們根據SAE特征的共現統計，計算了每對特征之間的親和分數，并對得到的親和矩陣進行了譜聚類。

研究者嘗試了以下基于共現的親和度計算方法：簡單匹配系數、Jaccard相似度、Dice系數、重疊系數和Phi系數，這些都可以僅通過共現直方圖計算得出。

研究者們原本假設，功能上相似的點（即常見的共現SAE特征）在激活空間中應該是均勻分布的，不會表現出空間模塊性。

然而，出乎他們意料，圖2顯示出：腦葉在視覺上呈現出相當集中的空間分布！

在SAE點云中識別出的特征傾向于在文檔中一起激活，同時也在幾何上共同定位于功能「腦葉」中，左側的2腦葉劃分將點云大致分為兩部分，分別在代碼/數學文檔和英文文檔上激活。右側的3腦葉劃分主要將英文腦葉細分為一個包含簡短消息和對話的部分，以及一個主要包含長篇科學論文的部分

為了量化其統計顯著性，研究者使用了兩種方法來排除原假設：

1. 雖然可以基于特征是否同時出現進行聚類，但也可以基于SAE特征解碼向量的余弦相似度來進行譜聚類。

他們首先使用了余弦相似度對SAE特征進行聚類，然后使用共現對特征進行聚類，之后計算這兩組標簽之間的相互信息。

在某種意義上，這直接衡量了通過了解功能結構可以獲得多少關于幾何結構的信息。

2. 另一個方法就是訓練模型，通過幾何信息預測特征所屬的功能腦葉。

為此，研究者將基于共現聚類得到的腦葉標簽集作為目標，使用邏輯回歸模型直接根據點的位置預測這些標簽，并使用80-20的訓練-測試集劃分，報告該分類器的平衡測試準確率。

左上：空間聚類與功能聚類之間的調整互信息。右上：邏輯回歸的平衡測試準確率，用位置預測基于共現的聚類標簽。左下：隨機置換余弦相似度聚類標簽后的調整互信息。右下：隨機單位范數特征向量的平衡測試準確率。報告的統計顯著性基于Phi系數的腦葉聚類

圖3顯示，對于兩種度量方法，Phi系數效果最佳，提供了功能腦葉與特征幾何形狀之間的最佳對應關系。

為了證明其統計顯著性，研究者隨機打亂了基于余弦相似度聚類的簇標簽，并測量了調整后的相互信息。

同時，他們使用隨機高斯分布，對SAE特征解碼方向重新初始化并歸一化，然后訓練邏輯回歸模型從這些特征方向預測功能腦葉。

圖3（下）顯示，兩項測試都以極高的顯著性排除了零假設，分別達到了954和74個標準差，這就明確表明：研究者所觀察到的腦葉是真實的，而非統計偶然！

為了評估每個腦葉的專長，他們將The Pile數據集中的1萬份文檔輸入了Gemma2 2B模型，并再次記錄了第12層中每256個token塊內觸發的SAE特征。

對于每個token塊，他們都記錄了具有最高特征觸發比例的腦葉。

The Pile中的每個文檔都帶有名稱，指定該文檔屬于語料庫的哪個子集。對于每種文檔類型，針對該類型文檔中每個256 token塊，他們都會記錄哪一個腦葉具有最高的SAE特征觸發比例。

跨越數千份文檔后，可以查看每種文檔類型中，哪個腦葉的激活比例最高的直方圖。

在圖4中，研究者展示了使用Phi系數作為共現度量計算的三個腦葉結果，這構成了圖2中腦葉標記的基礎。

每個腦葉都具有最高比例的激活特征上下文分數。腦葉2通常在代碼和數學文檔上不成比例地被激活，腦葉0在包含文本（聊天記錄、會議記錄）的文檔上激活更多，腦葉1在科學論文上激活更多

圖5對比了五種不同共現度量的效果。盡管Phi系數最佳，但五種度量方法均能夠識別出「代碼/數學腦葉」。

「星系」尺度：「大規模」點云結構

最后一種，讓我們進一步拉遠視角，看看大模型在「星系」尺度結構中，點云的樣子。

主要是研究其整體形狀、聚類，類似于天文學家研究硬核系形狀和子結構的方式。

接下來，研究人員試圖去排除一個簡單的零假設（null hypothesis）：點云只是從各向同性多元高斯分布中采樣的。

如圖6直觀地表明，即使在其前三個主要成分中，點云分布也不完全是圓形的，某些主軸略寬于其他軸，類似人腦的形狀。

形狀分析

圖7（左）通過點云協方差矩陣的特征值排序，來量化這一現象。

它揭示出，這些特征值并非是恒定的，而是呈現出冪律衰減。

為了檢驗這個令人驚訝的冪律是否顯著，圖中將其與從各向同性高斯分布中抽取的點云的相應特征值譜進行比較。

結果顯示，后者更加平攤，并且與分析預測一致：

從多元高斯分布中抽取的N個隨機向量的協方差矩陣遵循Wishart分布

這一點，已經在隨機矩陣理論中，得到了充分的研究。

由于，最小特征值的急劇下降是由有限數據引起的，并在N趨于無窮大時消失，研究人員在后續分析中，將點云降維到其100個主成分。

換句話說，點云的形狀像一個「分形黃瓜」，其在連續維度上的寬度像冪律一樣下降。

研究人員發現，與SAE特征相比，激活值的冪律特征明顯較弱。未來，進一步研究其成因，也將是一個有趣的方向。

圖7（右）顯示了，上述冪律的斜率如何隨LLM層數變化，這是通過對100個最大特征進行線性回歸計算得到的。

研究人員觀察到一個清晰的模式：

中間層具有最陡的冪律斜率（第12層的斜率為-0.47），而早期和后期層（如第0層和第24層）的斜率較為平緩（分別為-0.24和-0.25）。

這可能暗示了，中間層充當了一個瓶頸，將信息壓縮到更少的主成分中，或許是為了更有效表示高層抽象概念。

圖7（右）還在對數尺度上，展示了有效云體積（協方差矩陣的行列式）如何隨層數變化。

聚類分析

一般來說，星系或微觀粒子的聚類，通常通過冪譜或相關函數來量化。

對于研究中高維數據來說，這種量化變得很復雜。

因為底層密度會隨著半徑變化，而對于高維高斯分布，密度強烈集中在相對較薄的球殼周圍。

由此，研究人員選擇通過估計點云，假定采樣的分布的「熵」來量化聚類。

他們使用k-NN方法來估計熵H，計算如下：

其中r_i是點i到第k個最近鄰的距離，d是點云的維度；n是點的數量；

常數Ψ是k-NN估計中的digamma項。作為基線，高斯熵代表了給定協方差矩陣的最大可能熵。

對于具有相同協方差矩陣的高斯分布，熵的計算方法如下：

其中λ_i是協方差矩陣的特征值。

研究人員定義聚類熵，或「負熵」，為H_gauss ? H，即熵比其最大允許值低多少。

圖8顯示了不同層的估計聚類熵。可以看到，SAE點云在中間層強烈聚集。

在未來研究中，研究這些變化是否主要取決于不同層中晶體或葉狀結構的顯著性，或者是否有完全不同的起源，將會是一個有趣的方向。

破解LLM運作機制黑箱，人類再近一步

總而言之，MIT團隊這項最新研究中，揭示了SAE點云概念空間具有三層有趣的結構：

原子尺度的晶體結構；大腦尺度的模塊結構；星系尺度的點云結構。

正如網友所言，親眼目睹了人類硅基孩子在我面前成長，既令人敬畏又令人恐懼。

Max Tegmark出品，必屬精品。

此前就有人發現，僅在下一個token預測上訓練的序列模型中，存在線性表征的類似證據。

23年2月，哈佛、MIT的研究人員發表了一項新研究Othello-GPT，在簡單的棋盤游戲中驗證了內部表征的有效性。

在沒有任何奧賽羅規則先驗知識的情況下，研究人員發現模型能夠以非常高的準確率預測出合法的移動操作，捕捉棋盤的狀態。他們認為語言模型的內部確實建立了一個世界模型，而不只是單純的記憶或是統計，不過其能力來源還不清楚。

吳恩達對該研究表示了高度認可。

受此啟發，Max Tegmark團隊發現，Llama-2-70B竟然能夠描繪出研究人員真實世界的文字地圖，還能預測每個地方真實的緯度和經度；而在時間表征上，模型成功預測了名人的死亡年份、歌曲電影書籍的發布日期和新聞的出版日期。

總之，這項研究在LLM中發現了「經度神經元」，在學界引起了巨大反響。

如今，Tegmark團隊又再進一步，幫我們從更微觀的角度剖析LLM的大腦。人類離解釋LLM運作機制的黑箱，又近了一步。