大數據文摘出品

7月份，紐約大學（NYU）博士后Naomi Saphra撰寫了一篇題為“Interpretability Creationism”，從進化論的角度解釋了隨機梯度下降（SGD）與深度學習之間的關系，解讀視角發人深思。

例如：“就像人類尾骨一樣，有些現象在模型訓練過程中可能已經失去了原來的作用，變成了類似退化器官的存在。”

“無論是在研究寄生育雛行為還是神經網絡的內部表現，如果不考慮系統是如何發展的，就很難分辨哪些是有價值信息。”

以下是原文，文摘菌做了不改變原意的編譯，請欣賞。

幾個世紀前，歐洲人布谷鳥蛋出現在鳥巢中是筑巢鳥的榮譽。因為，筑巢鳥熱情地喂養她的“神圣客人”，甚至比喂養自己的（被驅逐的）雛鳥還要賣力，筑巢鳥的這種行為符合基督教熱情好客的精神。

1859年，查爾斯·達爾文研究了另一種偶爾寄生的雀科鳥類——雀鳥，從而質疑了鳥類行為的樂觀、合作觀念。

如果不從進化論角度考慮布谷鳥的角色，人們很難認識到筑巢鳥不是布谷鳥幼鳥的慷慨主人，而是一個不幸的受害者。

正如進化生物學家Theodosius Dobzhansky所言：“沒有進化的光輝，生物學中的一切都無法理解。”

雖然隨機梯度下降并不是生物進化的真正形式，但機器學習中的事后分析與生物學的科學方法有很多相似之處，這通常需要理解模型行為的起源。

無論是在研究寄生育雛行為還是神經網絡的內部表現，如果不考慮系統是如何發展的，就很難分辨哪些是有價值信息。

因此，在分析模型時，不僅要關注訓練結束時的狀態，還要關注訓練過程中的多個中間檢查點。這樣的實驗開銷很小，但可能帶來有意義的發現，有助于更好地理解和解釋模型的行為。

恰到好處的故事

人類是因果思考者，喜歡尋找事物之間的因果關系，即使可能缺乏科學依據。

在NLP領域，研究者們也傾向于為觀察到的行為提供一種可解釋的因果解釋，但這種解釋可能并沒有真正揭示模型的內部工作原理。例如，人們可能會高度關注句法注意力分布或選擇性神經元等可解釋性工件，但實際上我們并不能確定模型是否真的在使用這些行為模式。

為了解決這個問題，因果建模可以提供幫助。當我們嘗試通過干預（修改或操作）模型的某些特征和模式來測試它們對模型行為的影響時，這種干預可能只針對某些明顯的、特定類型的行為。換句話說，在嘗試理解模型如何使用特定特征和模式時，我們可能只能觀察到其中一部分行為，而忽略了其他潛在的、不太明顯的行為。

因此，在實踐中，我們可能只能對表示中的特定單元進行某些類型的輕微干預，無法正確反映特征之間的相互作用。

在嘗試通過干預（修改或操作）模型的某些特征和模式來測試它們對模型行為的影響時，我們可能會引入分布偏移。顯著的分布偏移可能導致不穩定的行為，那么為什么不會導致偽造的可解釋性工件呢？

譯者注：分布偏移指的是模型在訓練數據上建立的統計規律與干預后數據之間的差異。這種差異可能導致模型無法適應新的數據分布，從而表現出不穩定的行為。

幸運的是，研究生物進化的方法可以幫助我們理解模型中產生的一些現象。就像人類尾骨一樣，有些現象在模型訓練過程中可能已經失去了原來的作用，變成了類似退化器官的存在。有些現象可能存在相互依賴的關系，例如，在訓練早期出現的某些特征可能影響了后續其他特征的發展，就像動物在發展復雜的眼睛之前，需要先有基本的光感應能力。

還有一些現象可能是由于特征之間的競爭導致的，例如，具有很強嗅覺能力的動物可能不太依賴視覺，因此視覺方面的能力可能會減弱。另外，一些現象可能只是訓練過程中的副作用，類似于我們基因組中的垃圾DNA，它們占據了基因組的很大一部分，但并不直接影響我們的外觀和功能。

在訓練模型的過程中，有些未使用的現象可能會出現，我們有很多理論來解釋這種現象。例如，信息瓶頸假說預測，在訓練早期，輸入信息會被記憶下來，然后在模型中進行壓縮，只保留與輸出相關的信息。這些早期記憶在處理未見過的數據時可能并不總是有用，但它們對于最終學習到特定輸出表示是非常重要的。

我們還可以考慮到退化特征的可能性，因為訓練模型的早期和后期行為是很不一樣的。早期的模型更簡單。以語言模型為例，早期的模型類似于簡單的n-gram模型，而后期模型則能表現出更復雜的語言模式。這種訓練過程中的混合可能會產生一些副作用，而這些副作用很容易被誤認為是訓練模型的關鍵部分。

進化觀點

僅根據訓練結束后的特征來理解模型的學習傾向是非常困難的。根據Lovering等人的研究成果，觀察訓練開始時特征提取的容易程度以及對微調數據的分析，對于理解微調性能的影響比僅僅在訓練結束時進行的分析要深入得多。

語言分層行為是一個典型的基于分析靜態模型的解釋。有人認為在句子結構中位置靠近的單詞在模型中的表示會更接近，而與結構上較遠的單詞表示相距較遠。那么，我們如何知道模型是通過按照句子結構上的接近程度來對單詞進行分組呢？

實際上，我們可以更有把握地說，某些語言模型是分層的，因為早期模型在長短時記憶網絡（LSTM）和Transformer中編碼了更多的局部信息，并且當這些依賴關系可以分層地堆疊在熟悉的短成分上時，它們更容易學習更遠距離的依賴關系。

處理解釋性創造主義問題時遇到了一個實際案例。使用不同的隨機種子多次訓練文本分類器時，可以觀察到模型分布在多個不同的簇中。還發現，可以通過觀察模型在損失表面上與其他模型的連接情況來預測模型的泛化行為。換句話說，根據損失表面上的位置，模型的泛化性能可能會有所不同。這種現象可能與訓練過程中使用的隨機種子有關。

但是真的可以這么說嗎？如果一個簇實際上對應于模型的早期階段呢？如果一個簇實際上只是表示了模型的早期階段，那么最終這些模型可能會轉向具有更好泛化性能的簇。因此，在這種情況下，觀察到的現象只表示一些微調過程比其他過程慢。

需要證明訓練軌跡可能會陷入損失表面上的一個盆地（basin），從而解釋訓練模型中泛化行為的多樣性。實際上，在檢查了訓練過程中的幾個檢查點后，發現位于簇中心的模型會在訓練過程中與其簇中的其他模型建立更強的聯系。然而，有些模型還是能夠成功地轉向一個更好的簇。

一個建議

對于研究問題的回答，僅觀察訓練過程是不夠的。在尋求因果關系時，需要進行干預。以生物學中關于抗生素耐藥性的研究為例，研究人員需要故意將細菌暴露于抗生素，而不能依賴自然實驗。因此，基于訓練動態的觀察所做的聲明（statement），需要實驗證實。

并非所有聲明都需要觀察訓練過程。在古代人類看來，許多器官都有明顯的功能，如眼睛用于看東西，心臟用于泵血等。在自然語言處理（NLP）領域中，通過分析靜態模型，我們可以做出簡單的解讀，例如特定神經元在特定屬性存在時會激活，或某些類型的信息在模型中仍然可獲取。

然而，訓練過程的觀察仍然可以弄明白許多在靜態模型中進行的觀察的含義。這意味著，盡管不是所有問題都需要觀察訓練過程，但在許多情況下，了解訓練過程對于理解觀察結果是有幫助的。

建議很簡單：在研究和分析訓練模型時，不要僅關注訓練過程中的最終結果。相反，應該將分析應用于訓練過程中的多個中間檢查點；在微調模型時，要檢查訓練早期和晚期的幾個點。在訓練過程中觀察模型行為的變化非常重要，這可以幫助研究人員更好地理解模型策略是否合理，并在觀察到訓練早期發生的情況后對模型策略進行評估。

參考鏈接：https://thegradient.pub/interpretability-creationism/