最近 Distillation 這個詞見的非常多。

前兩天大火的DeepSeek團隊發布的DeepSeek-R1，其670B參數的大模型通過強化學習與蒸餾技術，成功將能力遷移至7B參數的輕量模型中。

蒸餾后的模型超越同規模傳統模型，甚至接近OpenAI的頂尖小模型OpenAI-o1-mini。

在人工智能領域，大型語言模型（如GPT-4、DeepSeek-R1）憑借數千億級參數，展現出卓越的推理與生成能力。然而，其龐大的計算需求與高昂的部署成本，嚴重限制了其在移動設備、邊緣計算等場景的應用。

如何在不損失性能的前提下壓縮模型規模？知識蒸餾（Knowledge Distillation）就是解決這個問題的一種關鍵技術

1. 什么是知識蒸餾 

知識蒸餾是一種機器學習技術，目的是將預先訓練好的大型模型（即 "教師模型"）的學習成果轉移到較小的 "學生模型 "中。

在深度學習中，它被用作模型壓縮和知識轉移的一種形式，尤其適用于大規模深度神經網絡。

知識蒸餾的本質是知識遷移，模仿教師模型的輸出分布，使學生模型繼承其泛化能力與推理邏輯。

• 教師模型（Teacher Model）：通常為參數量大、訓練充分的復雜模型（如DeepSeek-R1），其輸出不僅包含預測結果，還隱含類別間的相似性信息。
• 學生模型（Student Model）：結構精簡、參數較少的小型模型，通過匹配教師模型的“軟目標”（Soft Targets）實現能力遷移。

傳統深度學習的目標是訓練人工神經網絡，使其預測結果更接近訓練數據集中提供的輸出示例，而知識蒸餾與傳統監督學習不同，知識蒸餾要求學生模型不僅擬合正確答案（硬目標），還讓學生模型學習教師模型的“思考邏輯”—即輸出的概率分布（軟目標）。

例如在圖像分類任務中，教師模型不僅會指出“這張圖是貓”（90%置信度），還會給出“像狐貍”（5%）、“其他動物”（5%）等可能性。

這些概率值如同老師批改試卷時標注的“易錯點”，學生模型通過捕捉其中的關聯性（如貓與狐貍的尖耳、毛發特征相似），最終學會更靈活的判別能力，而非機械記憶標準答案

2. 知識蒸餾的工作原理 

在 2015 年的論文《Distilling the Knowledge in a Neural Network》中，提出將訓練分為兩個目的不同的階段，作者打了個比方：許多昆蟲的幼蟲形態優化用于從環境中汲取能量和養分，而成蟲形態則完全不同，優化用于旅行和繁殖，而傳統的深度學習則在訓練和部署階段使用相同的模型，盡管它們的要求不同。

論文中對“知識”的理解也有不同：

論文發表之前，人們傾向于將訓練模型中的知識與學習到的參數值等同起來，這使得很難看到通過改變模型的形式而保持相同的知識。

對知識的更抽象的看法是，它是一個學習到的從輸入向量到輸出向量的映射。

知識蒸餾技術不僅要復制教師模型的輸出，還要模仿他們的 "思維過程"。在LLMs時代，知識蒸餾實現了抽象品質的轉移，如風格、推理能力以及與人類偏好和價值觀的一致性。

知識蒸餾的實現可分解為三個核心步驟：

2.1. 軟目標生成：讓答案“模糊化”

教師模型通過高溫Softmax技術，將原本“非黑即白”的答案轉化為包含細節信息的“模糊提示”。

當溫度（Temperature）升高（例如T=20），模型輸出的概率分布會更平滑。

例如，原始判斷“貓（90%）、狐貍（5%）”

可能變為“貓（60%）、狐貍（20%）、其他（20%）”。

這種調整迫使學生模型關注類別間的關聯性（如貓與狐貍的耳朵形狀相似），而非機械記憶標簽。

2.2. 目標函數設計：軟目標與硬目標的平衡

學生模型的學習目標是雙重的：

• 模仿教師的思考邏輯（軟目標）：通過匹配教師的高溫概率分布，學習類間關系。
• 記住正確答案（硬目標）：確?；A準確率不下降。

學生模型的損失函數為軟目標與硬目標的加權組合，兩者的權重需動態調整。

例如，賦予軟目標70%的權重、硬目標30%時，類似于學生用70%時間研究老師的解題思路，30%時間鞏固標準答案，最終實現靈活性與準確性的平衡。

2.3. 溫度參數的動態調節,控制知識的“傳遞粒度”

溫度參數是知識蒸餾的“難度調節旋鈕”：

• 高溫模式（如T=20）：答案高度模糊，適合傳遞復雜關聯（如區分不同品種的貓）。
• 低溫模式（如T=1）：答案接近原始分布，適合簡單任務（如數字識別）。
• 動態策略：初期用高溫廣泛吸收知識，后期降溫聚焦關鍵特征。

例如，語音識別任務需要更低溫度，以保持精準性。這一過程如同教師根據學生水平調整教學深度—從啟發式教學到應試訓練。

3. 知識蒸餾的重要性 

對于大多數實際應用案例來說，特定任務中性能最好的模型往往過于龐大、緩慢或昂貴，但它們具有優秀的性能，這來自于它們的規模和在大量訓練數據上進行預訓練的能力。

相反，小型模型雖然速度更快、計算要求更低，但在準確性、精細度和知識容量方面卻不及參數更多的大型模型。

這時就體現出了知識蒸餾的應用價值，如：

DeepSeek-R1的670B參數大模型通過知識蒸餾技術，將其能力遷移至7B參數的輕量模型中：DeepSeek-R1-7B，在各方面超越了非推理模型如 GPT-4o-0513。DeepSeek-R1-14B 在所有評估指標上超過了 QwQ-32BPreview，而 DeepSeek-R1-32B 和 DeepSeek-R1-70B 在大多數基準測試中顯著超過了 o1-mini。

這些結果展示了蒸餾的強大潛力。知識蒸餾已經成為一種重要的技術手段。

在自然語言處理領域，許多研究機構和企業使用蒸餾技術將大型語言模型壓縮為小型版本，用于翻譯、對話系統和文本分類等任務。

例如，大型模型在蒸餾后，可以在移動設備上運行，提供實時翻譯服務，而無需依賴強大的云計算資源。

在物聯網和邊緣計算中，知識蒸餾的價值更加顯著。傳統的大模型往往需要強大的GPU集群支持，而小型模型經過蒸餾后能夠以更低的功耗運行在微處理器或嵌入式設備上。

這種技術不僅大幅度降低了部署成本，還使得智能系統可以更廣泛地應用到醫療、自動駕駛和智能家居等領域。

本文轉載自 ??AI取經路??，作者： AI取經路