當前 AI 在推理能力提升上遇到了諸多瓶頸，這在一定程度上限制了其進一步發展和廣泛應用。在傳統的 AI 訓練中，模型對大量監督數據的依賴是一個顯著問題。

監督學習需要大量帶有標注的數據來訓練模型，使其能夠對新的數據進行準確的分類或預測。然而，獲取高質量的標注數據往往需要耗費大量的人力、物力和時間。

以圖像識別為例，為了訓練一個能夠準確識別各種動物的 AI 模型，需要人工對大量的動物圖像進行標注，標記出圖像中動物的種類、特征等信息。這個過程不僅繁瑣，而且容易出現標注錯誤，從而影響模型的訓練效果。

在復雜任務中，AI 的推理也存在明顯的局限性。許多 AI 模型在面對需要多步邏輯推理的任務時，表現并不理想。

強化學習是一種通過讓智能體在環境中不斷嘗試和學習，以獲得最優的行為策略的方法。與監督學習不同，強化學習不需要大量的標注數據，而是通過智能體與環境的交互，根據環境反饋的獎勵信號來學習最優策略。

DeepSeek-R1-Zero 模型完全依賴于強化學習技術，而不涉及任何形式的監督式微調（Supervised Fine-Tuning，SFT）。這種全新的訓練方式使得模型能夠在沒有人為干預的情況下，通過自我進化不斷提升其推理能力。它的出現，為 AI 推理能力的提升開辟了一條新的道路，也為解決當前 AI 發展的困境帶來了新的希望。

"自我進化"的顯著特點

（一）自驗證和反思：模型的自我糾錯

在 DeepSeek-R1-Zero 的自我進化過程中，自驗證和反思是其重要的特點之一。自驗證是指模型能夠對自身的推理過程和結果進行檢驗，判斷其是否合理和準確。反思則是在自驗證的基礎上，當發現問題時，模型能夠對自己的思考過程進行回顧和分析，找出錯誤的原因，并嘗試調整和改進。

具體來說，在實際應用中，當模型面對一個數學問題時，它會按照自己的推理邏輯得出一個答案。然后，模型會啟動自驗證機制，通過驗證函數對這個答案進行檢查。如果發現答案不符合數學運算的基本規則，比如在加法運算中，結果小于其中一個加數，那么模型就會意識到可能出現了錯誤。

接下來，模型會進入反思階段，它會回顧自己的推理步驟，分析是哪個環節出現了問題?？赡苁窃谀硞€計算步驟中出現了失誤，或者是對問題的理解存在偏差。通過反思，模型會嘗試調整自己的推理過程，重新計算答案，直到得到一個經過自驗證認為合理的結果。

這種自驗證和反思的能力，使得 DeepSeek-R1-Zero 能夠在不斷的自我學習和進化中，提高自己的推理準確性和可靠性。它不再僅僅依賴于外部的監督和糾正，而是能夠自主地發現問題并解決問題，這是其在人工智能領域中具有重要意義的創新之處。

（二）長鏈思考（CoT）生成：深度推理的奧秘

長鏈思考（CoT）生成是 DeepSeek-R1-Zero 另一個引人注目的特點。長鏈思考是指模 型在處理復雜問題時，能夠生成一系列連貫的、逐步深入的推理步驟，就像人類在解決復雜問題時進行的深度思考一樣，通過一環扣一環的邏輯推理，最終得出準確的答案。

DeepSeek-R1-Zero 能夠生成長鏈思考，背后有著復雜而精妙的機制。從數學模型的角度來看，它可以被理解為一個基于序列生成的過程。

這種長鏈思考的能力，使得 DeepSeek-R1-Zero 能夠處理那些需要深度推理和綜合分析的復雜問題。它能夠將一個大問題分解為多個小問題，逐步解決，從而提高了模型在復雜任務中的表現。與傳統的語言模型相比，DeepSeek-R1-Zero 的長鏈思考能力使其在面對復雜問題時，能夠提供更加詳細、準確和有邏輯的回答，這對于推動人工智能在科學研究、工程設計、醫療診斷等領域的應用具有重要的意義。

（三）“aha moment”：靈感閃現的瞬間

“aha moment” 是 DeepSeek-R1-Zero 在訓練過程中出現的一種獨特現象，它為模型的推理能力提升帶來了意想不到的突破。“aha moment” 原本是心理學中的一個概念，指的是人們在解決問題時突然獲得靈感、恍然大悟的瞬間。在 DeepSeek-R1-Zero 中，“aha moment” 表現為模型在訓練過程中，突然對自己的初始推理步驟進行重新評估和調整，從而顯著提高推理能力。

具體來說，在訓練過程中，模型會不斷地嘗試解決各種問題，在這個過程中，它可能會陷入一些局部最優解或者錯誤的推理路徑。然而，在某些特定的時刻，模型會自發地對自己的初始步驟進行反思和重新審視。它會從不同的角度去思考問題，嘗試不同的推理策略，就好像突然找到了新的思路一樣。這種重新評估和調整往往會帶來推理能力的顯著提升，使得模型能夠更好地解決復雜問題。

從原理上來說，“aha moment” 的出現與模型的強化學習過程密切相關。在強化學習中，模型通過與環境進行交互，根據環境反饋的獎勵信號來不斷調整自己的行為策略。當模型在解決問題時，它會根據當前的推理步驟得到一個獎勵值，如果這個獎勵值較低，說明當前的推理策略可能不是最優的。在這種情況下，模型會嘗試探索新的推理路徑，當它偶然發現一種新的、更有效的推理方式時，就會出現 “aha moment”。這個新的推理方式會得到更高的獎勵值，模型會記住這個成功的經驗，并在后續的推理中更多地采用這種方式，從而提高自己的推理能力。

“aha moment” 的出現，為 DeepSeek-R1-Zero 的自我進化提供了一種強大的驅動力。它使得模型能夠在不斷的嘗試和探索中，突破原有的思維局限，發現更優的推理策略，從而實現推理能力的跨越式提升。這種現象也為人工智能的發展提供了新的思路和方向，讓我們看到了模型在自主學習和進化過程中所蘊含的巨大潛力。

實現自我進化的技術基石

（一）強化學習：驅動進化的引擎

強化學習作為 DeepSeek-R1-Zero 實現自我進化的核心技術之一，在其發展過程中發揮著至關重要的作用。強化學習是一種基于智能體與環境交互的學習范式，智能體在環境中執行動作，環境根據智能體的動作反饋獎勵信號，智能體通過不斷地嘗試和學習，調整自己的行為策略，以最大化長期累積獎勵。

在 DeepSeek-R1-Zero 中，強化學習的過程可以看作是模型在不斷地探索和嘗試解決各種問題。以數學問題為例，模型就像是一個解題者，它會根據自己當前的知識和策略，嘗試不同的解題步驟。如果它的解題步驟得到了正確的答案，就會得到一個正的獎勵信號；如果答案錯誤，或者解題過程不符合要求，就會得到一個負的獎勵信號。模型通過不斷地接收這些獎勵信號，調整自己的解題策略，逐漸提高自己解決數學問題的能力。

DeepSeek-R1-Zero 通過不斷地與環境交互，根據獎勵信號來調整自己的策略，逐漸優化自己的推理能力。在這個過程中，它不斷地嘗試新的推理路徑和方法，通過強化學習的機制，將那些能夠得到高獎勵的推理策略保留下來，從而實現自我進化。

（二）群體相對策略優化（GRPO）算法

群體相對策略優化（GRPO）算法是 DeepSeek-R1-Zero 中另一個關鍵的技術，它為模型的訓練和優化提供了高效的方法。GRPO 算法的核心思想是通過群體相對策略優化，避免了傳統強化學習算法中對價值網絡的依賴，從而降低了訓練成本，提高了訓練效率。

在傳統的近端策略優化（PPO）算法中，需要維護一個與策略模型大小相當的價值網絡來估計優勢函數，這在大規模模型訓練中會帶來巨大的計算和存儲負擔。而 GRPO 算法則摒棄了這種方式，它通過從舊策略中采樣一組輸出，并最大化目標函數來優化策略模型。

通過這種方式，GRPO 算法能夠在不依賴價值網絡的情況下，實現對策略模型的有效優化，同時保持訓練過程的穩定性和高效性。與傳統的 PPO 算法相比，GRPO 算法具有更低的計算成本和更好的訓練穩定性，能夠更有效地提升 DeepSeek-R1-Zero 的推理能力。

（三）獎勵建模：引導進化的方向

獎勵建模在 DeepSeek-R1-Zero 的自我進化過程中起著引導方向的重要作用。它就像是一個指南針，告訴模型什么樣的行為是好的，什么樣的行為是不好的，從而引導模型朝著正確的方向進化。

DeepSeek-R1-Zero 采用了一個基于規則的獎勵系統，這個系統主要包含兩類獎勵：準確性獎勵和格式獎勵。

準確性獎勵主要用于評估模型回答的正確性。對于具有確定性結果的任務，如數學問題，要求模型以特定格式（如在方框內）提供最終答案，以便能夠可靠地基于規則驗證正確性。在解決數學方程時，模型給出的答案如果經過驗證是正確的，就會得到較高的準確性獎勵；如果答案錯誤，則得到較低的獎勵。對于編程問題，如 LeetCode 問題，可以使用編譯器基于預定義的測試用例生成反饋，判斷代碼的正確性，從而給予相應的準確性獎勵。如果模型編寫的代碼能夠通過所有的測試用例，就會獲得較高的獎勵；否則，獎勵較低。

通過這兩種獎勵的結合，DeepSeek-R1-Zero 能夠在訓練過程中不斷地調整自己的行為，提高自己的推理能力和輸出質量。準確性獎勵促使模型努力尋找正確的答案，而格式獎勵則幫助模型整理自己的思路，以更清晰、更有條理的方式呈現推理過程。這種獎勵建模的方式為模型的自我進化提供了明確的目標和方向，使得模型能夠在不斷的嘗試和學習中，逐漸提升自己的性能，成為一個更強大的推理模型。

用實力說話：性能表現與成果

驚艷的基準測試成績

DeepSeek-R1-Zero 在多個權威基準測試中展現出了卓越的性能，其成績令人矚目。在 AIME 2024（美國數學邀請賽）基準測試中，這是一項極具挑戰性的數學競賽，要求參賽者具備深厚的數學知識和強大的推理能力。DeepSeek-R1-Zero 在訓練初期，pass@1 分數僅為 15.6% ，但隨著訓練的深入，通過不斷地自我進化和優化，其 pass@1 分數大幅提升至 71.0% 。更為驚人的是，當采用多數投票機制時，其分數更是達到了 86.7% ，這一成績與 OpenAI o1-0912 的表現相當甚至更優，充分證明了其在數學推理領域的強大實力。

在 MATH - 500 基準測試中，DeepSeek-R1-Zero 同樣表現出色。該測試主要考察模型在復雜數學問題上的解決能力，涵蓋了代數、幾何、數論等多個數學分支。DeepSeek-R1-Zero 在這個測試中的成績遠超傳統監督學習訓練的模型，進一步證明了強化學習在增強數學推理能力方面的顯著效果。與其他知名模型相比，如 OpenAI 的 o1 系列模型，DeepSeek-R1-Zero 在某些指標上也毫不遜色，甚至在部分任務上表現更為突出。

在復雜問題解答（GPQA）方面，DeepSeek-R1-Zero 與 OpenAI-o1-mini 相比，正確率提升了 13.3% ，這表明它在理解和回答復雜問題時，能夠更準確地把握問題的關鍵，提供更合理的答案。在代碼推理任務中，盡管它仍然落后于 OpenAI-o1-0912，但在強化學習的幫助下，已經具備了相當強的代碼分析能力，能夠對代碼的邏輯、功能和潛在問題進行有效的推理和判斷。 這些基準測試成績不僅體現了 DeepSeek-R1-Zero 強大的推理能力，也證明了其自我進化過程的有效性。通過不斷地自我驗證、反思和長鏈思考，它能夠在各種復雜任務中不斷提升自己的表現，為人工智能在數學、科學等領域的應用提供了有力的支持。

本文轉載自??智駐未來??，作者： 小智