全球最大開源平臺Hugging Face聯合創始人Clément Delangue宣布——DeepSeek R1 在發布僅僅幾周后，就成為了Hugging Face 平臺上有史以來最受歡迎的模型。

現在已有數千個魔改變體模型，下載量超過了1000萬次！

開源地址：https://huggingface.co/deepseek-ai/DeepSeek-R1

根據DeepSeek-R1在Hugging Face上的數據顯示，上個月的下載量是370萬次。在全球火爆出圈之后，估計這個月保底800萬次以上。

現在打開Hugging Face，基于阿里開源的Qwen系列魔改變體R1模型非常多，這屬于是國潮強強聯合啦。

網友表示，他最少就貢獻了50次，但以后還會更多。

開源AI模型有著光明的未來！

令人印象深刻額成就，祝賀研究團隊；AGI要實現了！

DeepSeek在上個月發布了R1版本，在美國AIME 2024測試中R1拿下79.8分，超過了OpenAI的o1模型的79.2分；在MATH-500，R1為97.3分，同樣超過了o1的96.4分；

在SWE-bench Verified，R1為49.2分再次超過了o1的48.9分。而在代碼測試Codeforces中，R1僅比o1模型低0.3分；MMLU低1分；GPQA低4.2分，整體性能與o1模型相當。

但價格方面o1模型每100萬tokens的輸入是15美元，R1是0.14美元，比GPT-4o-mini價格還要低成本猛降90%。

輸出價格則更是低的離譜，o1每100萬tokens輸出是60美元，R1只有2.19美元，降低了27倍左右。

在DeepSeek宣布開源R1后，迅速在全球領域走紅，還對美國科技股造成重創一直火爆至今。

R1簡單介紹

其實DeepSeek最開始開發的是R1-Zero模型，通過純強化學習訓練，不依賴于任何監督學習數據。該模型以DeepSeek-V3-Base為基礎，采用了GRPO算法進行訓練，通過采樣一組輸出并計算其相對優勢，從而優化模型的策略，避免了傳統強化學習中需要與策略模型同規模的評估模型，大大降低了訓練成本。

在訓練過程中，R1-Zero展現出了一系列強大的推理行為，例如，自我驗證、反思和生成長推理鏈等。這些行為并非人為植入，而是模型在強化學習過程中自然涌現的結果。例如，在AIME 2024數學競賽中，R1-Zero的Pass@1得分從初始的15.6%提升至71.0%，通過多數投票進一步提升至86.7%，與OpenAI-o1-0912模型相當。這一結果證明了純強化學習在提升模型推理能力方面的巨大潛力。

但是R1-Zero也存在一些問題，如可讀性差和語言混用等。所以，DeepSeek又開發出了R1模型。

R1在R1-Zero的基礎上進行了改進，引入了冷啟動數據和多階段訓練流程，以提升模型的推理能力和可讀性。

冷啟動與多階段訓練

冷啟動階段是R1訓練流程的起點，也是整個訓練策略中最重要的一環。與R1-Zero直接從基礎模型開始強化學習不同，R1引入了少量高質量的長CoT數據作為冷啟動數據，為模型提供一個更加穩定和優化的起點，從而在后續的強化學習過程中更好地發展推理能力。

冷啟動數據的一個關鍵特點是其對可讀性的優化。與R1-Zero生成的推理過程相比，冷啟動數據更加注重語言的清晰性和邏輯性。例如，團隊設計了一種特定的輸出格式，即在每個回答的末尾添加一個總結，并用特殊標記將推理過程和總結區分開來。

這種格式不僅使模型的輸出更加易于理解，也為后續的強化學習提供了一個明確的結構框架。

在冷啟動階段之后， R1進入了一個包含多個階段的復雜訓練流程。這一流程的設計目標是通過逐步優化和調整，使模型在推理能力上達到更高的水平，同時在其他任務上也表現出色。

第一階段：推理導向的強化學習

在冷啟動數據的基礎上，R1進入了一個以推理為導向的強化學習階段。這一階段的核心目標是通過大規模的強化學習，進一步提升模型在數學、編程、科學和邏輯推理等任務上的表現。這一階段的訓練與R1-Zero的強化學習過程類似，但有一個重要的區別：R1在訓練過程中引入了語言一致性獎勵。

語言一致性獎勵的引入是為了解決模型在生成推理鏈時可能出現的語言混用問題。在多語言的推理任務中，模型可能會在推理過程中混用不同語言，這不僅影響了輸出的可讀性，還可能干擾模型的推理邏輯。

為了克服這一問題，研究團隊設計了一個獎勵機制，通過計算推理鏈中目標語言的比例來優化模型的輸出。雖然這種獎勵機制在一定程度上略微降低了模型的推理性能，但它顯著提升了輸出的可讀性和一致性。

第二階段：拒絕采樣與監督微調

當推理導向的強化學習接近收斂時，R1進入了一個關鍵的階段：拒絕采樣與監督微調。這一階段的目標是通過生成新的監督學習數據，進一步優化模型在推理和其他任務上的表現。

拒絕采樣是一種從模型生成的數據中篩選出高質量樣本的方法。在這一階段，研究團隊利用當前模型的檢查點，通過拒絕采樣生成了大量的推理相關數據。這些數據不僅包括了推理任務的樣本，還涵蓋了寫作、事實問答、自我認知等其他領域的數據。通過這種方式，模型不僅在推理任務上得到了優化，還在其他任務上展現了更強的能力。

第三階段：全場景強化學習

在經過拒絕采樣和監督微調之后，R1進入了一個更為復雜的階段：全場景強化學習。這一階段的目標是通過結合推理任務的規則獎勵和一般任務的偏好獎勵，進一步優化模型的性能。

在這一階段，模型不僅需要在推理任務上表現出色，還需要在其他任務上展現出更高的有用性和安全性。研究團隊通過引入多樣化的獎勵信號和任務分布，確保模型在推理能力、有用性和安全性之間達到平衡。這不僅提升了模型在推理任務上的表現，還使其在其他任務上也展現出了更強的適應性。

例如，在推理任務中，模型繼續使用規則獎勵來優化其推理鏈的準確性和效率。而在一般任務中，模型則依賴于偏好獎勵來優化其輸出的有用性和安全性。通過這種方式，R1能夠在多個任務上展現出卓越的性能，同時保持推理能力的核心優勢。