字節(jié)跳動豆包團隊今天發(fā)布了自家新推理模型 Seed-Thinking-v1.5 的技術報告。從報告中可以看到，這是一個擁有 200B 總參數(shù)的 MoE 模型，每次工作時會激活其中 20B 參數(shù)。其表現(xiàn)非常驚艷，在各個領域的基準上都超過了擁有 671B 總參數(shù)的 DeepSeek-R1。有人猜測，這就是字節(jié)豆包目前正在使用的深度思考模型。

字節(jié)近期官宣的「2025 火山引擎 Force Link AI 創(chuàng)新巡展」活動推文中提到，4 月 17 日首發(fā)站杭州站時，豆包全新模型將重磅亮相，這會是 Seed-Thinking-v1.5 的正式發(fā)布嗎？

• 報告標題：Seed-Thinking-v1.5: Advancing Superb Reasoning Models with Reinforcement Learning 
• 項目地址：https://github.com/ByteDance-Seed/Seed-Thinking-v1.5
• 報告地址：https://github.com/ByteDance-Seed/Seed-Thinking-v1.5/blob/main/seed-thinking-v1.5.pdf

Seed-Thinking-v1.5 是一款通過深度思考提升推理能力的模型，在多個權威基準測試中展現(xiàn)出卓越性能。在具體評測中，該模型在 AIME 2024 測試中獲得 86.7 分，Codeforces 評測達到 55.0 分，GPQA 測試達到 77.3 分，充分證明了其在 STEM（科學、技術、工程和數(shù)學）領域以及編程方面的出色推理能力。

除推理任務外，該方法在不同領域都表現(xiàn)出顯著的泛化能力。例如，在非推理任務中，其勝率比 DeepSeek R1 高出 8%，這表明了其更廣泛的應用潛力。

從技術架構看，Seed-Thinking-v1.5 采用了混合專家模型（Mixture-of-Experts，MoE）設計，總參數(shù)量為 200B，實際激活參數(shù)僅為 20B，相比同等性能的其他最先進推理模型，規(guī)模相對緊湊高效。

為全面評估模型的泛化推理能力，團隊開發(fā)了 BeyondAIME 和 Codeforces 兩個內部基準測試，這些測試工具將向公眾開放，以促進相關領域的未來研究與發(fā)展。

先來看看其具體表現(xiàn)。

在數(shù)學推理方面，在 AIME 2024 基準上，Seed-Thinking-v1.5 取得了 86.7 的高分，與高計算量的 o3-mini-high 差不多。

由于 AIME 2024 已經(jīng)不足以彰顯前沿模型的差異，豆包團隊還使用了另一個更具挑戰(zhàn)性的評估基準 BeyondAIME，其中所有問題都是人類專家新整理編寫的。結果可以看到，雖然 Seed-Thinking-v1.5 的成績超過了 R1 和 o1，但相比于 o3 和 Gemini 2.5 pro 還有所差距。

在競賽編程方面，在 Codeforces 基準上，該團隊沒有采用之前的依賴 Elo 分數(shù)的評估策略，而是采用了基于最新的 12 場 Codeforces 競賽的具體評估方案。

具體來說，他們報告的是 pass@1 和 pass@8 指標，其中 pass@k 表示模型能否在 k 次嘗試內解決問題，即從 k 次生成的提交中選擇最佳結果。之所以選擇報告  pass@8，是因為能提供更穩(wěn)定的結果，并且更接近實際用戶提交模式。

結果來看，Seed-Thinking-v1.5 在這兩個指標上均超過 DeepSeek-R1，不過與 o3 的差距仍舊比較明顯。該團隊表示未來將公開發(fā)布這個評估集。

在科學問題上，Seed-Thinking-v1.5 在 GPQA 基準上得分為 77.3，接近 o3 的表現(xiàn)。該團隊表示，這一提升主要歸功于數(shù)學訓練帶來的泛化能力的提升，而非增加了特定領域的科學數(shù)據(jù)。

豆包也測試了 Seed-Thinking-v1.5 在非推理任務上的表現(xiàn)。這里他們使用的測試集盡力復現(xiàn)了真實的用戶需求。通過人類對 Seed-Thinking-v1.5 與 DeepSeek-R1 輸出結果的比較評估，結果發(fā)現(xiàn)，Seed-Thinking-v1.5 獲得的用戶積極反饋總體高出 8.0%，凸顯了其在復雜用戶場景處理能力方面的能力。

下面我們就來簡單看看豆包是如何創(chuàng)造出 Seed-Thinking-v1.5 的。

開發(fā)高質量推理模型有三大關鍵：數(shù)據(jù)、強化學習算法和基礎設施。為了打造出 Seed-Thinking-v1.5，該團隊在這三個方面都進行了創(chuàng)新。

數(shù)據(jù)

推理模型主要依賴思維鏈（CoT）數(shù)據(jù)，這種數(shù)據(jù)展示逐步推理過程。該團隊的初步研究表明，過多非思維鏈數(shù)據(jù)會削弱模型探索能力。

研究團隊在強化學習訓練中整合了 STEM 問題、代碼任務、邏輯推理和非推理數(shù)據(jù)。其中邏輯推理數(shù)據(jù)提升了 ARC-AGI 測試表現(xiàn)。而數(shù)學數(shù)據(jù)則展現(xiàn)除了優(yōu)秀的泛化能力。

另外，他們還構建了一個新的高級數(shù)學基準 BeyondAIME，其中包含 100 道題，每道題的難度等于或高于 AIME 中最難的題目。與 AIME 類似，所有答案都保證為整數(shù)（不受特定數(shù)值范圍的限制），這能簡化并穩(wěn)定評估過程。

強化學習算法

推理模型的強化學習訓練常出現(xiàn)不穩(wěn)定性，尤其對未經(jīng)監(jiān)督微調的模型。為解決這一問題，研究團隊提出了 VAPO 和 DAPO 框架，分別針對基于價值和無價值的強化學習范式。兩種方法均能提供穩(wěn)健的訓練軌跡，有效優(yōu)化推理模型。

獎勵建模

獎勵建模是強化學習的關鍵，它確定了策略的目標。良好的獎勵機制能在訓練時提供準確的信號。團隊針對可驗證和不可驗證的問題使用不同的獎勵建模方法。

1、可驗證問題

通過適當?shù)脑瓌t和思維軌跡，團隊利用 LLMs 來判斷各種場景下的可驗證問題。這種方法提供了超越基于規(guī)則的獎勵系統(tǒng)局限性的更普遍解決方案。

團隊設計了兩個遞進式的獎勵建模方案：Seed-Verifier 和 Seed-Thinking-Verifier：

• Seed-Verifier  基于一套由人類制定的原則，利用大語言模型的能力評估由問題、參考答案和模型生成答案組成的三元組。如果參考答案與模型生成的答案本質上等價，它返回「YES」；否則返回「NO」。這里的等價不要求逐字匹配，而是基于計算規(guī)則和數(shù)學原理進行深層評估，確保獎勵信號準確反映模型回答的本質正確性。
• Seed-Thinking-Verifier 的靈感來自人類的判斷過程，通過細致思考和深入分析得出結論。為此，團隊訓練了一個能夠提供詳細推理路徑的驗證器，將其視為可驗證任務，與其他數(shù)學推理任務一起優(yōu)化。該驗證器能夠分析參考答案與模型生成答案之間的異同，提供精確的判斷結果。

Seed-Thinking-Verifier 顯著緩解了 Seed-Verifier 存在的三個主要問題：

• 獎勵欺騙（Reward Hacking）：非思考型模型可能利用漏洞獲取獎勵，而不真正理解問題。Seed-Thinking-Verifier 的詳細推理過程使這種欺騙變得更加困難。
• 預測的不確定性：在參考答案與模型生成答案本質相同但格式不同的情況下，Seed-Verifier 可能有時返回「YES」，有時返回「NO」。Seed-Thinking-Verifier 通過深入分析答案背后的推理過程，提供一致的結果。
• 邊界情況處理失敗：Seed-Verifier 在處理某些邊界情況時表現(xiàn)不佳。Seed-Thinking-Verifier 提供詳細推理的能力使其能夠更好地應對這些復雜場景。

表 1 展示了上述兩種驗證器的性能。結果表明，Seed-Verifier 在處理某些特殊情況時效果欠佳，而 Seed-Thinking-Verifier 展現(xiàn)出提供準確判斷的卓越能力。盡管后者的思維過程消耗了大量 GPU 資源，但其產(chǎn)生的精確且穩(wěn)健的獎勵結果對于賦予策略強大的推理能力至關重要。

2、不可驗證問題

研究團隊為不可驗證問題訓練了一個強化學習獎勵模型，使用與 Doubao 1.5 Pro 相同的人類偏好數(shù)據(jù)，主要覆蓋創(chuàng)意寫作和摘要生成。

團隊采用了成對生成式獎勵模型，通過直接比較兩個回答的優(yōu)劣并將「是 / 否」概率作為獎勵分數(shù)。這種方法讓模型專注于回答間的實質差異，避免關注無關細節(jié)。

實驗表明，此方法提高了強化學習的穩(wěn)定性，尤其在混合訓練場景中減少了不同獎勵模型間的沖突，主要是因為它能降低異常分數(shù)的生成，避免與驗證器產(chǎn)生顯著的分數(shù)分布差異。

基礎設施

大語言模型強化學習系統(tǒng)需要強大基礎設施支持。團隊開發(fā)的流式推演架構通過優(yōu)先級樣本池異步處理軌跡生成，使迭代速度提升 3 倍。系統(tǒng)還支持自動故障恢復的混合精度訓練，確保大規(guī)模強化學習運行的穩(wěn)定性。

框架

Seed-Thinking-v1.5 采用的訓練框架是基于 HybridFlow 編程抽象構建的。整個訓練工作負載運行在 Ray 集群之上。數(shù)據(jù)加載器和強化學習算法在單進程 Ray Actor（單控制器）中實現(xiàn)。模型訓練和響應生成（rollout）在 Ray Worker Group 中實現(xiàn)。

流式 Rollout 系統(tǒng)

其 SRS 架構引入了流式 Rollout，可將模型演化與運行時執(zhí)行解耦，并通過參數(shù) α 動態(tài)調整在策略和離策略的樣本比例：

• 將完成率（α ∈ [0, 1]）定義為使用最新模型版本以在策略方式生成的樣本比例。
• 將剩余的未完成片段（1- α）分配給來自版本化模型快照的離策略 rollout，并通過在獨立資源上異步延續(xù)部分生成來實現(xiàn)無縫集成。

此外，該團隊還在環(huán)境交互階段實現(xiàn)了動態(tài)精度調度，通過后訓練量化和誤差補償范圍縮放來部署 FP8 策略網(wǎng)絡。

為了解決 MoE 系統(tǒng)中 token 不平衡的問題，他們實現(xiàn)了一個三層并行架構，結合了用于分層計算的 TP（張量并行化）、具有動態(tài)專家分配的 EP（專家并行）和用于上下文分塊的 SP（序列并行）。這樣一來，其 kernel auto-tuner 就能根據(jù)實時負載監(jiān)控動態(tài)選擇最佳 CUDA 核配置。

訓練系統(tǒng)

為了高效地大規(guī)模訓練 Seed-Thinking-v1.5 模型，該團隊設計了一個混合分布式訓練框架，該框架集成了先進的并行策略、動態(tài)工作負載平衡和內存優(yōu)化。下面詳細介紹一下其中的核心技術創(chuàng)新：

• 并行機制：該團隊 TP（張量并行）/EP（專家并行）/CP（上下文并行）與完全分片數(shù)據(jù)并行（FSDP）相結合，用于訓練 Seed-Thinking-v1.5。具體而言，他們將 TP/CP 應用于注意力層，將 EP 應用于 MoE 層。
• 序列長度平衡：有效序列長度可能在不同的 DP 等級上不平衡，從而導致計算負載不平衡和訓練效率低下。為了應對這一挑戰(zhàn)，他們利用 KARP 算法重新排列了一個 mini-batch 內的輸入序列，使它們在 mini-batch 之間保持平衡。
• 內存優(yōu)化：他們采用逐層重新計算、激活卸載和優(yōu)化器卸載來支持更大 micro-batch 的訓練，以覆蓋 FSDP 造成的通信開銷。
• 自動并行：為了實現(xiàn)最佳系統(tǒng)性能，他們開發(fā)了一個自動微調系統(tǒng)，稱為 AutoTuner。具體來說，AutoTuner 可按照基于配置文件的解決方案對內存使用情況進行建模。然后，它會估算各種配置的性能和內存使用情況，以獲得最佳配置。
• 檢查點：為了以最小的開銷從不同的分布式配置恢復檢查點，該團隊使用了 ByteCheckpoint。這能讓用戶彈性地訓練任務以提高集群效率。