Qwen3來了！新一代高性能與混合推理能力兼?zhèn)涞拇笳Z言模型！
阿里云正式發(fā)布通義千問Qwen3系列大模型，這一里程碑式更新在性能、訓練規(guī)模和推理能力等多個維度實現(xiàn)重大突破。作為國產大模型的領軍者，Qwen3不僅以2350億參數(shù)的MoE架構刷新性能記錄，更通過創(chuàng)新的"混合思考模式"和360萬億token的超大規(guī)模訓練，成為當前性能領先的開源大語言模型。
1、Qwen3的性能表現(xiàn)
Qwen3系列包含多個版本，涵蓋MoE混合專家模型和Dense稠密模型。其旗艦模型Qwen3-235B-A22B在編碼、數(shù)學、通用能力等基準測試中，與DeepSeek-R1、o1、o3-mini、Grok-3和Gemini-2.5-Pro等其他頂級模型相比，展現(xiàn)出極具競爭力的成績。例如，在奧數(shù)水平的AIME25測評中，Qwen3斬獲81.5分，刷新開源紀錄；在考察代碼能力的LiveCodeBench評測中，Qwen3突破70分大關，表現(xiàn)超過Grok3；在評估模型人類偏好對齊的ArenaHard測評中，Qwen3以95.6分超越OpenAI o1及DeepSeek-R1。
此外，Qwen3的小型MoE模型Qwen3-30B-A3B激活參數(shù)量僅為QwQ-32B的10%，但性能更優(yōu)；即使是微型模型Qwen3-4B，其性能也能與Qwen2.5-72B-Instruct相媲美。Qwen3系列模型的性能提升，不僅體現(xiàn)在大型模型上，其小型模型也展現(xiàn)了強大的輕量化應用能力。
2、Qwen3的主要特點
革命性混合思考模式
Qwen3支持兩種模式：思考模式和非思考模式。在思考模式下，模型會逐步推理，經過一系列思考后再給出最終答案，適用于復雜問題；在非思考模式下，模型快速響應，幾乎即時給出答案，適合簡單問題。用戶可以通過在提示中添加/think或/no_think指令，動態(tài)切換模型的思考模式。例如：
- 用戶輸入：“How many r's in strawberries?”（默認啟用思考模式）
- 用戶輸入：“Then, how many r's in blueberries? /no_think”（切換為非思考模式）
- 用戶輸入：“Really? /think”（再次切換為思考模式）
這種動態(tài)切換功能為用戶提供了極大的靈活性，能夠在每輪對話中根據(jù)需求調整模型的思考深度。
多語言支持
Qwen3支持119種語言和方言，這為國際應用開辟了新的可能性，使全球用戶都能受益于這些模型的強大功能。
增強Agent能力
Qwen3優(yōu)化了模型的編碼和Agent能力，并增強了對MCP的支持。這使得Qwen3能夠更好地與外部數(shù)據(jù)源和工具集成，完成復雜任務。例如，通過Qwen-Agent，用戶可以輕松調用工具，實現(xiàn)復雜的任務處理。
3、模型訓練
Qwen3的預訓練和后訓練方法是其性能提升的關鍵。
預訓練
在預訓練方面，Qwen3的數(shù)據(jù)集相比Qwen2.5有了顯著擴展，使用的token數(shù)量幾乎是Qwen2.5的兩倍，約有36萬億個token，涵蓋119種語言和方言。
預訓練過程包含三個階段：
- 第一階段（S1）：模型在超過30萬億個token的數(shù)據(jù)上進行預訓練，上下文長度為4K token。這一階段主要為模型提供基本的語言技能和通用知識。
- 第二階段（S2）：通過增加知識密集型數(shù)據(jù)（如STEM、編程和推理任務）的比例，進一步改進數(shù)據(jù)集。隨后，模型在額外的5萬億個token上進行預訓練，以提升其專業(yè)能力。
- 第三階段：使用高質量的長上下文數(shù)據(jù)，將上下文長度擴展到32K token，確保模型能夠有效處理更長的輸入。
通過多階段的預訓練，Qwen3不僅獲得了基本的語言技能和常識，還在STEM、編碼和推理等領域表現(xiàn)出色。
后訓練
Qwen3的后訓練過程分為四個階段，旨在開發(fā)既能逐步推理又能快速響應的混合模型：
- 長思維鏈冷啟動：使用多樣化的長思維鏈數(shù)據(jù)對模型進行微調，涵蓋數(shù)學、編程、邏輯推理和STEM問題等多種任務和領域，增強模型的基本推理能力。
- 長思維鏈強化學習：通過大規(guī)模強化學習，利用基于規(guī)則的獎勵來增強模型的探索和鉆研能力。
- 思維模式融合：在長思維鏈數(shù)據(jù)和常用指令微調數(shù)據(jù)的組合上對模型進行微調，將非思考模式整合到思考模型中，確保推理和快速響應能力的無縫融合。
- 通用強化學習：在20多個通用領域的任務上應用強化學習，進一步增強模型的通用能力并糾正不良行為。
通過這種多階段的后訓練方法，不僅提升了模型的推理能力，還增強了其通用能力和響應速度，使Qwen3能夠更好地適應不同的任務需求。
4、總結
Qwen3的發(fā)布，標志著國產大模型在技術、性能和應用上的全面崛起。不僅在性能、效率和可控性之間找到了黃金平衡點，更通過開源賦能全球開發(fā)者，推動了人工智能技術的普及和發(fā)展。我們期待Qwen團隊在未來帶來更多驚喜，同時也期待DeepSeek等其他頂尖模型的發(fā)布，共同推動人工智能領域邁向新的高度。
