新“SOTA”推理模型避戰(zhàn)Qwen和R1？歐版OpenAI被噴麻了
“歐洲的OpenAI”Mistral AI終于發(fā)布了首款推理模型——Magistral。
然而再一次遭到網(wǎng)友質(zhì)疑：怎么又不跟最新版Qwen和DeepSeek R1 0528對(duì)比？
（此前該公司發(fā)布Ministral 3B/8B時(shí)，聲稱“始終優(yōu)于同行”，卻沒有對(duì)比Qwen2.5）
圖片
圖片
在該模型發(fā)布的前幾個(gè)小時(shí)，Mistral AI的CEO Arthur Mensch在接受爐邊訪談時(shí)聲稱即將發(fā)布的Magistral能夠與其他所有競(jìng)爭(zhēng)對(duì)手相抗衡。
在官方展示的基準(zhǔn)測(cè)試結(jié)果中，DeepSeek-R1的數(shù)據(jù)確實(shí)不是最新的（在AIME-25數(shù)學(xué)測(cè)試中，DeepSeek-R1-0528的準(zhǔn)確率已經(jīng)從舊版的70%提升至87.5%），并且比較行列里完全不見Qwen的身影。
圖片
不過，與同公司初期模型Mistral Medium 3相比，該框架在AIME-24上的準(zhǔn)確率提升了50%。
此次Magistral發(fā)布了兩種版本：
Magistral Small——24B參數(shù)的開源權(quán)重版本，可在Apache 2.0許可下自行部署。
Magistral Medium——更強(qiáng)大的、面向企業(yè)的版本，在Amazon SageMaker上提供。
圖片
專為透明推理而設(shè)計(jì)
在Magistral發(fā)布之前，Mistral AI的CEO Arthur Mensch在訪談中提到：
“從歷史上看，我們看到美國(guó)的模型用英語(yǔ)進(jìn)行推理，中國(guó)的模型更擅長(zhǎng)用中文進(jìn)行推理。”
于是，這次Magistral的一個(gè)亮點(diǎn)就是支持多語(yǔ)言推理，尤其是解決了主流模型用歐洲語(yǔ)言的推理效果不如本土語(yǔ)言的缺陷。
下面的例子展示了在Le Chat中，使用Magistral Medium的阿拉伯語(yǔ)提示和響應(yīng)。
圖片
與通用模型不同的是，Magistral針對(duì)多步邏輯進(jìn)行了微調(diào)，提升了可解釋性，并在用戶的語(yǔ)言中提供了可追溯的思考過程，能夠?qū)崿F(xiàn)大規(guī)模實(shí)時(shí)推理。
下面的例子展示了重力、摩擦和碰撞的單次物理模擬，在預(yù)覽中使用的是Magistral Medium。
圖片
就好像Magistral不是黑箱預(yù)言家，而是一個(gè)能陪你「擺事實(shí)、講道理」的智能伙伴。
并且，在Le Chat中，通過Flash Answers，Magistral Medium的token吞吐量比大多數(shù)競(jìng)爭(zhēng)對(duì)手快10倍。
這就能夠?qū)崿F(xiàn)大規(guī)模的實(shí)時(shí)推理和用戶反饋。
圖片
作為Mistral推出的首個(gè)基于純強(qiáng)化學(xué)習(xí)（RL）訓(xùn)練的推理大模型，Magistral采用改進(jìn)的Group Relative Policy Optimization（GRPO）算法。
直接通過RL訓(xùn)練，不依賴任何現(xiàn)有推理模型的蒸餾數(shù)據(jù)（如DeepSeek-R1需SFT預(yù)熱）。
通過消除KL散度懲罰、動(dòng)態(tài)調(diào)整探索閾值和基于組歸一化的優(yōu)勢(shì)計(jì)算，在AIME-24數(shù)學(xué)基準(zhǔn)上實(shí)現(xiàn)從26.8%到73.6%的準(zhǔn)確率躍升。
圖片
首創(chuàng)異步分布式訓(xùn)練架構(gòu)，通過Generators持續(xù)生成、Trainers異步更新的設(shè)計(jì)，配合動(dòng)態(tài)批處理優(yōu)化，實(shí)現(xiàn)高效的大規(guī)模RL訓(xùn)練。
還反直覺地發(fā)現(xiàn)純文本RL訓(xùn)練可提升多模態(tài)性能（如MMMU-Pro-Vision提升12%），并驗(yàn)證RL對(duì)小模型同樣有效（24B的Magistral Small在AIME-24準(zhǔn)確率達(dá)70.7%）。
圖片
這些創(chuàng)新使Magistral在無需預(yù)訓(xùn)練蒸餾的情況下，以純RL方式為L(zhǎng)LM的強(qiáng)化學(xué)習(xí)訓(xùn)練提供了新范式。
One More Thing
官方?jīng)]有給出Magistral與最新版Qwen和R1的對(duì)比，網(wǎng)友來代勞了。
圖片
從結(jié)果可以看出，Qwen 4B與該模型相近，小型的30B MoE效果更好，R1最新版就更不用說了（doge）。
并且，由于“歐洲的OpenAI”越來越不Open，Stability AI前CEO建議Mistral AI應(yīng)該爭(zhēng)取真正的開源來占據(jù)開源的領(lǐng)導(dǎo)地位。
圖片
參考鏈接：
[1]https://mistral.ai/news/magistral
