斯坦福李飛飛團(tuán)隊(duì)的一篇論文，近來在AI圈子掀起了一場颶風(fēng)。

他們僅用1000個樣本，在16塊H100上監(jiān)督微調(diào)26分鐘，訓(xùn)出的新模型s1-32B，竟取得了和OpenAI o1、DeepSeek R1等尖端推理模型相當(dāng)?shù)臄?shù)學(xué)和編碼能力！

團(tuán)隊(duì)也再次證明了測試時Scaling的威力。

就連AI大神Karpathy都為之驚嘆。

值得一提的是，研究人員是基于阿里通義千問Qwen2.5-32B-Instruct，完成了推理模型的微調(diào)。

甚至，在競賽數(shù)學(xué)問題上，新模型竟將o1-preview甩在身后，領(lǐng)先27%。

這一爆炸性突破，讓全世界目光都聚焦在了，這個來自阿里云的大模型——通義千問Qwen。

早在此之前，紅遍全網(wǎng)的DeepSeek便選擇的也是Qwen模型。

他們將DeepSeek-R1推理能力蒸餾6個模型開源給社區(qū)，其中4個都是基于Qwen打造。基于Qwen-32B蒸餾的模型，在多項(xiàng)能力上性能直追o1-mini。

再一次，通義千問Qwen模型又在開源社區(qū)火了。

有專家提出：也許，這是我們第一次認(rèn)真嘗試研究，推理中究竟發(fā)生了什么變化。

現(xiàn)在，我們有充分的理由去質(zhì)疑「涌現(xiàn)」的說法，也有了更多動力去理解，為什么Qwen-2.5-Math的基礎(chǔ)模型要比Llama 3.1好這么多。

的確，如今在業(yè)內(nèi)，這一現(xiàn)象越來越成為大家公認(rèn)的事實(shí)——

憑借強(qiáng)勁的性能，多樣化開源尺寸，以及全球最大的衍生模型群，Qwen已經(jīng)取代Llama成為開源AI社區(qū)最重要的標(biāo)桿基座模型。

站在巨人的肩膀上

自2023年8月以來，阿里云通義千問掀起了一場開源革命。

Qwen、Qwen1.5、Qwen2、Qwen2.5四代模型相繼開源，覆蓋了大語言模型、多模態(tài)模型、數(shù)學(xué)模型和代碼模型等數(shù)十款。

在HuggingFace的Open LLM Leaderboard、Chatbot Arena大模型盲測榜單、司南OpenCompass等多個國內(nèi)外權(quán)威榜單中，Qwen性能全球領(lǐng)先，屢次斬獲「全球開源冠軍」。

甚至，有業(yè)內(nèi)專家指出——

當(dāng)前AI領(lǐng)域的諸多突破性進(jìn)展，無論是微調(diào)、蒸餾，還是其他低成本創(chuàng)新技術(shù)，并非從0開始訓(xùn)練，而是建立在Qwen等基礎(chǔ)模型的優(yōu)異性能之上。

Databricks研究科學(xué)家Omar Khattab稱，「更多關(guān)于Qwen的發(fā)現(xiàn)。我越來越確信這些論文似乎發(fā)現(xiàn)了一些關(guān)于Qwen模型的特性，而不一定涉及推理能力的突破」。

另一位來自滑鐵盧大學(xué)計(jì)算機(jī)系助理教授Wenhu Chen對此觀點(diǎn)表示極大地認(rèn)同。

他表示，這基本和s1的發(fā)現(xiàn)一樣，用大約1000個樣本就能得到類似的訓(xùn)練結(jié)果。

在別的模型上用同樣的數(shù)據(jù)訓(xùn)練，但卻完全沒成效，這是為何？

顯然，Qwen模型本身必然有一些神奇之處。

越來越多的人不約而同地發(fā)現(xiàn)，「我們幾乎什么都沒做，Qwen 2.5卻幾乎什么都能做了。」

這就說明，它的基礎(chǔ)模型一定性能超強(qiáng)，在基準(zhǔn)測試中非常領(lǐng)先。

因?yàn)椋@已經(jīng)完全不能用訓(xùn)練數(shù)據(jù)質(zhì)量來說明了。

李飛飛團(tuán)隊(duì)s1模型用實(shí)踐證明，在特定條件下，低成本（不到50美金）訓(xùn)練確實(shí)能夠產(chǎn)生令人驚喜的結(jié)果。

這在很大程度上，要?dú)w功于它所依賴的基座模型——通義千問Qwen。

如果沒有這樣強(qiáng)大的模型作為支撐，想要去實(shí)現(xiàn)同樣的效果，恐怕并非易事。

包括DeepSeek開源蒸餾后四款Qwen模型，也是如此。

這也讓Qwen成為推動前沿技術(shù)發(fā)展的又一重要案例。

全尺寸、全模態(tài)、多場景

可以說，阿里云Qwen模型是業(yè)界率先實(shí)現(xiàn)「全尺寸、全模態(tài)、多場景」的開源。

無論是1.5B、72B還是110B，Qwen開源的模型尺寸和版本的覆蓋面都最廣，讓開發(fā)者和企業(yè)有了更多選擇的余地。

從2024年開始，Qwen就已經(jīng)在開發(fā)者中擁有越來越高的影響力。

比如，在全球最知名的開源社區(qū)HuggingFace數(shù)據(jù)統(tǒng)計(jì)中，2024年，僅Qwen2.5-1.5B-Instruct這款模型，就占到了全球模型下載量的26.6%，遠(yuǎn)高于第二名Llama-3.1-8B-Instruct-GGUF的6.44%。

而僅僅是視覺理解Qwen-VL及Qwen2-VL兩款模型，全球的下載量就突破了3200萬次。

就在一周前，Qwen2.5-VL全新升級，又引發(fā)了新一輪的開源社區(qū)狂熱。

如今，細(xì)數(shù)海內(nèi)外開源社區(qū)，Qwen的衍生模型數(shù)量已突破9萬，直接超越了Llama系列衍生模型。

DeepSeek和李飛飛的選擇，更是證明了Qwen系列的強(qiáng)大潛力。

在未來，它必將繼續(xù)創(chuàng)造新的奇跡。