編輯 | 云昭
進入2025以來，中國大模型的開源力量一騎絕塵，甚至蓋過了Llama的勢頭。今天，中國開源大模型，迎來新成員！
4月30日，趕在五一前，一條“為Reasoning而生”的Xiaomi Mimo開源模型的發(fā)布消息不脛而走，發(fā)布渠道是小米6天前新注冊的公眾號Xiaomi Mimo。
圖片
據(jù)悉，Xiaomi Mimo模型是小米公司剛成立不久的LLM-Core團隊（據(jù)傳去年12月底開始成立）的成果首秀。
圖片
模型參數(shù)只有7B，卻在代碼、數(shù)學(xué)能力戰(zhàn)勝了OpenAI的o1-mini和阿里的Qwen-32B，并展現(xiàn)出了超越經(jīng)典開源32B模型的強化學(xué)習的潛力。
圖片
短短幾個月的時間，就能做出這樣的成績，屬實不易。
1.那么，究竟怎樣做到的呢？
據(jù)悉，MiMo推理能力的提升，得益于團隊在預(yù)訓(xùn)練和后訓(xùn)練的數(shù)據(jù)和算法方面的多層組合創(chuàng)新努力。
具體來講，預(yù)訓(xùn)練方面：就是讓模型領(lǐng)略更多的推理模型，后訓(xùn)練方面重點就是打磨高效穩(wěn)定的強化學(xué)習算法和框架。
具體關(guān)鍵做法如下：
(1)預(yù)訓(xùn)練
數(shù)據(jù)上，著重挖掘富推理語料，并合成約200B tokens推理數(shù)據(jù)。訓(xùn)練上，進行了三階段訓(xùn)練，逐步提升訓(xùn)練難度，總訓(xùn)練25T tokens。
圖片
(2)后訓(xùn)練
主打高效穩(wěn)定的RL訓(xùn)練。比如在算法方面提出了 Test Difficulty Driven Reward 來緩解困難算法問題中的獎勵稀疏問題，并引入 Easy Data Re-Sampling 策略，以穩(wěn)定 RL 訓(xùn)練；在框架方面設(shè)計了Seamless Rollout系統(tǒng)，使得RL訓(xùn)練加速2.29倍，驗證加速1.96倍。
圖片
技術(shù)細節(jié)還有很多，比如使用改進的組相對策略優(yōu)化（GRPO）算法進行訓(xùn)練，包括移除KL損失、動態(tài)采樣和增加上界裁剪等策略；提出測試難度驅(qū)動的獎勵機制，將測試用例按難度分組，并根據(jù)難度分配獎勵；采用易數(shù)據(jù)過濾和重采樣策略，提高采樣效率并穩(wěn)定策略更新等等，這里不再一一展開。
技術(shù)報告也已經(jīng)同步在Github上，鏈接：https://github.com/XiaomiMiMo/MiMo/blob/main/MiMo-7B-Technical-Report.pdf感興趣的朋友強烈建議一讀。
2.全系列模型開源
MiMo-7B 已開源4個模型至HuggingFace：https://huggingface.co/XiaomiMiMo
圖片
3.小米的大模型野心
小米作為移動互聯(lián)網(wǎng)時代的佼佼者，同其他科技巨頭一樣，很早就在AI方面做了布局。
例如早在2016年，小米便組建起了第一支視覺AI團隊。隨即2017年，小米AI實驗室成立，為小米在AI技術(shù)的探索和創(chuàng)新提供了重要平臺。
但真正讓小米管理班子下決心做大模型的時間點是2023年。2023年，小米成立大模型團隊，將“輕量化、本地部署”定為小米大模型技術(shù)的主要突破方向。
同年8月，雷軍在演講《成長》中宣布：小米進行科技戰(zhàn)略升級，把AI放到了核心位置，同時提出了“深耕底層技術(shù)、長期持續(xù)投入、軟硬深度融合，AI全面賦能”的原則，計劃未來五年在12個技術(shù)領(lǐng)域、99個細分賽道投入1000億用于技術(shù)研發(fā)。
據(jù)悉，小米的AI團隊規(guī)模已超過3000人，覆蓋了視覺、聲學(xué)、語音、NLP、知識圖譜、機器學(xué)習、大模型、多模態(tài)等多個前沿方向，推動著AI技術(shù)全面賦能手機、AIoT、汽車、機器人等多個業(yè)務(wù)板塊。
但進入大模型時代以后，模型底座的重要性越來越得到凸顯，一方面DeepSeek R1用實力證明了千億參數(shù)以下的模型也可以用較低成本的方式獲得不亞于o1的推理效果，技術(shù)路徑得到驗證；另一方面，上層AI應(yīng)用的同質(zhì)化的確在用戶忠誠度方面拉不開距離。
這也是為什么小米堅決在大模型底層做投入的原因。只有具備自己的大模型，才能讓昔日的互聯(lián)網(wǎng)王者有底氣留在未來的大模型牌桌上。
Mimo團隊是一個年輕的團隊，而且今天發(fā)布的模型也不是市面上性能最為先進的，畢竟只有7B的大小，能PK掉Qwen-32B和o1-mini，可以說試一次不錯的技術(shù)路徑的驗證。
這是一個很好的階段性成果，不難預(yù)料，Mimo2對標的將會是o3、o4-mini。
這似乎是小米Mimo團隊的不太遙遠的“野望”！
正如小米新注冊的這個公眾號的slogan：Ask Mi Anything！
