MiniMax 發(fā)布 M1 大模型,百萬Token上下文+MoE架構(gòu),只花了 GPT-4 的零頭!
近日,國內(nèi) AI 初創(chuàng)公司 MiniMax 發(fā)布了一款全新的語言大模型 MiniMax-M1。
有兩個方面最引人注目:
1.高達(dá)100萬Token的上下文處理能力。
2.極具競爭力的訓(xùn)練成本效益。
M1 那個“1,000,000 token 上下文窗口”的數(shù)字,它幾乎是 GPT-4o 的 8 倍,是大多數(shù)企業(yè)內(nèi)用 LLM 一次上下文能處理信息量的極限突破。
大上下文也很燒錢,處理這么長的輸入輸出意味著更大的內(nèi)存占用和更高的計算量。而 MiniMax-M1 把這件事“做得便宜”。據(jù)官方披露,M1 的訓(xùn)練總成本僅為 53.47 萬美元,約為 DeepSeek R1 的十分之一,而之前的GPT-4 更是要上億美金起步。
據(jù)說,這要?dú)w功于兩個設(shè)計巧思:其一是 CISPO,這種自研的強(qiáng)化學(xué)習(xí)算法用更聰明的采樣方式節(jié)省了大量重復(fù)訓(xùn)練成本;其二是混合專家架構(gòu)(MoE)+ 快速注意力機(jī)制,它只激活最需要的那部分參數(shù)。
高性能,也可以很便宜
低成本并沒有犧牲性能。在多個重要基準(zhǔn)測試中,MiniMax-M1 的表現(xiàn)比 DeepSeek-R1 和 Qwen3 等知名開源模型更為突出。
圖片
在數(shù)學(xué)推理難題 AIME 2024 中,它的準(zhǔn)確率達(dá)到 86.0%。在代碼生成任務(wù) SWE-bench Verified 中取得 56.0%,在函數(shù)調(diào)用測試 TAU-bench 中得分 62.8%。這些數(shù)據(jù)意味著它不僅“看得懂”長文本,還能“用得上”。
盡管與 GPT-4o、Gemini Pro 2.5 等封閉式頂級模型相比,它仍存在通用理解能力上的差距,特別是在高維復(fù)雜指令、語言微妙語境等任務(wù)中,但在開源模型陣營中,它已進(jìn)入第一梯隊。
圖片
其次,MiniMax-M1 保持了完整開放:Apache-2.0 協(xié)議,支持商用、修改、永久免費(fèi)使用。這讓它在技術(shù)價值之外,也具備戰(zhàn)略價值——它是任何一家企業(yè)都可以“據(jù)為己有”的大模型。
據(jù)說,M1是全球首個開源大規(guī)?;旌霞軜?gòu)的推理模型。
而在產(chǎn)品策略上,MiniMax 并沒有追求全面均衡,而是選擇了“關(guān)鍵能力超配”的方向:超長上下文、極低計算成本、易部署的架構(gòu)和極寬松的許可。
它有兩個版本:40k 和 80k tokens 輸出上限,分別對應(yīng)不同推理預(yù)算。這種設(shè)置非常工程化——越多預(yù)算帶來更完整的推理,但也更慢更貴。MiniMax 把決策權(quán)交還給開發(fā)者和企業(yè)用戶,讓他們自己調(diào)節(jié)“速度-成本-性能”三者之間的平衡。
它還原生支持 structured function calling,適配 vLLM 和 Transformers 等主流框架,可快速集成進(jìn)已有基礎(chǔ)設(shè)施,構(gòu)建具備“智能體”能力的產(chǎn)品。它甚至預(yù)裝了搜索、視頻生成、語音合成等多模態(tài)能力插件,為應(yīng)用構(gòu)建節(jié)省了大量研發(fā)資源。
這并不是“另一個大模型”,而是一個面向未來任務(wù)形態(tài)的基礎(chǔ)設(shè)施嘗試。