2025年2月24日，由360與北京大學(xué)聯(lián)合研發(fā)的中等量級(jí)推理模型Tiny-R1-32B-Preview正式亮相，僅以5%參數(shù)，逼近DeepSeek-R1-671B的性能。

核心突破：小模型，大能量

• 數(shù)學(xué)領(lǐng)域：以78.1分（AIME 2024評(píng)測(cè)）逼近原版R1模型（79.8分），遠(yuǎn)超DeepSeek-R1-Distill-Llama-70B（70.0分）；
• 綜合性能：在編程（LiveCodeBench 61.6分）、科學(xué)（GPQA-Diamond 65.0分）領(lǐng)域全面領(lǐng)先最佳開(kāi)源70B模型DeepSeek-R1-Distill-Llama-70B；
• 效率躍遷：僅需5%參數(shù)量，性能達(dá)原版R1的95%以上，推理成本大幅降低。

技術(shù)革新：領(lǐng)域?qū)＞?模型融合

研究團(tuán)隊(duì)使用「分治-融合」策略：

• 基于DeepSeek-R1生成海量領(lǐng)域數(shù)據(jù)，分別訓(xùn)練數(shù)學(xué)、編程、科學(xué)三大垂直模型；
• 通過(guò)Arcee團(tuán)隊(duì)Mergekit工具智能融合，突破單一模型性能上限，實(shí)現(xiàn)多任務(wù)均衡優(yōu)化。

開(kāi)源承諾：推動(dòng)技術(shù)普惠

• 模型倉(cāng)庫(kù)：https://huggingface.co/qihoo360/TinyR1-32B-Preview
• 即將公開(kāi)完整技術(shù)報(bào)告、訓(xùn)練代碼及部分?jǐn)?shù)據(jù)集；
• 踐行開(kāi)源精神，助力AI社區(qū)共筑高效推理新生態(tài)。

研發(fā)團(tuán)隊(duì)表示：「Tiny-R1-32B-Preview的成功是站在了巨人的肩膀上，受益于開(kāi)源社區(qū)精神，結(jié)合DeepSeek-R1蒸餾、DeepSeek-R1-Distill-32B增量訓(xùn)練、模型融合等技術(shù)，使用360-LLaMA-Factory訓(xùn)練而來(lái)，未來(lái)我們也將持續(xù)探索更輕量、更強(qiáng)大的模型，推動(dòng)AI技術(shù)普惠化進(jìn)程，并回饋開(kāi)源社區(qū)。」

360 團(tuán)隊(duì): Lin Sun, Guangxiang Zhao, Xiaoqi Jian, Weihong Lin, Yongfu Zhu, Change Jia, Linglin Zhang, Jinzhu Wu, Sai-er Hu, Xiangzheng Zhang

北大團(tuán)隊(duì): Yuhan Wu, Zihan Jiang, Wenrui Liu, Junting Zhou, Bin Cui, Tong Yang