微軟的BitNet b1.58 2B4T 的技術報告悄然上線。

其實在開源社區里，關于極致低比特量化的大模型早就有各種傳聞，這次微軟研究院終于亮出底牌。

——全球首個原生1-bit、規模高達20億參數的開源大模型。

圖片

圖注：這張圖表明，在同等內存占用下，BitNet b1.58 2B模型取得了更高的性能分數，比當前主流開源模型更高效

別看名字有點拗口，b1.58 2B4T，背后可不簡單，這玩意不僅在性能上追平甚至部分超越同級別全精度模型，更是把內存、能耗和推理速度都拉低到令人發指的地步。

而且，模型權重直接上 Hugging Face，推理代碼 GPU、CPU 雙版本全開源，門檻之低，真是讓人有點小震撼。

1.BitNet b1.58 2B4T 到底是什么？

一句話總結：這是世界首個原生1-bit、20億參數、性能媲美全精度的開源大模型。

大家都知道，大模型開源越來越卷，LLaMA、Qwen、Gemma、MiniCPM 各種百花齊放。但有個痛點始終沒解決——太吃資源。

于是，極致量化被推上風口——1-bit（極端比特化，只允許權重取-1、0、+1）。

說起來簡單，真要規模化落地，性能往往一落千丈，之前不是只能做小模型，就是性能掉得讓人心疼。

BitNet b1.58 2B4T 這次直接原生1-bit訓練，參數上到2B，訓練數據高達4萬億token，目標就是：

做到極致高效的同時，性能絕不妥協。

圖注：在蘋果M2 CPU上都能快速運行

2.架構和訓練怎么煉成的？

核心創新點有三：

1)BitLinear 層

用自研 BitLinear 替換掉傳統 Transformer 的全精度線性層。權重量化到1.58 bit（三值：-1、0、+1），激活也量化到8 bit。這樣不僅模型文件暴減，推理也能用比特操作加速。

2)訓練方案極致調優

• 預訓練用兩階段學習率+權重衰減，先大步快走，再精細收斂。
• 數據集涵蓋超大規模網頁、代碼、數學合成數據，兩階段分別喂不同質量的數據。
• SFT（監督微調）和 DPO（直接偏好優化）全都用上，還專門調大了學習率和輪數，讓1-bit模型也能吃透任務。

3.推理實現

為了讓1.58-bit和8-bit混合矩陣乘法在GPU/CPU上都能跑起來，團隊還專門造了 CUDA kernel 和 C++ 庫，模型權重直接高效打包，能在普通筆電、服務器、邊緣設備都無壓力上線。

圖片

3.性能表現：效率+能力雙豐收

• 內存占用：0.4GB（非embedding部分），是同級全精度模型的1/4甚至更低。
• 推理延遲：29ms/Token（CPU上），比LLaMA 1B等快出一大截。
• 能耗：僅0.028J/Token，低到離譜。
• 綜合能力：平均分 54.19，逼近 Qwen2.5-1.5B（55.23），大幅超越 MiniCPM、Gemma、LLaMA 等同級模型。
• 單項指標：在 ARC-Challenge、GSM8K、CommonsenseQA 等關鍵任務上還反超大部分對手。

圖片

圖注：如圖所示，BitNet b1.58 2B 在內存、延遲、能耗三項指標上全面領先

更狠的是，和常見的 INT4 量化模型比，BitNet b1.58 2B4T 在內存進一步壓縮的情況下，性能反而更穩，幾乎沒有明顯損失。

而且，不只是干掉傳統PTQ量化，放到同類1-bit模型里，BitNet b1.58 2B4T 也是一騎絕塵，甚至比部分更大參數、后量化的模型還強。

4.one more thing

BitNet b1.58 2B4T 已經是1-bit模型的天花板，但團隊還留了不少懸念：

• 如何實現更大規模擴展（7B、13B）？
• 怎樣支持更長上下文，挑戰大段落、復雜推理任務？
• 多語言、多模態集成，讓1-bit模型也能“看圖說話”
• 軟硬件協同，期待新一代AI芯片為低比特模型量身定做
• 理論層面，1-bit訓練為啥能這么有效？還有哪些魔法值得挖掘？

附：模型和推理工具全開源

技術報告：https://arxiv.org/abs/2504.12285

GPU/CPU推理庫：https://aka.ms/bitnet