參數減少99.5%，媲美全精度FLUX！字節跳動等發布首個1.58-bit FLUX量化模型

發布于 2024-12-31 07:56

瀏覽

0收藏

參數減少99.5%，媲美全精度FLUX！字節跳動等發布首個1.58-bit FLUX量化模型-AI.x社區

文章鏈接：https://arxiv.org/pdf/2412.18653
項目鏈接：https://chenglin-yang.github.io/1.58bit.flux.github.io/
git主頁：https://github.com/Chenglin-Yang

參數減少99.5%，媲美全精度FLUX！字節跳動等發布首個1.58-bit FLUX量化模型-AI.x社區

亮點分析

1.58-bit FLUX，第一個將 FLUX 視覺 Transformer 的參數（共 119 億）減少 99.5% 至 1.58-bit 的量化模型，無需依賴圖像數據，大幅降低存儲需求。
開發了一個高效的線性內核，針對 1.58-bit 計算進行了優化，實現了顯著的內存減少和推理加速。
證明了1.58-bit FLUX在具有挑戰性的 T2I 基準測試中，性能與全精度 FLUX 模型相當。

總結速覽

解決的問題

當前文本生成圖像（T2I）模型，如 DALLE 3、Stable Diffusion 3 等，參數量巨大，推理時內存需求高，難以在資源有限的設備（如移動設備）上部署。
本文重點研究極低比特量化（1.58-bit）在 T2I 模型中的可行性，以減少存儲和內存需求，同時提升推理效率。

提出的方案

選用 FLUX.1-dev 模型作為量化目標，通過后訓練量化方法將其權重壓縮為 1.58-bit（值限制為 {-1, 0, +1}），無需訪問圖像數據。
開發專用的低比特操作優化內核，進一步提升推理效率。

應用的技術

1.58-bit 權重量化：使用類似 BitNet b1.58 的方法，將模型的線性層權重壓縮至 1.58-bit，并通過 2-bit 有符號整數存儲權重，從而實現極低比特化。
無監督量化方法：完全依賴 FLUX.1-dev 模型本身的自監督機制，無需依賴混合精度方案或額外的訓練數據。
定制化內核：針對低比特操作優化的推理內核，降低內存使用并縮短推理延遲。

達到的效果

存儲效率：模型存儲需求減少 7.7×，從 16-bit 壓縮到 2-bit。
推理效率：推理時的內存使用減少 5.1×，推理延遲顯著改善。
生成質量：在 GenEval 和 T2I Compbench 基準測試上，生成質量與全精度 FLUX 基本持平，驗證了方案的有效性和實用性。

實驗結果

設置

量化：使用一個校準數據集進行量化，數據集由 Parti-1k 數據集和 T2I CompBench 訓練集的提示語組成，共計 7,232 條提示語。整個過程完全不依賴圖像數據，不需要額外的數據集。量化將 FLUX 中 FluxTransformerBlock 和 FluxSingleTransformerBlock 的所有線性層權重壓縮至 1.58-bit，占模型總參數的 99.5%。

評估：在 GenEval 數據集和 T2I CompBench 驗證集上評估 FLUX 和 1.58-bit FLUX，遵循官方的圖像生成流程。

GenEval 數據集：包含 553 條提示語，每條提示語生成 4 張圖像。
T2I CompBench 驗證集：包含 8 個類別，每個類別有 300 條提示語，每條提示語生成 10 張圖像，總計生成 24,000 張圖像進行評估。
所有圖像均以 1024 × 1024 的分辨率生成，適用于 FLUX 和 1.58-bit FLUX。