參數減少99.5%,媲美全精度FLUX!字節跳動等發布首個1.58-bit FLUX量化模型
文章鏈接:https:arxiv.orgpdf2412.18653項目鏈接:https:chenglinyang.github.io1.58bit.flux.github.iogit主頁:https:github.comChenglinYang亮點分析1.58bitFLUX,第一個將FLUX視覺Transformer的參數(共119億)減少99.5%至1.58bit的量化模型,無需依賴圖像數據,大幅降低存儲需求。開發了一個高效的線性內核,針對1.58bit計算進行了優化,實現了顯著的內存減少和推理加速。證明了1.58bitFLUX在具有挑戰性的T2I基準測試中,...