大模型力大磚飛，讓LLaMA3演繹出了新高度：

超15T Token數(shù)據(jù)上的超大規(guī)模預(yù)訓(xùn)練，既實現(xiàn)了令人印象深刻的性能提升，也因遠超Chinchilla推薦量再次引爆開源社區(qū)討論。

與此同時，在實際應(yīng)用層面上，另一個熱點話題也浮出水面：

資源有限場景下，LLaMA3的量化表現(xiàn)又會如何？

香港大學(xué)、北京航空航天大學(xué)、蘇黎世聯(lián)邦理工學(xué)院聯(lián)合推出了一項實證研究，全面揭示了LLaMA3的低比特量化性能。

研究人員使用現(xiàn)有的10種訓(xùn)練后量化和LoRA微調(diào)方法，評估了LLaMA3在1-8比特和各種評估數(shù)據(jù)集上的結(jié)果。他們發(fā)現(xiàn)：

盡管性能令人印象深刻，LLaMA3在低比特量化下仍然遭受了不可忽視的退化，特別是在超低位寬上。

項目已在GitHub上開源，量化模型也已登陸HuggingFace。

具體來看實證結(jié)果。

軌道1：訓(xùn)練后量化

表1和表2中分別提供了LLaMA3-8B和LLaMA3-70B在8種不同的PTQ方法下的低比特性能表現(xiàn)，覆蓋了從1比特到8比特的廣泛比特寬度。

1.低比特權(quán)重

其中，Round-To-Nearest (RTN) 是一種基本的舍入量化方法。

GPTQ是當(dāng)前最有效率和有效的僅限權(quán)重的量化方法之一，它利用量化中的誤差補償。但在2-3比特下，當(dāng)量化LLaMA3時，GPTQ會導(dǎo)致嚴(yán)重的準(zhǔn)確性崩潰。

AWQ采用異常通道抑制方法來降低權(quán)重量化的難度，而QuIP通過優(yōu)化矩陣計算來確保權(quán)重和Hessian之間的不一致性。它們都能保持LLaMA3在3比特時的能力，甚至將2比特量化推向有希望的水平。

2.超低比特權(quán)重

最近出現(xiàn)的二值化LLM量化方法實現(xiàn)了超低比特寬度LLM權(quán)重壓縮。

PB-LLM采用混合精度量化策略，保留一小部分重要權(quán)重的全精度，同時將大部分權(quán)重量化為1比特。

DB-LLM通過雙重二值化權(quán)重分割實現(xiàn)高效的LLM壓縮，并提出偏差感知蒸餾策略以進一步增強2比特LLM性能。

BiLLM通過顯著權(quán)重的殘差逼近和非顯著權(quán)重的分組量化，進一步將LLM量化邊界推低至1.1比特。這些為超低比特寬度專門設(shè)計的LLM量化方法可以實現(xiàn)更高精度的量化LLaMA3-8B，在?2比特時遠遠超過如GPTQ、AWQ和QuIP等方法，在2比特（甚至在某些情況下3比特）下的表現(xiàn)。

3.低比特量化激活

還通過SmoothQuant對量化激活進行了LLaMA3評估，SmoothQuant將量化難度從激活轉(zhuǎn)移到權(quán)重，以平滑激活異常值。評估顯示，SmoothQuant可以在8比特和6比特的權(quán)重和激活下保留LLaMA3的準(zhǔn)確性，但在4比特時面臨崩潰。

軌道2：LoRA微調(diào)量化

在MMLU數(shù)據(jù)集上，對于LoRA-FT量化下的LLaMA3-8B，最顯著的觀察是，在Alpaca數(shù)據(jù)集上低秩微調(diào)不僅不能補償量化引入的錯誤，甚至使性能下降更加嚴(yán)重。

具體來說，各種LoRA-FT量化方法在4比特下獲得的量化LLaMA3性能，比沒有使用LoRA-FT的4比特對應(yīng)版本要差。這與LLaMA1和LLaMA2上的類似現(xiàn)象形成鮮明對比，在LLAMA1和LLAMA2中，4比特低秩微調(diào)量化版本甚至能輕松超過MMLU上的原始FP16對應(yīng)版本。

根據(jù)直觀分析，這一現(xiàn)象的主要原因是由于LLaMA3強大的性能得益于其大規(guī)模的預(yù)訓(xùn)練，這意味著原始模型量化后的性能損失不能通過在一小部分低秩參數(shù)數(shù)據(jù)上進行微調(diào)來補償（這可以被視為原始模型的一個子集）。

盡管量化導(dǎo)致的顯著下降不能通過微調(diào)來補償，但4比特LoRA-FT量化的LLaMA3-8B在各種量化方法下顯著優(yōu)于LLaMA1-7B和LLaMA2-7B。例如，使用QLoRA方法，4比特LLaMA3-8B的平均準(zhǔn)確率為57.0（FP16: 64.8），超過4比特LLaMA1-7B的38.4（FP16: 34.6）18.6，超過4比特LLaMA2-7B的43.9（FP16: 45.5）13.1。這表明在LLaMA3時代需要一種新的LoRA-FT量化范式。

在CommonSenseQA基準(zhǔn)測試中也出現(xiàn)了類似的現(xiàn)象。與沒有使用LoRA-FT的4比特對應(yīng)版本相比，使用QLoRA和IR-QLoRA微調(diào)的模型性能也有所下降（例如，QLoRA平均下降2.8% vs IR-QLoRA平均下降2.4%）。這進一步展示了在LLaMA3中使用高質(zhì)量數(shù)據(jù)集的優(yōu)勢，而且通用數(shù)據(jù)集Alpaca并沒有對模型在其他任務(wù)中的性能作出貢獻。

結(jié)論

這篇論文全面評估了LLaMA3在各種低比特量化技術(shù)（包括訓(xùn)練后量化和LoRA微調(diào)量化）中的性能。

此研究發(fā)現(xiàn)表明，盡管LLaMA3在量化后仍然展現(xiàn)出優(yōu)越的性能，但與量化相關(guān)的性能下降是顯著的，甚至在許多情況下可以導(dǎo)致更大的下降。

這一發(fā)現(xiàn)突顯了在資源受限環(huán)境中部署LLaMA3可能面臨的潛在挑戰(zhàn)，并強調(diào)了在低比特量化背景下增長和改進的充足空間。通過解決低比特量化引起的性能下降，預(yù)期后續(xù)的量化范式將使LLMs在較低的計算成本下實現(xiàn)更強的能力，最終推動代表性的生成式人工智能達到新的高度。

論文鏈接：https://arxiv.org/abs/2404.14047。

項目鏈接：https://github.com/Macaronlin/LLaMA3-Quantizationhttps://huggingface.co/LLMQ。