在當下流行的各種大模型工具中，Llama-Factory是全球開發(fā)者常用的一套工具集，它基于Transformer架構(gòu)，為我們提供了一套簡單、快速而又高效的大模型定制化訓練與部署工具，并且它提供了模塊化、可擴展和流程化的框架，支持多種主流的大語言模型（如 LLaMA、ChatGLM、Qwen 等），一站式地集成了數(shù)據(jù)預處理、訓練、微調(diào)、評估和推理等多種功能。本篇我們一起來看看Llama-Factory能為我們帶來哪些便利。

一、核心功能

1. 多模型支持

• 兼容主流大模型架構(gòu)（LLaMA、ChatGLM、Qwen、Falcon 等）。
• 支持模型權(quán)重的加載與轉(zhuǎn)換（如 Hugging Face 格式）。

2. 高效的微調(diào)方法

• 提供多種參數(shù)高效微調(diào)（PEFT）技術(shù)，如 LoRA（Low-Rank Adaptation）、Adapter、Prefix-Tuning 等。
• 支持全量微調(diào)（Full Fine-tuning）和分布式訓練（多 GPU/TPU）。

3. 多模態(tài)訓練支持

• 可處理文本、圖像、音頻等多模態(tài)數(shù)據(jù)的聯(lián)合訓練任務(wù)。

4. 數(shù)據(jù)預處理與增強

• 內(nèi)置常用數(shù)據(jù)集的清洗、分詞、格式轉(zhuǎn)換工具。
• 提供數(shù)據(jù)增強策略（如回譯、同義替換）以提升模型泛化能力。

5. 可視化與監(jiān)控

• 集成 TensorBoard 和 WandB，實時監(jiān)控訓練過程（損失、準確率等指標）。
• 支持模型性能分析和錯誤案例可視化。

6. 一鍵部署與推理

• 提供模型導出為 ONNX、TorchScript 等格式的工具。
• 支持本地或云端服務(wù)化部署（如 Docker、Kubernetes）。

二、主要組件和工具

LLaMA-Factory 的整體架構(gòu)圍繞以下幾個核心模塊展開：

 1. 模型支持框架（Model Support）

支持 Hugging Face Transformers 中的主流大語言模型：

• - LLaMA / LLaMA2 / LLaMA3
• - ChatGLM 系列
• - Baichuan 系列
• - Qwen 系列
• - InternLM
• - Mistral / Mixtral
• - Falcon / BLOOM 等

這些模型可以通過 Hugging Face 的 AutoModelForCausalLM 和 AutoTokenizer 加載，兼容性強。

 2. 微調(diào)方法（Fine-tuning Methods）

通過集成 PEFT（Parameter-Efficient Fine-Tuning）庫，支持主流的參數(shù)高效微調(diào)策略：

• LoRA (Low-Rank Adaptation)
• QLoRA
• Prefix Tuning
• Prompt Tuning
• Full Fine-tuning
• AdaLoRA、LLaMA-Adapter、IA3 等（部分支持）

用戶可以選擇不同的微調(diào)方法來根據(jù)資源和需求進行訓練。

3. 訓練器模塊（Trainer）

 基于 Hugging Face 的 Trainer 類封裝，增加對 PEFT 的支持。

支持：

• 多卡訓練（DeepSpeed、FSDP）
• 混合精度（fp16/bf16）
• Gradient Accumulation
• Checkpoint 保存與恢復

 4. 數(shù)據(jù)處理模塊（Data Preprocessing）

 支持多種數(shù)據(jù)格式：

• SFT 格式（instruction + input + output）
• Chat 格式（messages 列表）
• ShareGPT、Alpaca、OpenAI 格式
• 自定義格式（通過轉(zhuǎn)換腳本）
• 自動構(gòu)建訓練樣本，支持多輪對話、多種模板。

 5. 推理模塊（Inference / Serving）

提供簡單的推理腳本 `infer.py`，支持：

• 單輪 / 多輪對話
• Web UI（基于 Gradio）
• CLI 推理
• 支持加載微調(diào)后的模型進行評估或部署。

 6. 評估模塊（Evaluation）

 支持自動評估方法：

• BLEU / ROUGE / METEOR
• GPT / LLM-based 評價（如 GPT-4 Judge）
• MMLU、CMMLU、CEval 等標準數(shù)據(jù)集
• 支持模型輸出與參考答案的自動對比。

7. 部署模塊（Serving）

可選的部署方式：

• Gradio Web UI
• FastAPI
• OpenAI API 兼容接口（適用于本地部署大模型）

 8. 配置與腳本（Scripts & Configs）

提供豐富的訓練、推理、部署腳本，如：

• `train.py`
• `infer.py`
• `web_demo.py`
• `export_model.py`（導出為 Hugging Face 或 GGUF 格式）
• 提供 YAML/json 配置文件，方便快速啟動訓練/推理任務(wù)。

三、微調(diào)實戰(zhàn)

我們一起來看看如何用Llama-Factory微調(diào)llama3大模型，使用“弱智吧 ruozhiba”數(shù)據(jù)集。相比某些微調(diào)工具，LLaMA-Factory 整個操作過程還是比較簡單的。

1. 環(huán)境準備

（1）克隆 LLaMA-Factory 倉庫

git clone https://github.com/hiyouga/LLaMA-Factory.git
cd LLaMA-Factory
pip install -r requirements.txt

（2） 確保在以下環(huán)境中進行微調(diào)：

• Python 3.10+
• CUDA 11.8+/12.x（支持 GPU 訓練）
• 至少一張 24G 顯存的 GPU（8B）或多張 A100/H100（70B）

2. 模型與數(shù)據(jù)集下載

我們可以在Hugging Face或魔塔社區(qū)，下載llama3模型和ruozhiba數(shù)據(jù)集，具體方法多種多樣，這里就不做詳細介紹了。下圖是我下載的模型文件與數(shù)據(jù)集文件。

數(shù)據(jù)集文件：COIG-COIA/ruozhiba

3. 微調(diào)配置文件（`scripts/llama3/finetune_ruozhiba.sh`）

創(chuàng)建一個 shell 腳本如下：

#!/bin/bash


CUDA_VISIBLE_DEVICES=0 accelerate launch src/train_bash.py \
  --stage sft \
  --model_name_or_path llama_models/llama-3-8b \
  --do_train \
  --dataset ruozhiba \
  --dataset_dir data \
  --template llama3 \
  --finetuning_type lora \
  --output_dir output/llama3-ruozhiba-lora \
  --overwrite_cache \
  --per_device_train_batch_size 2 \
  --gradient_accumulation_steps 4 \
  --lr_scheduler_type cosine \
  --logging_steps 10 \
  --save_steps 500 \
  --learning_rate 5e-5 \
  --num_train_epochs 3 \
  --plot_loss \
  --fp16

參數(shù)說明：

• stage sft：表示進行 SFT 微調(diào)
• model_name_or_path：預訓練模型路徑
• dataset ruozhiba：數(shù)據(jù)集名稱（自動找 `ruozhiba.json` 文件）
• template llama3：使用 llama3 prompt 模板
• finetuning_type lora：使用 LoRA 微調(diào)方式（節(jié)省顯存）
• output_dir：輸出模型路徑
• fp16：使用半精度訓練（節(jié)省顯存）

4. 開始訓練

bash scripts/llama3/finetune_ruozhiba.sh

訓練完成后，輸出目錄為：

output/llama3-ruozhiba-lora/
├── adapter_config.json
├── adapter_model.bin
├── tokenizer.model
└── ...

5. 推理測試（inference）

我們需要使用 `src/api_demo.py` 啟動一個測試接口：

python src/api_demo.py \
  --model_name_or_path llama_models/llama-3-8b \
  --template llama3 \
  --finetuning_type lora \
  --adapter_name_or_path output/llama3-ruozhiba-lora

本文轉(zhuǎn)載自????碼農(nóng)隨心筆記????，作者：碼農(nóng)隨心筆記