DeepSeek滿血微調(diào)秘籍開源！站在巨人肩膀打造私有模型，一手教程在此
DeepSeek爆火甚至引發(fā)API低價內(nèi)卷……
但是別忘了開源模型的最大好處是提供了“巨人的肩膀”啊！
微調(diào)DeepSeek-V3/R1，低成本打造高質(zhì)量私有模型、提高業(yè)務(wù)競爭力，或許才是當(dāng)下行業(yè)內(nèi)更迫切的需求。
就在剛剛，已收獲近4萬GitHub StarColossal-AI發(fā)布開源大模型后訓(xùn)練工具箱，它包含：
- DeepSeek-V3/R1滿血671B LoRA低成本SFT微調(diào)；
- 完整的強化學(xué)習(xí)工具鏈PPO、GRPO、DPO、SimPO等；
- 無縫適配DeepSeek系列蒸餾模型在內(nèi)的HuggingFace開源模型；
- 兼容支持英偉達(dá)GPU、華為昇騰NPU等多種硬件；
- 支持混合精度訓(xùn)練，gradient checkpoint等訓(xùn)練加速降低成本；
- 靈活的訓(xùn)練配置接口，支持自定義獎勵函數(shù)、損失函數(shù)等；
- 提供靈活的并行策略配置接口，包括數(shù)據(jù)并行、模型并行、專家并行、ZeRO和Offload等，以適應(yīng)不同硬件規(guī)模。
開源地址：https://github.com/hpcaitech/ColossalAI
低成本監(jiān)督微調(diào)滿血版DeepSeek-V3/R1-671B
6710億參數(shù)規(guī)模的DeepSeek-V3/R1低成本微調(diào)，僅需以下幾步，即可快速完成。
數(shù)據(jù)集準(zhǔn)備
該腳本接收J(rèn)SONL格式的文件作為輸入數(shù)據(jù)集，例如：
https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_sft_data.jsonl。
數(shù)據(jù)集的每一行應(yīng)為一個聊天對話列表。例如：
[{“role”: “user”, “content”: “你好，最近怎么樣？”}, {“role”: “assistant”, “content”: “我很好。今天有什么可以幫你的嗎？”}] |
[{“role”: “user”, “content”: “火燒赤壁 曹操為何不撥打119求救？”}, {“role”: “assistant”, “content”: “因為在三國時期，還沒有電話和現(xiàn)代的消防系統(tǒng)，所以曹操無法撥打119求救。”}] |
該數(shù)據(jù)格式，兼容Huggingface chat template，支持自定義system prompt，因此可靈活按需配置。
模型權(quán)重準(zhǔn)備
為保證更好的微調(diào)效果，使用BF16權(quán)重進(jìn)行微調(diào)。
如果已下載了FP8的DeepSeek-V3/R1權(quán)重，可以使用DeepSeek官方腳本https://github.com/deepseek-ai/DeepSeek-V3/blob/main/inference/fp8_cast_bf16.py通過GPU將權(quán)重轉(zhuǎn)換為BF16。
對于使用國產(chǎn)華為昇騰算力，可以下載https://gitee.com/ascend/ModelZoo-PyTorch/blob/master/MindIE/LLM/DeepSeek/DeepSeek-V2/NPU_inference/fp8_cast_bf16.py腳本轉(zhuǎn)換權(quán)重。
使用方法
在準(zhǔn)備好數(shù)據(jù)集和模型權(quán)重后，可使用Colossal-AI 提供的一鍵啟動腳本https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/lora_finetune.py。
該腳本與常見SFT腳本類似，且完全兼容HuggingFace PEFT，啟動命令：
colossalai run —hostfile path-to-host-file —nproc_per_node 8 lora_finetune.py —pretrained path-to-DeepSeek-R1-bf16 —dataset path-to-dataset.jsonl —plugin moe —lr 2e-5 —max_length 256 -g —ep 8 —pp 3 —batch_size 24 —lora_rank 8 —lora_alpha 16 —num_epochs 2 —warmup_steps 8 —tensorboard_dir logs —save_dir DeepSeek-R1-bf16-lora有關(guān)每個參數(shù)的更多詳細(xì)信息，可以運行python lora_finetune.py—help查看。該腳本可通過tensorboard記錄學(xué)習(xí)率、loss、grad norm信息，方便對訓(xùn)練進(jìn)行監(jiān)控。
使用LoRA優(yōu)化硬件資源消耗
通過使用LoRA等優(yōu)化，示例命令已將SFT DeepSeek-V3/R1-671B最低硬件要求降低近10倍，可使用32個Ascend 910B NPU 64GB（使用 ep=8,pp=4）或24個H100/H800 GPU（使用 ep=8,pp=3）。如果你通過—zero_cpu_offload啟用CPU offload，硬件要求可以進(jìn)一步降低，但會損失一定的訓(xùn)練速度。
如下圖驗證，在SFT DeepSeek V3/R1 671B時，Loss 可以順利降低。
對于資金充裕的開發(fā)團(tuán)隊，也可以使用上述腳本，將并行度高效擴(kuò)展至數(shù)百及數(shù)千卡，快速完成DeepSeek-V3/R1-671B全參微調(diào)或并行加速。
對于預(yù)算有限，又想借助強化學(xué)習(xí)構(gòu)建自己的類DeepSeek-R1模型， Colossal-AI也提供了解決方案，并利用小模型對算法進(jìn)行了驗證。
通過強化學(xué)習(xí)微調(diào)蒸餾版DeepSeek
Colossal-AI團(tuán)隊驗證并實現(xiàn)了DeepSeek論文中的GRPO算法及verifiable reward，使用Qwen2.5-3B-Base模型進(jìn)行了實驗。其中，獎勵的設(shè)計如下：
- 獎勵=0，如果格式是正確的；
- 獎勵=1， 如果格式是正確的但是結(jié)果是錯誤的；
- 獎勵=10，如果格式與結(jié)果都是正確的。
Colossal-AI團(tuán)隊以Qwen2.5-3B-Base模型為例，提供了用于驗證GRPO的對話模板及設(shè)定
（https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/conversation_template/Qwen_Qwen2.5-3B.json），通過配置以下bash 文件，即可一鍵啟動：
https://github.com/hpcaitech/ColossalAI/blob/main/applications/ColossalChat/examples/training_scripts/train_grpo.sh
同時，在GRPO章節(jié)，Colossal-AI團(tuán)隊還提供了驗證過程中的部分發(fā)現(xiàn)及各種參數(shù)的詳細(xì)描述，可供參考。
代碼中設(shè)計了可靈活配置獎勵函數(shù)的模板，因此，用戶可根據(jù)自己的具體情況設(shè)計自己的獎勵函數(shù)體系。
由下圖可以看到，即使是3B的模型，平均獎勵與模型回復(fù)長度隨著時間逐步增長。
隨著訓(xùn)練的進(jìn)行，我們可以看到一些有意思的例子。例如隨著訓(xùn)練迭代，模型開始了自我糾正：
Colossal-AI：最佳后訓(xùn)練工具箱
Colossal-AI在深耕大模型預(yù)訓(xùn)練降本增效的基礎(chǔ)上，致力于進(jìn)一步成為開發(fā)者開箱即用的最佳后訓(xùn)練工具，幫助用戶基于開源模型，低成本快速構(gòu)建私有模型。
開源地址：https://github.com/hpcaitech/ColossalAI
