DeepSeek 開源 EPLB，世界上從來沒有什么騰空出世！
deepseek開源DualPipe的同一天，還開源了EPLB。今天來簡單聊聊EPLB，包懂。
1. EPLB是干嘛的？
EPLB，Expert Parallelism Load Balancer，是一個(gè)動(dòng)態(tài)負(fù)載均衡算法。
在使用專家并行EP時(shí)，不同專家會(huì)被分配到不同的GPU，而這些GPU的負(fù)載可能不均衡，此時(shí)就需要EPLB啦。
(1) 什么是專家并行EP？
專家并行EP，Expert Parallelism，是一種針對(duì)混合專家MOE設(shè)計(jì)的分布式并行技術(shù)。
(2) 什么是混合專家MOE？
混合專家MOE，Mixture of Experts，是deepseek大模型的核心創(chuàng)新應(yīng)用，該模型思路不再追求大而全，轉(zhuǎn)而追求多而專精。
關(guān)于混合專家MOE，詳見：《通俗講解deepseek - MOE(3)》
混合專家MOE與專家并行EP，deepseek之前開源了其核心通訊庫，詳見：《通俗講解deepseek開源 - DeepEP(10）》
2. EPLB是怎么做到負(fù)載均衡的？
EPLB像一個(gè)智能調(diào)度員，根據(jù)不同的場(chǎng)景調(diào)度專家進(jìn)行計(jì)算，其負(fù)載均衡算法包含兩類核心策略。
第一類：分級(jí)負(fù)載均衡。
使用場(chǎng)景：預(yù)填充階段（prefilling stage），規(guī)模較小，服務(wù)器節(jié)點(diǎn)數(shù)（server nodes）能被專家組數(shù)（expert groups）整除的情況。
策略步驟：
- 專家組分配（pack to）到節(jié)點(diǎn)，保證節(jié)點(diǎn)負(fù)載均衡；
- 節(jié)點(diǎn)內(nèi)復(fù)制專家；
- 專家分配到GPUs，保證GPUs負(fù)載均衡；
第二類：全局負(fù)載均衡。
使用場(chǎng)景：解碼階段（decoding stage），規(guī)模較大的情況。
策略步驟：
- 全局復(fù)制專家，不管專家在哪個(gè)組；
- 專家分配到GPUs，保證GPUs負(fù)載均衡；
總而言之，保證負(fù)載均衡，充分發(fā)揮GPUs的潛力，提升訓(xùn)練效率，縮短訓(xùn)練時(shí)間。
3. 舉個(gè)實(shí)際的例子？
DeepSeek-V3訓(xùn)練部署：
- 2048個(gè)NVIDIA H800；
- 256個(gè)服務(wù)器節(jié)點(diǎn)（每節(jié)點(diǎn)8GPU）；
- 專家組數(shù)為64（EP-64）；
接下來進(jìn)行訓(xùn)練：
- 預(yù)填充階段，一個(gè)專家組，例如Java+ FE+ QA+OP分配4個(gè)服務(wù)器節(jié)點(diǎn)，保證節(jié)點(diǎn)資源分配均衡；
- 專家冗余策略，當(dāng)發(fā)現(xiàn)某個(gè)GPU負(fù)載超過閾值時(shí)，復(fù)制專家副本，分配到新的GPU。也就是說，Java成為項(xiàng)目瓶頸時(shí)，我們就組內(nèi)復(fù)制多個(gè)Java；
- 原則上專家組之間避免全局通訊，而在有限節(jié)點(diǎn)內(nèi)通訊，降低全局通訊壓力；
畫外音：全局通訊復(fù)雜度會(huì)指數(shù)級(jí)上升，只需要少量跨組協(xié)同。
- 解碼階段，需要大量QA工程師，這個(gè)時(shí)候切換為全局策略，忽略專家組物理拓?fù)湎拗疲绻?jié)點(diǎn)全局復(fù)制QA工程師，加速項(xiàng)目進(jìn)度；
總的來說，幾個(gè)核心設(shè)計(jì)思路：
- 分級(jí)調(diào)度策略：先節(jié)點(diǎn)均衡，再GPU均衡；
- 冗余專家策略：誰是瓶頸復(fù)制誰，保證均衡；
- 就近通訊策略：減少全局通訊；
- 動(dòng)態(tài)切換策略：高峰期打破限制；
分級(jí)，冗余，就近，動(dòng)態(tài)... 工程架構(gòu)領(lǐng)域，哪有什么新鮮事，可偏偏在deepseek手里大放異彩。
. 一些啟示
通過deepseek的一系列開源：
哪一個(gè)是驚世駭俗？
- MLA：對(duì)顯卡計(jì)算加速；
- DeepEP：對(duì)通訊加速；
- GEMM：對(duì)矩陣乘法加速；
- DualPipe：對(duì)前向/反向傳播加速；
- EPLB：負(fù)載均衡充分利用資源；
- 3FS：文件系統(tǒng)加速（明天講解）；
- ...
世界上哪有什么騰空出世，deepseek的成功，完全出自一天天的腳踏實(shí)地，一天天的日積月累之中。積跬步，至千里。人的成功，也一樣。諸君共勉！
