Mistral上周末丟出的磁力鏈接震驚了開源圈子，這個7B×8E的開源MoE大模型性能已經到達了LLaMA2 70B的級別！

而根據(jù)Jim Fan猜測，如果Mistral內部訓練了34B×8E或者甚至100B+×8E級別的模型，那他們的能力很有可能已經無限接近GPT-4了。

而在之前對于GPT-4結構的曝料中，大部分的信息也指向GPT-4很可能是由8個或者是16個MoE構成。

為什么MoE能成為高性能大模型的必選項？

簡單來說，MoE是一種神經網絡架構設計，在Transformer模塊中集成了專家/模型層。

當數(shù)據(jù)流經MoE層時，每個輸入token都會動態(tài)路由到專家子模型進行處理。當每個專家專門從事特定任務時，這種方法可以實現(xiàn)更高效的計算并獲得更好的結果。

MoE最關鍵的組件：

- 專家（Expert）：MoE層由許多專家、小型MLP或復雜的LLM（如 Mistral 7B）組成。

- 路由器（Router）：路由器確定將哪些輸入token分配給哪些專家。

路由策略有兩種：token選擇路由器或路由器選擇token。

路由器使用softmax門控函數(shù)通過專家或token對概率分布進行建模，并選擇前k個。

MoE能夠帶來的好處：

- 每個專家都可以專門處理不同的任務或數(shù)據(jù)的不同部分。

- MoE構架能向LLM添加可學習參數(shù)，而不增加推理成本。

- 可以利用稀疏矩陣的高效計算

- 并行計算所有專家層，以有效利用GPU的并行能力

- 幫助有效地擴展模型并減少訓練時間。以更低的計算成本獲得更好的結果！

MoE：建立高效大模型的關鍵技術

大型語言模型（LLM）席卷了機器學習領域，而隨著現(xiàn)代數(shù)據(jù)集的復雜性和規(guī)模的增加，每個數(shù)據(jù)集都包含不同的模式，特征和標注之間的關系截然不同。

——這時，就需要MoE出手了。

專家混合（MoE）就像神經網絡世界中的一種團隊合作技術。

想象一下，將一項大任務分解成更小的部分，并讓不同的專家處理每個部分。然后，有一個聰明的法官會根據(jù)情況，決定遵循哪位專家的建議，所有這些建議都混合在一起。

——就像你利用不同的口味，組合成一道好吃的菜。

對于復雜的數(shù)據(jù)集，可以劃分為局部子集（local subsets），同樣，將需要預測的問題劃分為子任務（采用領域知識或者無監(jiān)督聚類算法）。

然后，針對每個數(shù)據(jù)子集訓練專家模型（Expert Models），專家模型可以是任何模型，比如支持向量機 （SVM） 或者神經網絡，每個專家模型接收相同的輸入模式并進行預測。

MoE還包含門控模型（Gating Model），用于解釋每個專家做出的預測，并根據(jù)輸入選擇信任哪個專家。

最后，MoE需要一種聚合機制（Pooling Method），根據(jù)門控模型和專家的輸出進行預測。

在現(xiàn)實的應用中，研究人員提出一種稱為「稀疏門控專家混合層」的方法，作為原始MoE的迭代，這個方法提供了一個通用的神經網絡組件，可以適應不同類型的任務。

稀疏門控專家混合層（Sparsely-Gated Mixture-of-Experts Layer）由許多專家網絡組成，每個專家網絡都是一個簡單的前饋神經網絡和一個可訓練的門控網絡。門控網絡負責選擇這些專家的稀疏組合來處理每個輸入。

這里的重點是在門控功能中使用稀疏性，——這意味著對于每個輸入實例，門控網絡只選擇少數(shù)專家進行處理，其余的專家保持非活動狀態(tài)。

這種稀疏性和專家選擇是針對每個輸入動態(tài)實現(xiàn)的，整個過程具有高度的靈活性和適應性，而由于不需要處理網絡的非活動部分，計算效率大大提高。

——簡單來說就是，算得快、消耗少、省錢。

MoE層可以分層堆疊，其中主MoE選擇稀疏加權的「專家」組合。每個組合都使用一個MoE圖層。

此外，研究人員還提出了一種名為「Noisy Top-K Gating」的創(chuàng)新技術。

這種機制在門控函數(shù)中增加了一個可調的高斯噪聲，只保留前K個值，并將其余值分配給負無窮大，從而轉換為零門控值。

這種方法確保了門控網絡的稀疏性，同時保持了對門控函數(shù)輸出中潛在不連續(xù)性的魯棒性。另外，它還有助于跨專家網絡進行負載平衡。

MoE和Transformer

下面我們來看一下MoE在Transformer ，也就是當下大火的大語言模型中發(fā)揮了怎樣的作用。

MoE作為一種神經網絡架構設計，可以集成進Transformer的結構中。

當數(shù)據(jù)流經MoE層時，每個輸入（tokens）都會動態(tài)路由到某個專家模型進行計算，這樣每個專家都可以專注于特定的任務，更好、更高效地給出結果。

上圖展示了具有MoE層的Transformer編碼器的演化（對于解碼器的修改也類似），MoE層取代了Transformer的前饋層。

上圖左邊是標準Transformer模型的編碼器，包括自注意力層和前饋層，交錯著殘差連接和歸一化層。

中間部分通過用MoE層替換其他前饋層，得到了MoE Transformer Encoder的模型結構。

上圖右側是當模型擴展到多個設備時的情況，MoE層將跨設備分片，而所有其他層都會被復制。

我們可以看到MoE的關鍵組件就是各種專家模型和路由模塊。

專家模型也可以是小型MLP， 或者復雜的LLM，如Mistral 7B。

而路由模塊用來確定將哪些輸入tokens分配給哪些專家。

一般有兩種路由策略：token選擇路由器，或路由器選擇token。這里使用softmax門控函數(shù)，通過專家模型或者tokens，對概率分布進行建模，并選擇top k。

由此，我們可知MoE層在Transformer中發(fā)揮了重要的作用。

每個專家都可以專門處理不同的任務或數(shù)據(jù)的不同部分；使用MoE可以在不增加推理成本的情況下向LLM添加可學習參數(shù)；

此外，MoE還有助于對稀疏矩陣進行高效計算；而MoE中的專家層可以并行計算，這樣就有效利用了GPU的并行能力。

最后，MoE在幫助減少訓練時間的同時，還可以做到有效地擴展模型，以更低的計算成本獲得更好的結果。

MoE開源再受關注

在Mistral放出這個開源的7B×8E的MoE之前，英偉達和谷歌也放出過其他完全開源的MoE。

曾在英偉達實習的新加坡國立大學博士生Fuzhao Xue表示，他們的團隊在4個月前也開源了一個80億參數(shù)的MoE模型。

項目地址：https://github.com/XueFuzhao/OpenMoE

數(shù)據(jù)來源

- 一半來自The RedPajama，另一半來自The Stack Dedup

- 為提升模型的推理能力，采用了大量的編程相關數(shù)據(jù)

模型架構

- OpenMoE模型基于「ST-MoE」，但采用了decoder-only架構。

其它設計

- 采用umT5 tokenizer

- 使用RoPE技術

- 采用SwiGLU激活函數(shù)

- 設定2000 token的上下文長度

BigBench評估

團隊在BigBench-Lite上進行了少樣本測試，其中包括與BIG-G、BIG-G-Sparse以及GPT-3的對比。

通過計算每個詞元激活的參數(shù)數(shù)量和訓練詞元的數(shù)量來大致估計相對成本。圖中每個點的大小代表了相應詞元激活的參數(shù)數(shù)量。特別需要指出的是，淺灰色的點表示MoE模型的總參數(shù)量。

對此，Jim Fan也表示，MoE并不新鮮，它只是沒有得到那么多關注而已......

比如，谷歌很早之前就開源了基于T5的MoE模型——Switch Transformer。

面臨的挑戰(zhàn)和機遇

MoE基礎設施建設

由于MoE擁有大量可訓練參數(shù)，理想的軟件環(huán)境應該支持靈活組合的專家級、張量級、流水線級和數(shù)據(jù)并行，無論是節(jié)點內還是節(jié)點間。

此外，如果能支持簡單快速的激活卸載和權重量化，從而減輕MoE權重的內存占用，就更好了。

MoE指令微調

FLAN-MoE研究提出：盡管將MoE的性能通過特定任務的微調轉移到下游任務上存在挑戰(zhàn)，但指令微調卻能有效地與MoE模型協(xié)調一致。這展示了基于MoE的語言模型巨大的潛力。

MoE 評估

MoE模型的歸納偏置（Inductive bias）可能在困惑度（perplexity）之外還有其他效果，就像其他自適應模型（如Universal Transformer和AdaTape）那樣。

硬件挑戰(zhàn)

值得一提的是，GPU在跨節(jié)點通信方面面臨挑戰(zhàn)，因為每個節(jié)點通常只能配備有限數(shù)量的GPU。這使得專家并行中，通信成為瓶頸。

幸運的是，NVIDIA最近推出了DGX GH200，將256個NVIDIA Grace Hopper Superchips集成到一個單一GPU中，很大程度上解決了通信帶寬問題，為開源領域的MoE模型的訓練和部署提供了幫助。