[[434190]]

本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

超大規(guī)模的預(yù)訓(xùn)練模型的參數(shù)量級(jí)又雙叒被刷爆了！

100000億！

（沒(méi)錯(cuò)，是10萬(wàn)億）

而且還是用512張GPU，訓(xùn)練了10天搞出來(lái)的！

這就是達(dá)摩院最新推出的超大規(guī)模通用性人工智能大模型，M6-10T。

它在電商、制造業(yè)、文學(xué)藝術(shù)、科學(xué)研究等領(lǐng)域都有著多模態(tài)、多任務(wù)的能力，在各自現(xiàn)實(shí)場(chǎng)景的下游任務(wù)中也頻頻出現(xiàn)。

而且還能做到即開(kāi)即用，你今年的雙十一背后就有M6-10T的身影。

少量資源快速訓(xùn)練大模型

不過(guò)剁手節(jié)的事可以先放一邊，問(wèn)題關(guān)鍵是：M6-10T到底是怎么使用少量資源完成對(duì)極限規(guī)模模型的訓(xùn)練的？

要知道，之前微軟的DeepSpeed MoE模型，也是使用了512張A100才完成了3.5萬(wàn)億參數(shù)的訓(xùn)練。

而自家在5個(gè)月前推出的萬(wàn)億級(jí)參數(shù)的M6，則是用480塊GPU訓(xùn)練的。

所以，512張GPU怎么就放下了10萬(wàn)億參數(shù)？

這就要提到達(dá)摩院自研的分布式框架Whale。

基于這一框架，M6模型可以使用粒度可控的CPU offload方法，靈活地選擇offload的模型層。

也就是說(shuō)，可以不用將所有的權(quán)重offload到CPU memory中，而選擇保留部分權(quán)重在GPU memory上進(jìn)行計(jì)算，以進(jìn)一步地提高GPU利用率。

放下了參數(shù)，下一步就是提高訓(xùn)練效率。

M6-10T模型采用了一種叫做共享解除（Pseudo-to-Real）的新的訓(xùn)練策略：

這一策略分為兩個(gè)階段。

第一階段，利用跨層參數(shù)共享機(jī)制快速構(gòu)建并訓(xùn)練小模型Pseudo Giant。

參數(shù)少得多的Pseudo Giant不受內(nèi)存的限制，因此可以用大批量訓(xùn)練來(lái)加速。

再配合上專家拆分和合并的機(jī)制，最終只需要使用256張GPU即可快速訓(xùn)練一個(gè)Pseudo Giant。

第二階段則解除共享參數(shù)的聯(lián)系，得到新的Real Giant模型。

“共享”階段訓(xùn)練好的模型層的參數(shù)會(huì)為Real Giant的每一層提供初始化，大模型即可在訓(xùn)練好的小模型的基礎(chǔ)上繼續(xù)優(yōu)化。

在下游評(píng)估中可以看到，從頭開(kāi)始訓(xùn)練Real Giant模型非常耗時(shí)，而Pseudo Giant訓(xùn)練的收斂速度比Real Giant訓(xùn)練有5倍左右的優(yōu)勢(shì)：

△在48個(gè)NVIDIA V100 GPU設(shè)備上訓(xùn)練

這一機(jī)制不僅能夠使M6-10T在樣本量的維度上具有更快的收斂速度，也能將模型的訓(xùn)練速度提升7倍以上。

而相對(duì)于之前的M6-MoE和M6-T，采用了新的訓(xùn)練策略的M60-10T迷惑度（perplexity）更低，模型更優(yōu)越：

可以說(shuō)，之前使用480GPU的萬(wàn)億參數(shù)模型M6，如果采用現(xiàn)在的方法，那就只需要64張GPU就能完成訓(xùn)練。

雙十一背后的模型

而除了算法層面的價(jià)值，M6-10T一經(jīng)推出就能夠投入使用。

比如說(shuō)即將來(lái)臨的雙十一中，你或許就能發(fā)現(xiàn)這些AI設(shè)計(jì)款的衣服上架。

這就是大模型帶來(lái)的創(chuàng)造力。

在結(jié)合了StyleGAN后，M6能夠在少樣本情況下自動(dòng)生成圖像，且保持良好的細(xì)節(jié)質(zhì)量和可編輯性。

而且與傳統(tǒng)的設(shè)計(jì)款式圖不同，M6生成的還是更接近實(shí)物的照片效果。

在手機(jī)淘寶和支付寶中，也會(huì)有基于M6智能生成的內(nèi)容文案：

同時(shí)，大模型的多模態(tài)特征提取能力，也能進(jìn)行商品屬性標(biāo)簽補(bǔ)充，用于進(jìn)行認(rèn)知召回。

可以說(shuō)，阿里巴巴內(nèi)部超過(guò)40個(gè)業(yè)務(wù)團(tuán)隊(duì)背后，都有著基于個(gè)版本的M6模型形成的服務(wù)化平臺(tái)的支撐。

而除了電商領(lǐng)域，還有金融、工業(yè)、傳統(tǒng)科學(xué)等諸多應(yīng)用方向。

現(xiàn)在，M6服務(wù)化平臺(tái)以及成為了前業(yè)界覆蓋最廣泛的大模型生態(tài)的服務(wù)化平臺(tái)。

那么未來(lái)是繼續(xù)追求更大量級(jí)的模型，進(jìn)行參數(shù)規(guī)模的迭代嗎？

阿里達(dá)摩院M6的科研團(tuán)隊(duì)表示：

伴隨著參數(shù)規(guī)模的擴(kuò)大，當(dāng)前的預(yù)訓(xùn)練模型在語(yǔ)言模型建模之類的任務(wù)上取得了不錯(cuò)的進(jìn)展，
但對(duì)知識(shí)的理解還比較淺薄。

因此，如何將大模型有效遷移到多種類型的下游任務(wù)上，讓大模型真正地理解并運(yùn)用知識(shí)，這將是研究人員會(huì)進(jìn)一步探索的問(wèn)題。

論文：
https://arxiv.org/abs/2110.03888