Meta 開(kāi)源最強(qiáng)大模型Llama 3.1,參數(shù)多達(dá) 405B,超16000塊H100訓(xùn)練,燃燒數(shù)億經(jīng)費(fèi)!小扎:堅(jiān)定開(kāi)源不動(dòng)搖!
原創(chuàng)
出品51CTO技術(shù)棧(微信號(hào):blog51cto)GPT4omini剛剛將人們的目光吸引到小模型的浪潮上。而新王Meta直接開(kāi)大,開(kāi)源了自己4050億參數(shù)大模型,也是超越GPT4o的最強(qiáng)模型。與幾個(gè)月前推出的小型Llama3模型相比,Llama3.1復(fù)雜得多。4050億參數(shù)作為其最大的版本,使用超過(guò)16,000個(gè)Nvidia的高價(jià)H100GPU進(jìn)行訓(xùn)練。Meta沒(méi)有透露開(kāi)發(fā)Llama3.1的成本,但僅從Nvidia芯片的成本來(lái)看,可以推測(cè)其費(fèi)用達(dá)到數(shù)億美元。不僅如此,小扎還在Meta官網(wǎng)...