突發(fā)！DeepSeek開源新版V3，再次震驚國(guó)外
昨晚，國(guó)內(nèi)著名大模型平臺(tái)DeepSeek開源了V3模型的最新版本0324。
不過DeepSeek相當(dāng)?shù)驼{(diào)，國(guó)內(nèi)的公眾號(hào)、國(guó)外的社交平臺(tái)沒有做任何宣傳，就是“悄悄”地把模型上傳到huggingface。
根據(jù)國(guó)外網(wǎng)友測(cè)試顯示，V3-0324最大亮點(diǎn)之一就是代碼能力，只需要簡(jiǎn)單的文本提示就能快速開發(fā)各種網(wǎng)站、App，可以比肩目前全球最強(qiáng)的閉源代碼模型Claude 3.7 Sonnet思維鏈版本。
但V3-0324是開源且免費(fèi)的，推理效率更快。
開源地址：https://huggingface.co/deepseek-ai/DeepSeek-V3-0324/tree/main
有網(wǎng)友表示，新版V3 在不到 60 秒的時(shí)間內(nèi)解開了一道密碼謎題。Sonnet 3.7 花了大約 5 分鐘卻未能解開。
這就是為什么我不介意中國(guó)領(lǐng)先。他們有人力資源，這個(gè)巨人已經(jīng)覺醒，我們將從中獲得更好的科技成果。
有網(wǎng)友分析，認(rèn)為這很可能是去年年底發(fā)布的 DeepSeek V3 的一次迭代更新，就像 OpenAI 一直在更新他們的模型一樣，而沒有真正增加模型的編號(hào)（我不知道我們已經(jīng)見過多少個(gè) gpt-4 的迭代版本）。
DeepSeek V3 實(shí)際上比 R1 更適合許多創(chuàng)意寫作任務(wù)，因?yàn)樗臁Ｋ俣群苤匾驗(yàn)槟憧梢愿焖俚剡M(jìn)行多次迭代。幻覺和準(zhǔn)確性不足并不是大問題，因?yàn)槿祟悜?yīng)該編輯和批準(zhǔn)文本。
DeepSeek的影響凸顯了一個(gè)重要的技術(shù)轉(zhuǎn)變。
還有人立刻對(duì)V3-0324進(jìn)行了評(píng)測(cè)，一次性開發(fā)了一個(gè)網(wǎng)站寫了800多行代碼且沒有出現(xiàn)任何錯(cuò)誤。這是免費(fèi)的、開源的、超級(jí)快的。很高興看到這些開源模型如何給大公司施加壓力，促使它們以更低的成本構(gòu)建更好的模型。
新版V3 模型僅用一個(gè)提示就完成了這個(gè)登陸頁面的編碼。這個(gè)新的 DeepSeek-V3 模型在編程能力上已經(jīng)達(dá)到了和 Claude 3.7 Sonnet 相同的水平，同時(shí)還是無限制且免費(fèi)的。
提示詞：用 HTML/CSS/JS 編寫一個(gè)現(xiàn)代化的登陸頁面，并將所有內(nèi)容放到一個(gè)文件中！
我讓新的 DeepSeek V3 模型構(gòu)建最美麗且復(fù)雜的動(dòng)畫腳本。只用一個(gè) HTML/JS 腳本！
該網(wǎng)友還補(bǔ)充道“我們正在與未來對(duì)話”，相當(dāng)滿意V3的代碼能力。
V3簡(jiǎn)單介紹
V3是一個(gè)擁有 6710 億參數(shù)的專家混合模型（Moe），其中370 億參數(shù)處于激活狀態(tài)。
在傳統(tǒng)的大模型中，通常會(huì)采用密集的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，模型需要對(duì)每一個(gè)輸入token都會(huì)被激活并參與計(jì)算，會(huì)耗費(fèi)大量算力。
此外，傳統(tǒng)的混合專家模型中，不平衡的專家負(fù)載是一個(gè)很大難題。當(dāng)負(fù)載不均衡時(shí)，會(huì)引發(fā)路由崩潰現(xiàn)象，這就好比交通擁堵時(shí)道路癱瘓一樣，數(shù)據(jù)在模型中的傳遞受到阻礙，導(dǎo)致計(jì)算效率大幅下降。
為了解決這個(gè)問題，常規(guī)的做法是依賴輔助損失來平衡負(fù)載。然而，這種方法存在一個(gè)弊端，那就是輔助損失一旦設(shè)置過大，就會(huì)對(duì)模型性能產(chǎn)生負(fù)面影響，就像為了疏通交通而設(shè)置過多限制，卻影響了整體的通行效率。
DeepSeek對(duì)V3進(jìn)行了大膽創(chuàng)新，提出了輔助損失免費(fèi)的負(fù)載均衡策略，引入“偏差項(xiàng)”。在模型訓(xùn)練過程中，每個(gè)專家都被賦予了一個(gè)偏差項(xiàng)，它會(huì)被添加到相應(yīng)的親和力分?jǐn)?shù)上，以此來決定top-K路由。
模型會(huì)持續(xù)監(jiān)測(cè)每一批訓(xùn)練數(shù)據(jù)中專家的負(fù)載情況。如果某個(gè)專家負(fù)載過重，就像一座橋梁承受了過多的車輛，此時(shí)就減小其偏差項(xiàng)；反之，如果負(fù)載過輕，就增加偏差項(xiàng)。
通過這種動(dòng)態(tài)調(diào)整， V3能夠在訓(xùn)練過程中有效平衡專家負(fù)載，而且相比那些僅依靠純輔助損失來平衡負(fù)載的模型，它的性能得到了顯著提升。
此外，V3還采用了節(jié)點(diǎn)受限的路由機(jī)制，以限制通信成本。在大規(guī)模分布式訓(xùn)練中，跨節(jié)點(diǎn)的通信開銷是一個(gè)重要的性能瓶頸。通過確保每個(gè)輸入最多只能被發(fā)送到預(yù)設(shè)數(shù)量的節(jié)點(diǎn)上，V3 能夠顯著減少跨節(jié)點(diǎn)通信的流量，從而提高訓(xùn)練效率。
這種路由機(jī)制不僅減少了通信開銷，還使得模型能夠在保持高效的計(jì)算-通信重疊的同時(shí)，擴(kuò)展到更多的節(jié)點(diǎn)和專家。
根據(jù)國(guó)外開源評(píng)測(cè)平臺(tái)kcores-llm-arena對(duì)V3-0324最新測(cè)試數(shù)據(jù)顯示，其代碼能力達(dá)到了328.3分，超過了普通版的Claude 3.7 Sonnet（322.3），可以比肩334.8分的思維鏈版本。
本文轉(zhuǎn)自 AIGC開放社區(qū) ，作者：AIGC開放社區(qū)
