谷歌版“DeepSeek”發(fā)布！27B模型單個GPU即可運行，擊敗滿血DeepSeek V3/o3-mini
單GPU就能跑的最強模型來了！
谷歌最新模型Gemma 3，主打開源與高效。
27B輕松擊敗671B滿血的DeepSeek V3、o3-mini、Llama-405B，僅次于R1。
圖片
而從所需算力來看，其他模型要實現(xiàn)差不多的性能，所需算力資源至少增加10倍，有的情況下甚至高達32倍。
在ChatBot Arena Imarena大模型競技場中，Gemma 3也躋身Top 10，不僅在同等參數(shù)量模型中達到SOTA，開源模型里也僅次于R1。
圖片
網(wǎng)友們紛紛表示驚呆，尤其對單GPU就能跑、128K上下文印象深刻。
圖片
圖片
不過除了這劇情是不是有點似曾相識，有人注意到為啥沒有跟QwQ 32B比較。
圖片
圖片
目前，Gemma 3可以直接在Google AI Studio上體驗，在包括抱抱臉、Ollama或者Kaggle等平臺下載。
圖片
可在單個GPU運行的最強模型
此次Gemma 3有四個版本，27B是最大，還有1B、4B、12B。既有預(yù)訓(xùn)練模型，也有通用指令微調(diào)版本。
圖片
展開來看，主要有這些特點：
- 單GPU/TPU運行：Gemma 3在單GPU/TPU運行情況下，在LMArena排行榜的初步人類偏好評估中勝過Llama-405B、DeepSeek-V3和o3-mini。
如此高效的模型性能不在端側(cè)應(yīng)用部署可惜了。谷歌也專門給了教程和案例，手把手教的那種。
比如1B模型量化版在手機端運行。
在三星Galaxy S24 Ultra上運行的性能如下：
圖片
還有在電腦Web端本地創(chuàng)建社媒內(nèi)容。
MacBook Pro 2023（Apple M3 Pro 芯片）性能如下：
圖片
- 多模態(tài)和多語言，可以分析圖片、文本、短視頻等模態(tài)。
圖片
語言語種方面，提供對超過35種語言的開箱即用支持；以及對超過140種語言的預(yù)訓(xùn)練支持。
- 多工具支持靈活開發(fā)，支持Hugging Face Transformers、Ollama、JAX、Keras、PyTorch、Google AI Edge、UnSloth、vLLM 和Gemma.cpp的等平臺。
- 128k Token上下文窗口。
另外還支持函數(shù)調(diào)用、結(jié)構(gòu)化輸出，以幫助您自動執(zhí)行任務(wù)并構(gòu)建Agent，官方還引入了量化版本。
他們還推出了ShieldGemma 2：一款基于Gemma 3構(gòu)建的4B圖像安全檢查器。開發(fā)人員可以定制 ShieldGemma 2來滿足他們的安全需求。
更多技術(shù)細節(jié)
與模型一同發(fā)布的，還有一份25頁的技術(shù)報告，里面有不少細節(jié)。
圖片
如何訓(xùn)練的？
此次結(jié)合蒸餾、強化學(xué)習(xí)和模型合并等方法，對Gemma的前訓(xùn)練和后期訓(xùn)練過程進行了優(yōu)化。
Gemma 3使用了與Gemma 2一樣的Tokenizer，支持140多種語言，并使用JAX框架在Google TPU上對1B的2T tokens、4B的4T tokens、12B的12T tokens和27B的14T tokens進行了訓(xùn)練。
在后訓(xùn)練方面，Gemma 3使用了4個組件：
- 從較大的指令模型中提煉出Gemma 3預(yù)訓(xùn)練檢查點。
- RLHF，使模型預(yù)測與人類偏好保持一致。
- 從機器反饋中強化學(xué)習(xí)RLMF，以增強數(shù)學(xué)推理能力。
- 執(zhí)行反饋強化學(xué)習(xí)(RLEF)，以提高編碼能力。
圖片
這種方法提高了數(shù)學(xué)、編碼和指令跟蹤方面的性能，使其在LMArena分?jǐn)?shù)達到了1338分。
圖片
圖片
與之前的版本相比情況：
圖片
正文最后一頁還放了主要作者們，共同一作共有16位。
圖片
OMT：英偉達直接參與優(yōu)化
除此之外，在技術(shù)報告里還看到了這些亮點。
首先，英偉達直接參與了Gemma 3模型的優(yōu)化，以確保其在任何規(guī)格的GPU上都能獲得最佳性能，包括Jetson Nano 到最新的Blackwell芯片。
而在英偉達API目錄中也出現(xiàn)了Gemma 3，只需調(diào)用API即可快速進行原型設(shè)計。
針對谷歌自家的TPU，Gemma 3也進行了優(yōu)化，并通過開源ROCm堆棧與AMD GPU集成。還有CPU的解決方案。
Gemma 3還附帶了改進的代碼庫，其中包括高效微調(diào)和推理的配方。開發(fā)者可以根據(jù)特定需求來定制和調(diào)整模型。
在其他模型火熱的當(dāng)下，Gemma系列已經(jīng)來到了一周年，下載量已經(jīng)默默超過1億次，在社區(qū)中又超過60000個變體誕生。
如今在開源模型這塊的競爭，又激烈了不少。
最后，感興趣的朋友可直接戳下方鏈接哦~
https://aistudio.google.com/prompts/new_chat
參考鏈接：
[1]https://blog.google/technology/developers/gemma-3/
[2]https://x.com/sundarpichai/status/1899779090472644881?s=46
[3]https://developers.googleblog.com/en/introducing-gemma3/
