出品 | 51CTO技術棧（微信號：blog51cto）

Llama 3.1 405B被吐槽太笨重？

英偉達對手AI新星Groq一招絕殺：上LPU直接速度翻倍，直接讓Llama 3.1飛升AGI!

Meta 最新發布的 Llama 3.1 405B 的開源讓AI圈不平靜了！

追捧者感慨"GPT-4o的能力已握在手中”，而批評者反駁說，大體量消耗這么多算力，有些結果跑得還不如GPT-4o mini，太失望了！

不過， Meta與英偉達勁敵Groq 的聯手直接讓速度問題從此消失了！

Groq 利用自己的超級速度向社區提供最新的 Llama 3.1 模型，包括 405B Instruct、70B Instruct 和 8B Instruct。

網友試完后驚訝地說：我的天啊，@GroqInc + @AIatMeta Llama 3.1 405b，我們問出的問題獲得了實時的答案，真的做到了！！！

圖片

看了這個視頻展示，不得不感嘆Groq + Llama 3.1的速度太猛了！

小扎對這場令人驚嘆的合作表示，“真的很高興看到 Groq 為 Llama 3.1 模型的云部署提供超低延遲推理......通過向社區提供我們的模型和工具，Groq 這樣的公司可以在我們的工作基礎上再接再厲，幫助推動整個生態系統向前發展"。

Groq首席執行官喬納森-羅斯（Jonathan Ross）說："Meta正在為人工智能開發一個類似于Linux的開放操作系統——不僅僅是為提供快速人工智能推理的Groq LPU，而是為整個生態系統。”

他補充說，Meta已經趕上了領先的專有模型，超越閉源模型只是時間問題。

前OpenAI研究員、AI大佬Andrej Karpathy稱贊Groq的推理速度說："這太酷了。這感覺就像 AGI——你只需與電腦對話，它就能立即完成任務。

圖片

在過去的幾個月里，Groq 以其比競爭對手更快、更經濟高效地執行人工智能任務的承諾而備受關注。這要歸功于它的語言處理單元（LPU），由于其線性操作，在執行這些任務時比 GPU 更有效率。雖然 GPU 對模型訓練至關重要，但部署中的人工智能應用（稱為 "推理"）需要更高的效率和更低的延遲。

由于試玩者的熱情涌入，GroqCloud 負責人Sunny Madra在X上宣布Llama 3.1 405b體驗暫時關閉了。

他寫道，看到 Groq 上對 Llama 3.1 的需求和興奮程度令人難以置信！我們被公眾對 405b 的需求所淹沒，很抱歉你們中的許多人經歷了漫長的排隊時間。我們將暫時關閉405b，直到我們能夠增加容量并確保增加容量并提供更高水平的服務。

圖片

1.速度稱王：Groq+ Llama 3-70B是GPT-4o mini兩倍快

"Groq的速度快得驚人，目前每秒可處理1200多個令牌。”

Groq甚至開源了一款快如閃電的炒股機器人。

Groq的人工智能應用工程師 Benjamin Klieger 介紹說："StockBot——一個由 Groq 上的 Llama 3-70B 支持的快如閃電的開源人工智能聊天機器人，可提供實時股票圖表、財務信息、新聞和篩選器。

圖片

StockBot運行起來的速度是這樣的：

根據 Artificial Analysis 的報告，在比較不同供應商提供的Llama 3 70B（一種人工智能模型）的性能時，GPT-4o Mini的速度明顯快于大多數供應商。然而，Groq公司提供的Llama 70B模型，每秒能輸出約340個輸出令牌（tokens），這比GPT-4o Mini快了兩倍多。

圖片

Groq 項目負責人 Rick Lamers 最近發布了 8B 和 70B 版本的 Llama 3 Groq Tool Use 型號。

圖片

他在 X 上分享說，這些模型是開源的，并針對工具使用進行了全面微調，在 BFCL 基準測試中名列前茅，超越了所有其他模型，包括 Claude Sonnet 3、GPT-4 Turbo、GPT-4o 和 Gemini 1.5 等專有模型。5、GPT-4 Turbo、GPT-4o 和 Gemini 1.5 Pro 等專有型號。

圖片

感興趣的朋友可以移步抱抱臉：

https://huggingface.co/Groq/Llama-3-Groq-8B-Tool-Use

自推出以來的 16 周內，Groq 免費提供了為 LLM 工作負載提供支持的服務，因此得到了開發人員的廣泛歡迎，據 Ross 稱，目前已有超過 28.2 萬名開發人員。

"Groq的使用非常簡單，而且不需要任何費用。你只需使用我們的應用程序接口（API），我們與大多數已開發的應用程序都兼容，"羅斯說。他補充說，如果客戶有大規模需求，每秒要生成數百萬個令牌，公司可以為客戶部署內部硬件。

2.拋棄GPU,Groq神秘的LPU——不僅快還省電

Groq由羅斯于2016年創立，其與眾不同之處在于摒棄了GPU，轉而使用其專有硬件LPU。

在加入Groq之前，羅斯曾在谷歌工作，創建了張量處理單元（TPU）。他負責設計和實現原始 TPU 芯片的核心元件，該芯片在谷歌的人工智能工作（包括 AlphaGo 競賽）中發揮了關鍵作用。

LPU 僅用于運行 LLM，而不是訓練它們。羅斯說："在推理或實際運行模型時，LPU的速度大約是GPU的10倍，"他補充說，在訓練LLM時，那是GPU的任務。

當被問及這種速度的目的時，羅斯說："人類不喜歡這樣閱讀，就像老式電傳打字機打印出來的東西一樣。眼睛掃描頁面的速度非常快，幾乎在一瞬間就能判斷出是否得到了想要的東西。"

Groq 的 LPU 對英偉達、AMD 和英特爾等傳統 GPU 制造商構成了巨大挑戰。Groq專門為加速深度學習計算而打造了張量流處理器，而不是為人工智能修改通用處理器。

LPU旨在克服兩個LLM瓶頸：計算密度和內存帶寬。就 LLM 而言，LPU 的計算能力大于 GPU 和 CPU。這就減少了每個單詞的計算時間，從而可以更快地生成文本序列。

此外，由于消除了外部內存瓶頸，LPU 推理引擎在 LLM 上的性能比 GPU 高出數個數量級。LPU 的設計優先考慮數據的順序處理，這是語言任務所固有的。這與 GPU 形成鮮明對比，后者針對圖形渲染等并行處理任務進行了優化。"

Ross說："在生成第99個字之前，你無法生成第100個字，因此它們有一個順序部分，而GPU根本無法做到這一點。

此外，他還補充說，GPU是出了名的耗電大戶，每個芯片所需的電量往往相當于普通家庭的電量。"他說："LPU 的耗電量僅為 GPU 的十分之一。

參考鏈接: https://analyticsindiamag.com/ai-origins-evolution/groq-makes-llama-3-1-agi/