Tesla Dojo

• Tesla自研的D1芯片采用7納米制程，包含354個核心，每個核心擁有1.25 MB SRAM，支持多種數(shù)據(jù)格式。單芯片計算能力達(dá)362 TFLOPS，專為自動駕駛AI并行計算優(yōu)化。
• Dojo V1系統(tǒng)包含6個訓(xùn)練模塊，共5.31萬個核心，運(yùn)算能力為1 exaflops；完整ExaPod系統(tǒng)擴(kuò)展至120個模塊，106.2萬個核心，目標(biāo)運(yùn)算能力為20 exaflops。
• 每個訓(xùn)練模塊提供9 petaflops計算能力，配備高帶寬內(nèi)存，單模塊功耗15千瓦。采用水冷設(shè)計，內(nèi)存帶寬達(dá)400 GB/s（讀取）和270 GB/s（寫入）。
• 該系統(tǒng)專為全自動駕駛（FSD）神經(jīng)網(wǎng)絡(luò)定制，能處理數(shù)十億英里實時駕駛數(shù)據(jù)，交通標(biāo)識識別精度高達(dá)99.9%。
• 2023年7月投產(chǎn)，預(yù)計2024年10月計算能力將突破100 exaflops。已投入超10億美元支持芯片研發(fā)，瞄準(zhǔn)10萬億美元機(jī)器人服務(wù)市場。

xAI Colossus

• 初期配置10萬個Nvidia H100 GPU，計劃近期擴(kuò)展至20萬個GPU，其中包括5萬個H200 GPU。
• 硬件由Supermicro和Dell提供，將位于田納西州孟菲斯市郊的一家Electrolux工廠舊址。
• 預(yù)計建造成本約47億美元。xAI已完成融資114億美元，最新一輪50億美元融資將用于Colossus建設(shè)和數(shù)據(jù)中心運(yùn)營。
• 該系統(tǒng)主要用于訓(xùn)練Grok系列模型，包括Grok-1（3140億參數(shù)）和更高參數(shù)量的Grok-2，性能超越多數(shù)競爭對手。
• 不僅服務(wù)xAI，還可能與Tesla、SpaceX等公司協(xié)作，在自動駕駛和機(jī)器人技術(shù)領(lǐng)域提供強(qiáng)大計算支持。

Amazon

• 向Anthropic投資40億美元，獲得少數(shù)股權(quán)，投資額為Google的1.57倍（25.5億美元），并將Claude模型整合到Bedrock AI服務(wù)中。
• 開發(fā)Trainium和Inferentia芯片，旨在降低生成式AI運(yùn)行成本，相比傳統(tǒng)GPU可減少50%以上開支。
• 2023年4月推出Bedrock平臺，提供Claude等模型。截至2023年10月，已擁有超過1萬個企業(yè)客戶。
• 在Nvidia兩代產(chǎn)品周期內(nèi)購買200萬個GPU。2023年獲得5萬個H100 GPU（價值15億美元），2022年獲得2萬個，另有193萬個A100 GPU。總投資規(guī)模達(dá)241.3億美元。

Google（Alphabet）

• 向Anthropic投資25.5億美元，獲得少數(shù)股權(quán)。將Claude模型部署到Google Cloud，并為TPU加速器優(yōu)化模型性能，旨在與微軟和OpenAI競爭。
• 2015年啟動TPU加速器，專門用于人工智能工作負(fù)載。自主開發(fā)Gemini大型語言模型，并在Google Cloud平臺部署。

Microsoft

• 向OpenAI投資130億美元，獲得少數(shù)股權(quán)（估計8.3%以下）。已將GPT模型整合到Azure、Bing、Office等產(chǎn)品中，提升技術(shù)競爭力。
• 開發(fā)Maia AI芯片系列，用于加速AI推理和訓(xùn)練。目標(biāo)降低對Nvidia GPU的依賴，提升AI硬件領(lǐng)域的競爭力。

Anthropic

• 通過與Amazon和Google合作，分別獲得40億和25.5億美元投資，獲得算力資源支持。
• 與AWS合作，將Claude模型移植到Trainium和Inferentia芯片，并參與未來芯片設(shè)計。
• 通過AWS Bedrock平臺和API，為開發(fā)者和用戶提供Claude模型的接入和使用。

如果Amazon希望在與Google和Microsoft的競爭中脫穎而出，就必須確保其自主研發(fā)的加速器能運(yùn)行最頂尖的模型。正如Google在自研的TPU上運(yùn)行Gemini大語言模型，Microsoft未來也將借助自有的Maia加速器部署OpenAI的GPT模型。因此，Amazon旗下的云計算巨頭AWS近期向Anthropic投資40億美元，實屬情理之中。

作為云計算行業(yè)的領(lǐng)導(dǎo)者，AWS正是高端IT產(chǎn)品高額支出的最大受益者。這一事實以及相關(guān)因素，預(yù)示著未來數(shù)年內(nèi)，Amazon與Anthropic、Microsoft與OpenAI將持續(xù)大規(guī)模投資，直到這些AI公司積累足夠資本，可以自主研發(fā)AI加速器并建立獨(dú)立基礎(chǔ)設(shè)施。模型開發(fā)商與云服務(wù)商之間的合作，折射出一套深謀遠(yuǎn)慮的系統(tǒng)性戰(zhàn)略。

今年8月，我們部分探討了這一議題（??資金回流效應(yīng)：AI投資如何推高云計算增長？??），分析了Microsoft Azure和AWS的財務(wù)狀況，以及兩家母公司分別向OpenAI和Anthropic投資的130億美元和40億美元。我們曾質(zhì)疑2024年云計算支出增長中，有多大比例源于Amazon和Microsoft對AI初創(chuàng)企業(yè)的投資。我們認(rèn)為這一比例相當(dāng)可觀，并建議相關(guān)數(shù)據(jù)應(yīng)在財報中披露。

Google母公司Alphabet已向Anthropic投資25.5億美元，意在分散大語言模型領(lǐng)域的風(fēng)險。華爾街為AI的持續(xù)投資而歡欣鼓舞，這片科技新大陸似乎永遠(yuǎn)生機(jī)勃勃。然而，所有投資的果實終將成熟，人們既期待AI的豐碩回報，又憂慮其對知識經(jīng)濟(jì)的潛在沖擊。

2023年9月，我們已深入剖析了Anthropic的發(fā)展歷程。當(dāng)時，AWS向Anthropic投資12.5億美元，并達(dá)成合作，將Claude系列大語言模型遷移到AWS自研的Trainium AI訓(xùn)練芯片和Inferentia AI推理芯片上。我們在2023年12月詳細(xì)解析了Trainium和Inferentia芯片，闡明了AWS如何通過這一策略削減Nvidia GPU的成本。

今年3月，Amazon又向Anthropic追加27.5億美元投資，上周再次注資40億美元。按我們此前測算，僅使用Nvidia Hopper H100加速器訓(xùn)練約30個參數(shù)規(guī)模為2萬億的大語言模型，90天內(nèi)就需耗資40億美元。擁有性能可靠且數(shù)量充足的自研AI芯片，可將單位成本顯著降低，使AWS在AI集群上的性價比超越昂貴的Nvidia GPU。此外，隨著Claude模型針對Trainium和Inferentia芯片進(jìn)行優(yōu)化，Anthropic有望成為這些芯片的最大客戶。AWS則可根據(jù)Anthropic軟件需求持續(xù)迭代硬件，形成良性循環(huán)，并將這一模式擴(kuò)展到其Bedrock AI平臺服務(wù)。

自Bedrock平臺一年前正式推出以來，已支持Claude和多種大語言模型，目前已有數(shù)萬名客戶為Claude的云服務(wù)付費(fèi)。在Bedrock平臺上運(yùn)行的Claude模型（Claude models on Bedrock）未來的收入流可能達(dá)到一個臨界點，其利潤足以抵消Amazon在零售和娛樂業(yè)務(wù)中的AI訓(xùn)練與推理成本。這一盈利拐點可能已在通用數(shù)據(jù)中心基礎(chǔ)設(shè)施層面出現(xiàn)，盡管精確的時間節(jié)點難以確定。

這一戰(zhàn)略的精妙之處在于，通過運(yùn)營大型云服務(wù)并跨界發(fā)展，實現(xiàn)業(yè)務(wù)協(xié)同效應(yīng)。以Microsoft為例，其核心業(yè)務(wù)是軟件分發(fā)與使用追蹤；Amazon則專注于在線商品銷售及物流分發(fā)。Google的模式尚未完全成熟，盡管Google Cloud目前未盈利，但我們相信，隨著時間推移，其通過搜索、視頻流媒體和廣告業(yè)務(wù)支撐IT基礎(chǔ)設(shè)施的模式終將見效。

我們預(yù)計，主要云服務(wù)商對大型語言模型（LLM）開發(fā)商的投資將持續(xù)增長。即便這些LLM開發(fā)商通過獨(dú)立融資不斷提升估值，同時讓云服務(wù)商保持少數(shù)股東身份。這種平衡策略可能是Elon Musk不選擇與Oracle Cloud合作建設(shè)10萬塊GPU組成的“Colossus”超級計算機(jī)的原因之一。他選擇接管田納西州孟菲斯市郊的一家前Electrolux吸塵器工廠，并委托Supermicro和Dell制造硬件。Musk深知，基于Tesla和SpaceX的經(jīng)驗，云端AI成本遠(yuǎn)高于本地化部署。長遠(yuǎn)來看，我們不排除Tesla開發(fā)的Dojo AI引擎將在Musk旗下的X（前Twitter）、xAI、Tesla和SpaceX四家公司廣泛應(yīng)用。更值得關(guān)注的是，Dojo技術(shù)可能從Tesla剝離，并向其他Musk旗下公司出售。何樂而不為？

對于OpenAI和Anthropic而言，其獨(dú)立性依賴于通過高估值融資輪持續(xù)籌集資金，這一過程既提高公司估值，又稀釋云服務(wù)商的股份。根據(jù)公開信息，Anthropic估值約180億美元，對AWS這一少數(shù)股東而言相對偏低。我們測算，若按投資金額與估值比例，Amazon持股可能為44.4%；若以AWS投資額占總?cè)谫Y額137億美元的比例計算，持股比例可達(dá)58.4%，但這并非業(yè)內(nèi)標(biāo)準(zhǔn)計算方法。

OpenAI上月籌集66億美元，估值達(dá)1570億美元，獲得Microsoft、Nvidia、SoftBank等總計219億美元投資。預(yù)計今年收入可達(dá)37億美元，但同時將虧損50億美元。若將Microsoft投資視為直接融資，其持股比例理論上可達(dá)59.3%，但實際情況顯然并非如此。我們測算，Microsoft投入的130億美元約占估值的8.3%。

至于xAI，目前估值在400至450億美元之間。公司已通過四輪融資籌集114億美元，包括最近完成的50億美元融資輪。我們估計此輪融資足以支付Colossus超級計算機(jī)及數(shù)據(jù)中心成本，單是10萬塊H100 GPU系統(tǒng)和網(wǎng)絡(luò)設(shè)備就需約47億美元。

Musk最終可能建立自身云服務(wù)？從商業(yè)邏輯上來看，這似乎是必然。屆時，xCloud將為Tesla、SpaceX、xAI和X的數(shù)據(jù)處理需求提供補(bǔ)貼。

同樣，我們認(rèn)為Nvidia進(jìn)軍云服務(wù)領(lǐng)域也是大概率事件，其中蘊(yùn)含的利潤空間極具吸引力。Nvidia聯(lián)合創(chuàng)始人兼CEO Jensen Huang與Musk會否攜手建設(shè)云服務(wù)？雖然聽起來有些荒謬，但在IT行業(yè)，更匪夷所思的合作也曾出現(xiàn)。不過，他們分別建立競爭云服務(wù)的場景倒是頗具想象空間。

參考資料：Prickett Morgan, Timothy. "Anthropic And OpenAI Show Why Musk Should Build A Cloud." The Next Platform, November 25, 2024. https://www.nextplatform.com/2024/11/25/anthropic-and-openai-show-why-musk-should-build-a-cloud/.

本文轉(zhuǎn)載自 ??Andy730??，作者： 常華Andy