谷歌首款AI推理特化版TPU芯片來了，專為深度思考模型打造。

代號Ironwood，也就是TPU v7，F(xiàn)P8峰值算力4614TFlops，性能是2017年第二代TPU的3600倍，與2023年的第五代TPU比也有10倍。

（為什么不對比第六代，咱也不知道，咱也不敢問。）

第七代TPU還突出高擴展性，最高配集群可擁有9216個液冷芯片，峰值算力42.5 ExaFlops，也就是每秒運算42500000000000000000次。

是目前全球最強超級計算機EL Capitan的24倍。

谷歌稱，AI正從響應(yīng)式（提供實時信息供人類解讀）轉(zhuǎn)變?yōu)槟軌蛑鲃由啥床旌徒庾x的轉(zhuǎn)變。

在推理時代，Agent將主動檢索和生成數(shù)據(jù)，以協(xié)作的方式提供洞察和答案，而不僅僅是數(shù)據(jù)。

而實現(xiàn)這一點，正需要同時滿足巨大的計算和通信需求的芯片，以及軟硬協(xié)同的設(shè)計。

谷歌AI芯片的軟硬協(xié)同

深度思考的推理模型，以DeepSeek-R1和谷歌的Gemini Thinking為代表，目前都是采用MoE（混合專家）架構(gòu)。

雖然激活參數(shù)量相對少，但總參數(shù)量巨大，這就需要大規(guī)模并行處理和高效的內(nèi)存訪問，計算需求遠遠超出了任何單個芯片的容量。

（o1普遍猜測也是MoE，但是OpenAI他不open啊，所以沒有定論。）

谷歌TPU v7的設(shè)計思路，是在執(zhí)行大規(guī)模張量操作的同時最大限度地減少芯片上的數(shù)據(jù)移動和延遲。

與上一代TPU v6相比，TPU v7的高帶寬內(nèi)存 (HBM) 容量為192GB，是上一代的6倍，同時單芯片內(nèi)存帶寬提升到7.2 TBps，是上一代的4.5倍。

TPU v7系統(tǒng)還具有低延遲、高帶寬的ICI（芯片間通信）網(wǎng)絡(luò)，支持全集群規(guī)模的協(xié)調(diào)同步通信。雙向帶寬提升至1.2 Tbps，是上一代的1.5倍。

能效方面，TPU v7每瓦性能也是上一代的兩倍。

硬件介紹完，接下來看軟硬協(xié)同部分。

TPU v7配備了增強版SparseCore ，這是一款用于處理高級排序和推薦工作負載中常見的超大嵌入的數(shù)據(jù)流處理器。

TPU v7還支持Google DeepMind開發(fā)的機器學習運行時Pathways，能夠跨多個TPU芯片實現(xiàn)高效的分布式計算。

谷歌計劃在不久的將來把TPU v7整合到谷歌云AI超算，支持包括推薦算法、Gemini模型以及AlphaFold在內(nèi)的業(yè)務(wù)。

網(wǎng)友：英偉達壓力山大了

看過谷歌最新TPU發(fā)布，評論區(qū)網(wǎng)友紛紛at英偉達。

有人稱如果谷歌能以更低的價格提供AI模型推理服務(wù)，英偉達的利潤將受到嚴重威脅。

還有人直接at各路AI機器人，詢問這款芯片對比英偉達B200如何。

簡單對比一下，TPU v7的FP8算力4614 TFlops，比B200標稱的4.5 PFlops（=4500 TFlops）略高。內(nèi)存帶寬7.2TBps，比英偉達B200的8TBps稍低一點，是基本可以對標的兩款產(chǎn)品。

實際上除了谷歌之外，還有兩個云計算大廠也在搞自己的推理芯片。

亞馬遜的Trainium、Inferentia和Graviton芯片大家已經(jīng)比較熟悉了，微軟的MAIA 100芯片也可以通過Azure云訪問。

AI芯片的競爭，越來越激烈了。