2020 年，谷歌發表了預印本論文《Chip Placement with Deep Reinforcement Learning》，介紹了其設計芯片布局的新型強化學習方法。后來在 2021 年，谷歌又發表在 Nature 上并開源了出來。

今天，谷歌發表了這篇 Nature 文章的附錄，更詳細介紹了該方法及其對芯片設計領域的影響。同時，谷歌也開放了一個在 20 個 TPU 模塊上預訓練的檢查點，分享模型權重并命名為「AlphaChip」。

• Nature 附錄地址：https://www.nature.com/articles/s41586-024-08032-5
• 預訓練檢查點地址：https://github.com/google-research/circuit_training/?tab=readme-ov-file#PreTrainedModelCheckpoint

谷歌首席科學家 Jeff Dean 表示，開放預訓練 AlphaChip 模型檢查點以后，外部用戶可以更容易地使用 AlphaChip 來啟動自己的芯片設計。

x@JeffDean

計算機芯片推動了 AI 的顯著進步，AlphaChip 利用 AI 來加速和優化芯片設計。該方法已被用于設計谷歌自定義 AI 加速器（TPU）最近三代的「超人」芯片布局。

作為首批用于解決現實世界工程問題的強化學習方法，AlphaChip 只需要數小時便能完成媲美或者超越人類的芯片布局，而無需再花費數周或數月人工努力。并且該方法設計的布局已應用于世界各地的芯片，覆蓋場景包括數據中心到手機。

谷歌 DeepMind 表示，AlphaChip 已經徹底改變了我們設計微芯片的方式，從幫助設計用于構建 AI 模型的 SOTA TPU 到數據中心 CPU，它的廣泛影響已經擴展到了 Alphabet 內外。

谷歌 DeepMind 聯合創始人兼 CEO Demis Hassabis 表示，如今我們形成了這樣一種反饋回路：訓練 SOTA 芯片設計模型（AlphaChip）→使用 AlphaChip 來設計更好的 AI 芯片→使用這些 AI 芯片來訓練更好的模型→再設計更好的芯片，這正是谷歌 TPU 堆棧表現如此好的部分原因。

各路網友對谷歌的 AlphaChip 寄予厚望，稱「芯片設計芯片的時代來了」，還預言谷歌將贏得未來 AGI 之爭。

AlphaChip 是如何工作的？

芯片設計并非易事，部分原因在于計算機芯片由許多相互連接的塊組成，這些塊具有多層電路元件，所有元件都通過極細的導線連接。此外，芯片還有很多復雜且相互交織的設計約束，設計時必須同時滿足所有約束。由于這些復雜性，芯片設計師們在 60 多年來一直在努力實現芯片布局規劃過程的自動化。

與 AlphaGo 和 AlphaZero 類似，谷歌構建了 AlphaChip，將芯片布局規劃視為一種博弈。

AlphaChip 從空白網格開始，一次放置一個電路元件，直到完成所有元件的放置。然后根據最終布局的質量給予獎勵。谷歌提出了一種新穎的「基于邊」的圖神經網絡使 AlphaChip 能夠學習互連芯片元件之間的關系，并在整個芯片中進行推廣，讓 AlphaChip 在其設計的每一個布局中不斷進步。

左圖：動畫展示了 AlphaChip 在沒有任何經驗的情況下放置開源處理器 Ariane RISC-V CPU。右圖：動畫展示 AlphaChip 在對 20 個 TPU 相關設計進行練習后放置相同的塊。

谷歌借助 AI 設計 AI 加速器芯片

自 2020 年發布以來，谷歌已經采用 AlphaChip 為每一代 Google TPU 生成超級芯片布局。這些芯片使得大規模擴展基于 Google Transformer 架構的 AI 模型成為可能。

TPU 作為谷歌強大的生成式 AI 系統的核心，應用范圍從大語言模型（如 Gemini）到圖像和視頻生成器（Imagen 和 Veo）。這些 TPU 是 Google AI 服務的核心，可通過 Google Cloud 供外部用戶使用。

谷歌數據中心存放的基于 Cloud TPU v5p 的超級計算機。

為了設計 TPU 布局，AlphaChip 首先在前幾代的各種芯片塊上進行練習，例如片上和芯片間網絡塊、內存控制器和數據傳輸緩沖區。這個過程稱為預訓練。然后谷歌在當前的 TPU 塊上運行 AlphaChip 以生成高質量的布局。與之前的方法不同，AlphaChip 解決了更多芯片布局任務實例，因此變得更好、更快，就像人類專家所做的那樣。

隨著每一代新 TPU（包括谷歌最新的 Trillium（第 6 代））的推出，AlphaChip 設計出了更好的芯片布局并提供了更多的整體平面圖，從而加快了設計周期并產生了性能更高的芯片。

圖中顯示了 Google 三代張量處理單元 (TPU)（包括 v5e、v5p 和 Trillium）中 AlphaChip 設計的芯片塊的數量。

圖中顯示了 AlphaChip 在三代 Google 張量處理單元 (TPU) 中的平均線長（wirelength）減少量，并與 TPU 物理設計團隊生成的位置進行了比較。

AlphaChip 帶來的更廣泛影響

AlphaChip 的影響力體現在 Alphabet、研究界和芯片設計行業的應用上。除了設計 TPU 等專用 AI 加速器外，AlphaChip 還為 Alphabet 的其他芯片設計布局，例如 Google Axion 處理器，這是谷歌首款基于 Arm 的通用數據中心 CPU。

外部組織也在采用和構建 AlphaChip。例如，全球頂級芯片設計公司之一聯發科擴展了 AlphaChip，以加速其最先進芯片（如三星手機使用的 Dimensity Flagship 5G）的開發，同時提高了功耗、性能和芯片面積。

AlphaChip 引發了芯片設計 AI 工作的爆炸式增長，并已擴展到芯片設計的其他關鍵階段，例如邏輯綜合和宏選擇。

開創芯片新未來

谷歌堅信，AlphaChip 有潛力優化從計算架構到制造的芯片設計周期的每個階段，并改變智能手機、醫療設備、農業傳感器等日常設備中定制硬件的芯片設計。

目前，AlphaChip 的未來版本正在開發中。谷歌期待與社區合作，繼續變革自動芯片設計領域，從而在未來迎來速度更快、價格更低、能效更高的芯片。