AMD放大！蘇媽甩出最強AI芯片叫板老黃，可跑800億參數大模型
AMD放大了！
在周二的發布會上，蘇媽直接宣布了最新的一款AI芯片——GPU MI300X，直接叫板英偉達。
AMD本周二表示，將于今年晚些時候開始向部分客戶發貨。
要知道，Nvidia目前在AI芯片市場中牢牢占據著主導地位。
MI300X
AMD公司的CEO蘇媽Lisa Su周二在舊金山發布了一款芯片——GPU MI300X。
據悉，這是該公司AI計算戰略的核心。
它能為生成性AI（LLM）提供巨大的內存和數據吞吐量。
Instinct MI300X是之前發布的MI300A的后續產品。該芯片實際上是多個小芯片的組合，這些獨立的芯片通過共享內存和網絡鏈接被連接到一個單一的封裝中。
蘇媽將這款芯片稱為生成式AI加速器，其中包含的GPU芯片是專門為AI和HPC（高性能計算）量身打造的。
MI300X是該產品的「純GPU」版本。MI300A是三個Zen4 CPU芯片與多個GPU芯片的組合。
但在MI300X中，CPU被換成了兩個額外的CDNA 3芯片組。
此外，MI300X將晶體管數量從1460億個增加到1530億個，共享DRAM內存從MI300A的128千兆字節提升到了192千兆字節，內存帶寬從每秒800千兆字節提升到了每秒5.2兆字節。
蘇媽在演講中反復多次強調了這款芯片所具有的非常、非常重要的戰略意義。
「因為它能夠混合和匹配不同種類的計算，替換CPU或GPU。」
蘇馬表示，MI300X將提供2.4倍于Nvidia H100 Hopper GPU的內存密度，以及1.6倍的內存帶寬。
生成式AI以及LLM的格局已經改變，對更多計算的需求正以指數的形式增長，無論是訓練模型還是進行推理。
為了證明對強大計算的需求，蘇媽展示了在目前最流行的LLM上工作的部分，即開源的Falcon-40B。
語言模型需要更多的計算，因為它們是用越來越多的所謂的神經網絡參數建立的。
她表示，MI300X是AMD第一款功能強大的芯片，可以流暢地在內存中運行大規模的神經網絡，而不是必須在外部內存中來回移動數據。
蘇媽現場演示了MI300X使用Falcon-40B創建了一首有關舊金山的詩篇。
蘇媽表示，「一個MI300X芯片可以在內存中運行高達約800億個參數的模型。」
「當你將MI300X與競爭對手進行比較時，你就能發現，MI300X提供了2.4倍的內存，和1.6倍的內存帶寬，有了所有這些額外的內存容量，我們實際上對LLM是有巨大優勢的，因為我們可以直接在內存中運行更大的模型。」
這意味著，對于最大的模型，AMD減少了所需要的GPU數量，大大加快了性能，特別是推理的速度，同時也降低了總成本。
蘇媽在演講中毫不掩飾對這款芯片的喜愛。
AMD Instinct
為了與Nvidia的DGX系統競爭，蘇媽發布了一個人工智能計算機系列，即AMD Instinct平臺。
這個平臺集成了8個MI300X，可提供1.5TB的HBM3內存。
蘇媽表示，對于客戶來說，他們可以在一個行業標準的平臺上使用所有這些AI計算能力的內存，直接放入他們現有的設施。
與MI300X不同的是，現有的MI300A只是一個GPU，它的對手是Nvidia的Grace Hopper組合芯片，它使用Nvidia的Grace CPU和它的Hopper GPU。
Su指出，MI300A正被內置到能源部的勞倫斯-利弗莫爾國家實驗室在建的El Capitan超算中。
MI300A目前正作為樣品展示給AMD客戶，MI300X將在今年第三季度開始向客戶提供樣品。
蘇媽表示，兩者都將在第四季度進行批量生產。
和HuggingFace合作
同時，HuggingFace也在今天宣布，AMD已經正式加入其硬件合作伙伴計劃。
HuggingFace的CEO Clement Delangue在舊金山舉行的AMD數據中心和人工智能技術首發式上發表了主題演講，以啟動這一令人興奮的新合作。
AMD和Hugging Face合作，意味著將在AMD的CPU和GPU上提供SOTA級別的transformer性能。
該合作對整個Hugging Face社區來說都是個好消息，他們將很快從最新的AMD平臺的訓練和推理中受益。
在GPU方面，AMD和Hugging Face將首先在企業級Instinct MI2xx和MI3xx系列上合作，然后在客戶級Radeon Navi3x系列上合作。
在最初的測試中，AMD最近報告，MI250訓練BERT-Large的速度比其競爭對手快1.2倍，訓練GPT2-Large快1.4倍。
在CPU方面，兩家公司將致力于為客戶端Ryzen和服務器EPYC CPU優化推理。
最后，他們的合作將包括性能強大的Alveo V70 AI加速器。
HuggingFace計劃支持最先進的自然語言處理、計算機視覺和語音的轉化器架構，如BERT、DistilBERT、ROBERTA、Vision Transformer、CLIP和Wav2Vec2。
當然，生成式AI模型也將可用（例如，GPT2、GPT-NeoX、T5、OPT、LLaMA），包括HuggingFace自己的BLOOM和StarCoder模型。
最后，HuggingFace還將支持更多傳統的計算機視覺模型，如ResNet和ResNext，以及深度學習推薦模型，這對HuggingFace來說還是頭一次。
未來，合作的重點將放在確保對HuggingFace社區最重要的模型能在AMD的平臺上開箱即用。
HuggingFace將與AMD工程團隊密切合作，優化關鍵模型，以提供最佳性能，這得益于最新的AMD硬件和軟件功能。
HuggingFace將把AMD的ROCm SDK無縫集成到HuggingFace的開源庫中，首先是transformer庫。
參考資料：
https://www.cnbc.com/2023/06/13/amd-reveals-new-ai-chip-to-challenge-nvidias-dominance.html
