作者 | 云昭

25個月，這對于一門新技術的成熟度周期而言，只是剛剛開始。然而對于大模型而言，過去25個月的進度卻異常兇猛。

一方面，模型的能力得到了快速持續(xù)的進化。伴隨2024年底OpenAI o3模型的發(fā)布，大模型的多項能力攀至新的高點，除了自然語言的生成，更是在數(shù)學和編程能力做到了媲美甚至超過了人類的碩士和博士的水平；另一方面，以多模態(tài)模型、復雜推理模型、AI開發(fā)工具的關鍵AI研究方向，也取得了重大進展，極大地拓展了生成式AI的應用場景和想象力。

而在用戶側，從過去一年金融、醫(yī)療、教育、游戲、文娛、社交、電商等領域AI的發(fā)展來看，用戶接受和使用生成式AI功能的習慣正在逐漸形成。

模型能力的進化，用戶使用AI場景的增多，無疑將促成AI Killer App的到來。微軟CEO納德拉甚至拋出了衡量未來國家或企業(yè)的增長決定公式：

可以預見，接下來的十年里，企業(yè)中每一度電、每一塊錢、每一分鐘，所能生成的AI推理的token數(shù)量，將成為一家公司在AI時代成長速度的關鍵指標。

那么，新的增長機會已至，公司的IT基礎設施準備好了嗎？顯然并沒有。

一、未來十年，我們需要一個全新的AI Infra

AI應用時代，大規(guī)模AI推理場景背后帶來了一系列全新的技術挑戰(zhàn)，這都是我們需要重新思考的。除了更先進的模型，除了旺盛的模型推理需求，我們應該需要一個全新的AI Infra！

1.要打造領先對手的AI產品和服務體驗，在原有IT設施上做AI縫補匠是行不通的

大模型時代，AI原生應用與之前web時代的App有著很大不同。除了需要頻繁與大模型進行交互，還出現(xiàn)了一些新的特點。尤其在流量爆發(fā)時，原有架構的支撐能力更是捉襟見肘。那么，傳統(tǒng)IT架構在AI時代如何進化？目前還沒有一個很好的理念。

一些業(yè)內AI應用開發(fā)者一開始選擇繼續(xù)沿用現(xiàn)有的IT能力，結果都十分“慘烈”，因為一遇到流量高峰，系統(tǒng)就出現(xiàn)宕機情況。而為了解決宕機問題，做法也十分簡單粗暴：在推理層繼續(xù)加GPU卡、加算力。

可以說，這種“頭痛醫(yī)頭”、“哪里不夠補充哪里”的做法治標不治本，本身就很不AI Native，而且會浪費大量計算資源，降低產品的投入產出比。

因此，要打造領先對手的AI產品和服務體驗，在原有IT設施上做AI縫補匠是行不通的。

我們需要意識到：“以CPU為中心”的架構在支撐AI原生應用方面存在著很多棘手的挑戰(zhàn)，而且隨著時間的累積/應用規(guī)模的爆發(fā)，問題會越來越嚴重。所以，只有真正從深層次上重新思考：用“以GPU為中心”的角度去重塑原有的基礎設施，才有可能從根本上為打造極致的AI產品和服務體驗，消除后顧之憂。

近日，作為“AI云原生”理念的提出者，火山引擎提出了一種“以GPU為核心、面向大規(guī)模推理”的云架構。該架構以GPU為核心重新優(yōu)化計算、存儲與網(wǎng)絡架構，使得GPU可以直接訪問存儲和數(shù)據(jù)庫，較以前的方案，讀寫的吞吐提升10倍，IO延遲降低為原來的1/50，同時提供了大規(guī)模的高速互聯(lián)和端到端的安全保護。

劃重點，這種新架構的不同之處，就在于從AI原生應用的角度出發(fā)進行深度創(chuàng)新，不僅實現(xiàn)了應用背后大模型所需算力資源的高效利用與調度，同時還考慮到了應用在復雜場景下模型所需各種上下游的配套服務。

2.大模型時代，擁有面向大規(guī)模AI推理的基礎設施將成為企業(yè)實現(xiàn)突圍的重中之重

正如前文所說，下一個十年，隨著Agent時代的開啟，以高頻大模型推理為主要場景的大體量、強性能的AI應用將是未來產品的主流形態(tài)。據(jù)IDC報告，未來5年，國內的大模型訓練和推理將分別以超過50%和190%的年復合增速發(fā)展，同時在2028年，推理算力將會超過訓練算力。

因此在企業(yè)中引入適配大規(guī)模AI推理場景的基礎設施，將成為AI應用爆發(fā)時代贏得先機的技術籌碼，進而通過技術優(yōu)勢進一步轉化為產品優(yōu)勢，帶來新一輪的業(yè)務增長，實現(xiàn)大模型語境下的業(yè)績突圍。

那么，面向大規(guī)模的AI推理場景，一款AI應用不只是滿足用戶多輪對話、長文本推理那么簡單，還有重重技術挑戰(zhàn)需要攻克。比如在數(shù)據(jù)流動方面，高時延、大帶寬是感受最為明顯的兩個難點。

由于數(shù)據(jù)需要繞行GPU而導致南北向時延過高，尤其在文生圖和多模態(tài)的場景下，響應時間則更長，少則幾十、上百秒，多則分鐘級別的響應；又由于AI應用的系統(tǒng)返回的內容比較多，帶寬量需求會更大。如果按照傳統(tǒng)的方式，在服務端計算完后，再把結果返回給客戶端，網(wǎng)絡的擁塞就會非常大，東西向的帶寬則很難保證。

再比如網(wǎng)絡方面，業(yè)務潮汐波動大，網(wǎng)關開始承載著AI應用時代前所未有的帶寬、時延、安全等要求，如何進行智能分流，也是一個值得關注的問題。

對于這些挑戰(zhàn)，火山引擎在支撐字節(jié)跳動內外部高日活使用的過程中，打磨設計出了一系列的技術創(chuàng)新和方案：比如推出了支持內存零拷貝的GDKV的方案，數(shù)據(jù)無須經(jīng)過CPU；再比如能夠感知GPU和模型負載的AI網(wǎng)關等。

3.大規(guī)模AI應用的行業(yè)know-how儲備，是不容忽視的關鍵要素

基于大模型構建的AI應用是一個新興的領域。隨著AI應用規(guī)模急速增長，企業(yè)對AI算力的規(guī)模化、質量、成本以及大模型工具鏈的復合型能力都提出了遠高于以往的要求。因此，不管是基礎設施、工程、算法層面，還是在產品打磨、流量生態(tài)層面，都將極為考驗行業(yè)know-how的儲備。

好的經(jīng)驗和架構不可復制，但可以借鑒。眾所周知，字節(jié)跳動在大規(guī)模AI應用方面是名副其實的領航者。近兩年，字節(jié)跳動豆包有著市場領先的用戶規(guī)模和日活數(shù)據(jù)，而火山引擎作為技術底座，也在這一過程中儲備了十足創(chuàng)新的軟硬實力，不管是工程、技術層面，還是服務產品、生態(tài)的能力，都已經(jīng)嶄露頭角。

可以預見，面向未來對AI Infra做出深度的理念和技術創(chuàng)新，抓住時機在推理側搶先布局，同時儲備足夠的大規(guī)模AI應用行業(yè)Know-how，將會是下一個十年，企業(yè)在AI應用時代獲得領先地位的有力保證。

二、大規(guī)模AI應用時代已來

在大規(guī)模AI應用迎來寒武紀爆發(fā)之際，各行業(yè)中已經(jīng)出現(xiàn)了提前卡位的玩家。美圖秀秀就是采用新一代AI Infra的提前批的一員。

近年來，美圖積極投身AIGC產品的研發(fā)潮，在各類熱門產品中融入自研AI大模型，在文生圖、圖生圖、AI視頻處理等多個應用場景中取得顯著成果。

隨著美圖的終端用戶對于AI功能訪問需求越來越大，推理任務的數(shù)量和復雜性大幅增加，對高性能計算資源的需求也隨之上升，同時訪問也呈現(xiàn)出較大的波動性。在高性能計算資源成本控制、彈性擴展能力建設以及存儲訪問性能提升等方面，美圖都面臨著相當棘手的挑戰(zhàn)。

美圖通過與火山引擎合作，這些問題都得到了有效的解決。算力成本控制方面，美圖從火山引擎獲得了多類型高性能計算資源，并能夠根據(jù)不同推理場景選擇合適的服務資源，依托火山引擎虛擬化技術，提高算力使用效率，有效降低整體計算成本；應對訪問波動性方面，美圖依靠火山引擎容器服務VKE在短時間快速部署大量節(jié)點的能力，構建起及時應對流量洪峰的技術保障，同時依靠其強大的資源池實現(xiàn)了推理服務的高度彈性和可擴展性；存儲訪問方面，美圖選擇火山引擎的vePFS緩存服務，在數(shù)據(jù)讀取場景下?lián)碛懈咔腋€(wěn)定的訪問帶寬，確保了前端在大流量服務下的存儲訪問性能的嚴格要求。

通過這一系列的合作舉措，美圖不僅增強了其產品的競爭力，還為其用戶帶來了更加穩(wěn)定和高效的服務體驗。

同樣，在新興熱門的端到端自動駕駛領域，構建面向未來的“以GPU為中心”的新一代AI Infra，也成為了智駕企業(yè)尋求突破同質化地帶的技術驅動力。四維圖新近期通過與火山引擎合作，借助火山引擎提供的高性能GPU集群、彈性調度、高性能存儲、合規(guī)云、一鍵故障檢測等方案，以及在自動駕駛領域積累的豐富的行業(yè)經(jīng)驗，四維圖新快速抓住了窗口期，快速進入了智能駕駛的第一梯隊。

未來已來。不難預料，在接下來的十年里，位列AI TOP應用榜上的玩家，會在提前布局AI Infra的一批企業(yè)中誕生。