大模型風暴刮了大半年，AIGC市場開始起了新的變化：

酷炫的技術Demo，正在被完整的產品體驗所取代。

比如，OpenAI最新AI繪畫模型DALL· E 3剛一登場，就跟ChatGPT強強聯合，成為ChatGPT Plus里最令人期待的新生產力工具。

△DALL·E3準確還原文字輸入的每一處細節

又比如，微軟基于GPT-4打造的Copilot，已經全線入駐Win11，正式取代Cortana成為操作系統里的新一代AI助手。

△使用Copilot一鍵總結博客文章

再比如，國產汽車如極越01，已經在座艙中正式搭載大模型，而且是完全離線的那種……

如果說，「大模型重塑一切」在2023年的3月份還只是一句技術先行者的樂觀預言，到了今天，仍舊激烈的百模大戰、以及實際的應用進展，已經讓這一觀點在行業內外激發越來越多的共鳴。

換言之，大到整個互聯網的生產方式，小到每一輛汽車中的智能座艙，一個以大模型為技術力底座、驅動千行百業自我革新的時代正在來臨。

按照蒸汽時代、電力時代的命名方式，或許能將之命名為「模力時代」。

而在「模力時代」中，最受關注的場景之一，就是智能終端。

原因很簡單：以智能手機、PC、智能汽車甚至XR設備等為代表的智能終端產業，是與當代人生活最緊密相關的科技產業之一，自然也就成為了檢驗前沿技術成熟度的一個金標準。

所以，當技術熱潮帶來的第一波炒作逐漸冷靜，以智能終端場景為一個錨點，「模力時代」新的機遇和挑戰應該如何去看待和解讀？

現在，是時候掰開揉碎，好好梳理一番了。

智能終端，大模型新戰場

在具體分析挑戰和機遇之前，還是先回到一個本質的問題上：大模型為代表的生成式AI為何會如此火爆，甚至被認為是“第四次工業革命”？

針對這一現象，已經有不少機構在進行研究，試圖預測或總結生成式AI在不同場景下的發展規律，如紅杉資本的《Generative AI: A Creative New World》。

在這其中，也有不少行業頭部公司，基于自身經驗分析了生成式AI在特定行業中的落地場景和潛在變革方向。

如終端側AI代表玩家高通，就在前段時間發布了關于生成式AI發展現狀和趨勢的白皮書《混合AI是AI的未來》。

從中，或許能解讀出生成式AI在行業中火爆的三大原因。

首先，是技術本身足夠硬核。

無論是智能涌現的大模型，還是生成質量以假亂真的AI繪畫，無不是用效果說話，實打實在幾乎所有與文字、圖像、視頻和自動化相關的工作領域，展現出了顛覆傳統工作流的驚人能力。

其次，是潛在落地場景豐富。大模型所帶來的AI代際式的突破，從一開始就帶給了人們無窮的想象空間：最早的一批體驗者，很快就感知到了生成式AI給工作帶來的助益。

用戶側龐大的需求，從ChatGPT等代表性應用的用戶增速，就可見一斑。

△ChatGPT打破熱門應用注冊用戶破億速度紀錄，圖源紅杉資本

從最開始互聯網的搜索、編程、辦公，到現在涌現的文旅、法律、醫藥、工業、交通等等場景應用，乘生成式AI之風而起的，遠不止能夠提供基礎大模型的公司，更是有一大批初創企業正順勢繁榮生長。

有不少業內專家認為：對于創業者而言，大模型所帶來的應用層的機會更大。

底層有技術的代際式突破，上層有應用需求的蓬勃爆發，生態效應由此被激發。

根據Bloomberg Intelligence預測，到2032年生成式AI市場規模將從400億美元爆炸式增到1.3萬億美元，廣泛覆蓋生態鏈的各個參與方，包括基礎設施、基礎模型、開發者工具、應用產品、終端產品等等。

這種生態鏈的形成，推動了行業新的變革，有望讓AI進一步成為底層核心生產力。

基于這樣的背景，我們再來看智能產業當下正在發生的事情。

一方面，以大模型為代表的AIGC應用風暴，正在以天為單位的迭代節奏中迅速從云端走向終端。

ChatGPT就率先在移動端更新了“視聽說”的多模態功能，用戶們拍照上傳，就能針對照片內容與ChatGPT進行對話。

比如，“如何調整自行車座椅高度”：

△和GPT-4圖文對話，秒給5點建議

高通也快速實現了在終端側運行十幾億參數的Stable Diffusion和ControlNet大模型，在手機上生成高質量AI圖像只需十幾秒。

不少手機廠商也已經宣布，要為自家語音助手裝上大模型這個“大腦”。

還不僅僅是手機。

在上海車展、成都車展、慕尼黑車展等等國內外大型展會上，基礎模型廠商和車廠的合作越來越常見，大模型“上車”已然成為智能座艙領域新的競爭點。

△一句話就能讓車載大模型在APP里加購食材，回家就能做上飯

另一方面，應用的爆發加劇了算力供不應求的情況。

可以預見的是，模型的推理成本將會隨著日活用戶數量及其使用頻率的增加而增加，僅僅只依靠云端算力，是不足以快速推進生成式AI規模化的。

從各行各業都在提升對終端側AI算力的重視程度，也能看出這一點。

例如終端側AI玩家高通，針對PC端芯片性能提升發布了新一代PC計算平臺，采用高通自研的Oryon CPU，尤其搭載的NPU將面向生成式AI提供更強大的性能，被命名為驍龍X系列平臺。

預計會在2023驍龍峰會上，這一新的計算平臺就會發布。

顯然，無論從應用還是算力來看，智能終端都已經成為AIGC落地潛力最大的場景之一。

AIGC潮涌下的暗礁

事物通常具有兩面性，大模型從快速發展到落地亦是如此。

當生成式AI一路狂飆到今天，智能終端產業巨大潛力下的現實瓶頸，已經浮出水面。

最大的掣肘之一，是最底層的硬件。

正如紅杉兩位投資人Sonya Huang和Pat Grady最新一篇生成式AI分析文章《Generative AI’s Act Two》中所提到的，AIGC發展得很快，然而預料之中的瓶頸不在于客戶需求，而在于供應端的算力。

這里的算力，主要指AI和機器學習硬件加速器，從部署場景來看又可以被分為五大類：

數據中心級系統、服務器級加速器、輔助駕駛&自動駕駛場景下的加速器、邊緣計算和超低功耗加速器。

△5類AI加速器，圖源MIT論文「AI and ML Accelerator Survey and Trends」

隨著ChatGPT爆火，大模型帶動AIGC現象級出圈，使得數據中心、服務器級處理器等“云端算力”短期受到大量關注，甚至出現供不應求的情況。

然而，隨著生成式AI迎來第二階段，關于算力的一些問題也日漸凸顯。

首先也是最大的問題，在于成本。如高通《混合AI是AI的未來》白皮書所言，如今大半年過去，隨著大模型從技術追逐轉向應用落地，各公司的基礎模型訓練逐漸塵埃落定，算力的大部頭落到大模型的推理上。

短期內推理成本還可以接受，但隨著大模型的APP越來越多、應用場景越來越廣泛，在服務器等加速器上推理的成本也會急劇增加，最終導致調用大模型的成本比訓練大模型本身還高。

換言之，大模型進入第二階段后，推理對算力的長期需求將會遠遠高于單次訓練，僅僅依靠數據中心和服務器級處理器組成的“云端算力”，完全不足以將推理打到用戶能夠接受的成本。

據高通在白皮書中統計，以加持大模型的搜索引擎為例，每一次搜索查詢的成本，可以達到傳統方法的10倍，每年光是在這方面的開銷就可能增加數十億美元。

這注定會成為大模型落地的關鍵掣肘。

隨之而來的，還有時延、隱私和個性化問題。高通在《混合AI是AI的未來》中也提到，大模型直接部署在云端，除了用戶量激增帶來的服務器計算量不夠，需要“排隊使用”等bug，還勢必需要解決用戶隱私和個性化問題。

如果用戶不希望上傳數據到云端，大模型的使用場景如辦公、智能助手等，就會受到不少限制，而這些場景多數分布在終端側；而如果需要進一步追求更好的效果，如定制大模型為己用，更是需要直接將個人信息用于大模型訓練。

種種因素之下，在推理上能發揮作用的“終端算力”，也就是包括自動駕駛&輔助駕駛、邊緣計算（嵌入式）和超低功耗加速器在內的幾大類處理器，開始進入人們的視野。

終端潛藏著巨大的計算能力。據IDC預測，2025年全球物聯網設備數將超過400億臺，產生數據量接近80ZB，超過一半的數據需要依賴終端或者邊緣的計算能力進行處理。

但終端同樣存在功耗散熱受限導致算力受限等問題。

這種情況下，如何利用潛藏在終端的巨大算力，來突破云端算力發展面臨的瓶頸，正在成為「模力時代」下的最普遍的技術難題之一。

更別提除了算力以外，大模型落地還面臨著算法、數據和市場競爭等挑戰。

對于算法而言，基礎模型的架構依舊未知。ChatGPT固然已經取得了很好的成果，但其堅持的技術路線并非就是下一代模型的架構方向。

對于數據而言，其他公司要想取得ChatGPT一般的大模型成果，高質量數據不可或缺，但《Generative AI’s Act Two》同樣指出，目前應用公司生成的數據并沒有創造一個真正的壁壘。

靠數據建立起來的優勢是脆弱且無法持續的，下一代基礎模型很可能就能直接摧毀這堵“城墻”，相比之下，持續而穩定的用戶才能真正構建數據來源。

對于市場而言，目前大模型產品尚未出現多個殺手級應用，它究竟適配于何種場景仍舊未可知。

在這個時代將它用于哪類產品之中、做出哪種應用能發揮它最大的價值，目前市場還沒能給出一套能夠沿襲的方法論或標準答案。

針對這一系列問題，業界目前主要有兩種解題方向。

一種是改善大模型本身的算法，在不改變模型“精華”的基礎上，更好地改進它的大小，提升它在更多設備上的部署能力；

以Transformer算法為例，這類參數量龐大的模型要想運行在端側，勢必要在結構上做出調整，因此，這段時間來也誕生了不少MobileViT等輕量級算法。

這類算法力圖在結構和參數量上進行不影響輸出效果的改進，從而以更小的模型在更多設備上運行。

另一種是提升硬件本身的AI算力，讓大模型能更好地在端側落地。

這類方法又包括硬件上的多核設計、以及開發軟件棧等，分別用于提升硬件計算性能和模型在不同設備上的通用性，以增強大模型在端側落地的可能性。

前一種可以稱之為軟件對硬件的適配，后一種則是硬件廠商順應時代浪潮的改變。但無論哪個方向，單獨押注都存在著被趕超的風險。

「模力時代」下，技術日新月異，新的突破可能從軟硬件任何一方出現，一旦缺少必要的技術儲備，就可能落于人后。

所以是否就應該盲目跟進、或是干脆錯過這波技術浪潮的發展？并非如此。

對于已經在互聯網和AI時代發掘出自身價值的公司而言，或許同樣能基于自身所處場景和技術積淀，在AIGC時代開掘出第三種解題思路。

以軟硬件技術兼備的AI公司高通為例。

面對大模型技術在不同場景下的挑戰，高通已經跳脫出一家芯片公司的身份，早早擁抱了AIGC的浪潮。

除了不斷提升終端側芯片AI算力的同時，高通也在布局基礎的AI技術，力圖作為一家賦能型企業，加快整個智能終端產業擁抱AIGC的速度。

然而，這樣的思路同樣也存在種種可預見的難點：

針對更大更復雜的AI模型，如何在確保性能的同時，讓它也能在終端上順利運行？

何時使用不同的模型，才能最好地分配終端與云端的算力？

即使解決了大模型部署在終端側的問題，又應該讓哪一部分部署在云端、哪一部分部署在終端，以及如何確保大模型不同部分之間的連接和功能不受影響？

終端側性能優勢不足的話，又要如何解決？

……

這些問題并非出現在某個單獨案例中，而是已經切實存在于每個受AIGC影響的行業或場景。

無論是破局方法還是實際落地經驗，都要從具體的場景和行業案例中才能摸索出答案。

如何破局「模力時代」的迷霧？

AIGC進入第二階段，大模型日漸普及，行業也開始探尋落地之道。

高通《混合AI是AI的未來》白皮書中提到，以智能手機和PC為例，新戰場智能終端產業，已經有不少AIGC的落地場景的案例。

目前，已經有公司將較小的大模型部署到終端側，用于處理更加個性化的問題，包括查找郵件、生成回復消息、修改日歷事件和一鍵導航等。

像是“預定喜歡的餐廳座位”，就可以基于大模型，根據用戶數據分析喜歡的餐廳和空閑的日程表，給出安排推薦，并將結果加入日歷中。

高通認為，由于終端部署的大模型參數量受限、且不聯網，因此回答時可能出現“AI幻覺”，這時候就能基于編排器（orchestrator）技術，在大模型缺乏信息時設置護欄，防止上述問題出現。

如果對于大模型生成的內容不滿意，還能一鍵將問題發送到云端執行，再將回答效果更好的大模型生成結果回饋到終端側。

這樣一來，既能降低大模型在云端運行的算力壓力，又能確保大模型在最大程度上保障用戶隱私的同時，實現個性化使用。

至于終端側算力、算法等本身需要突破的技術瓶頸，也已經有玩家研究出了一些“破局之道”。

高通在白皮書中以前段時間大火的投機采樣（Speculative Decoding）為例，介紹了一類當前已被廣泛應用的新技術。

這是谷歌和DeepMind同時發現的一種加速大模型推理的方法，可以應用一個較小的大模型，來加速大模型的生成速度。

簡單來說，就是訓練一個更小的模型，給大模型提前生成一批“候選詞”，相比于讓大模型自己“思考”生成，直接做“選擇”就好。

由于小模型生成速度比大模型快好幾倍，一旦大模型覺得小模型已有的詞可用，就直接拿來，不用自己再緩慢生成一遍。

這種方法，主要利用了相比計算量的增加，大模型推理速度更容易受到內存帶寬影響的特性。

大模型由于參數量巨大、遠超緩存容量，推理時相比計算硬件性能，更容易受內存帶寬限制。例如GPT-3每生成一個單詞，都需要讀取一次全部1750億參數，這個過程中在等待來自DRAM的內存數據時，計算硬件往往處于閑置狀態。

換言之，模型做批量推理（batch inference）時，一次處理100個tokens和一個tokens時間上區別不大。

因此，利用投機采樣，不僅能輕松跑幾百億參數的大模型，還能將部分算力放到終端側進行，在確保推理速度的同時也能保留大模型的生成效果。

……

但無論是場景還是技術，最終都要找到彼此的適配點，才能產生實質的應用價值，正如軟件和硬件的關系密不可分一樣：

像生成式AI這樣的軟件算法突破，在尋找智能終端落地場景時，終究必然會面臨與高通等移動端AI硬件結合的技術需求。

包括智能手機、PC、XR、汽車和物聯網在內，智能終端產業下的各細分領域，如何基于AIGC熱點找到自身的打法和價值？

各企業又要如何抓住這一次時代浪潮，來激發出這一類技術的應用價值，不錯過全行業的生產力變革機遇？

量子位將基于長期的行業觀察和對未來技術發展方向的深入思考，在「模力時代」這個專欄中，以當下大模型引領的行業熱點為話題，從底層技術到上層應用，系統地解答行業內外人士心中對大語言模型、生成式AI的問題或疑惑。

由新熱點引發的這一系列新問題，將在這個專欄接下來的更多內容中得到更加具體的解答。