OpenAI新發(fā)布的O1模型，讓AI推理成了行業(yè)焦點。這是首次在AI系統(tǒng)中，推理計算占了很大比重。隨之誕生的推理時ScalingLaw表明，讓模型多"思考"一會，準確度就會更高。Anthropic也在跟進，推出非常依賴推理能力的“Computer Use”的Agent功能。這說明AI應用越來越復雜，對推理能力的要求也越來越高。

推理性能直接影響用戶體驗 - 反應快不快，放在本地還是云端，都會影響實際使用感受。用的人越多，需要的算力就越大，這就涉及到成本和效率問題了。所以現(xiàn)在各大科技公司都在搶占推理這個領(lǐng)域，誰能做得好，誰就能占優(yōu)勢。

近日，Eric Flaningam對外刊載了一篇大模型推理的市場分析文章，文中一些關(guān)鍵洞察值得注意。

市場現(xiàn)狀分析

1. 市場規(guī)模與增長

• 推理計算需求呈現(xiàn)爆發(fā)式增長，據(jù)NVIDIA估計，未來推理市場規(guī)模將較現(xiàn)在擴大數(shù)百倍
• 目前推理業(yè)務已占NVIDIA數(shù)據(jù)中心收入的40%，揭示推理巨大的市場規(guī)模

2. 市場參與者分類

當前市場形成了五層完整的服務體系：

1. 基礎模型API（如OpenAI）- 最易用但靈活性最低
2. 專業(yè)推理服務商（如Fireworks AI、DeepInfra）- 優(yōu)化開源模型部署
3. AI云服務提供商（如Coreweave）- 提供定制化算力服務
4. 超大規(guī)模云服務商 - 傳統(tǒng)云服務商和新型 AI 云服務提供商共同參與，提供全棧AI服務平臺
5. AI硬件供應商 - NVIDIA 繼續(xù)主導，AMD 等傳統(tǒng)廠商積極追趕，面向高度定制化需求

競爭格局分析

1. 硬件層面

• NVIDIA依然占據(jù)主導地位，推理收入占其數(shù)據(jù)中心業(yè)務40%
• AMD通過MI300X系列進軍市場，預計年收入可達50億美元
• 眾多創(chuàng)新創(chuàng)業(yè)公司（如Groq、Cerebras）帶來差異化競爭

2. 服務層面

• 推理服務提供商主要在開源模型部署方面競爭?
• 關(guān)鍵競爭要素：推理成本、延遲性能、吞吐能力
• 硬件廠商開始向上游服務延伸，如NVIDIA收購OctoAI

發(fā)展趨勢預測

1. 邊緣計算成為新戰(zhàn)場

• 本地推理優(yōu)勢明顯：降低企業(yè)運營成本，提升用戶體驗
• 蘋果、高通等廠商積極布局邊緣AI芯片
• 小型模型進步將加速邊緣推理發(fā)展

2. 市場分化趨勢

• 云端推理：面向高性能、復雜任務場景
• 邊緣推理：面向消費級應用和實時響應場景
• 混合部署：將成為主流架構(gòu)選擇?

3. 價值鏈重構(gòu)

• 硬件層面：性能與成本的平衡將決定競爭力
• 服務層面：差異化和垂直整合成為核心競爭策略
• 應用層面：場景定制能力日益重要

結(jié)論與展望

AI推理市場正處于快速發(fā)展期，競爭格局尚未完全固化。隨著技術(shù)進步和應用場景拓展，市場將進一步細分和專業(yè)化。企業(yè)需要根據(jù)自身優(yōu)勢，在云端推理與邊緣計算之間找到最優(yōu)定位，打造差異化競爭優(yōu)勢。

未來，伴隨著小型模型技術(shù)的進步和邊緣計算能力的提升，我們很可能見證AI推理的新一輪革命，這將為整個產(chǎn)業(yè)帶來更多創(chuàng)新機遇與發(fā)展可能。

原文：https://www.generativevalue.com/p/the-inference-landscape

本文轉(zhuǎn)載自 ??AI工程化??，作者： ully