泛AI架構(gòu)設(shè)計：理解AI云原生 原創(chuàng)
泛AI架構(gòu)設(shè)計這個專欄主要關(guān)注圍繞著AI運用于實際的業(yè)務(wù)場景所需的系統(tǒng)架構(gòu)設(shè)計，包括業(yè)務(wù)數(shù)據(jù)治理、模型訓(xùn)練與管理、模型部署與調(diào)度。整體基于云原生技術(shù)，旨在通過開源領(lǐng)域的LLMOps或者MLOps技術(shù)，充分運用低代碼平臺構(gòu)建高性能、高效率和敏捷響應(yīng)的AI中臺。
1.AI架構(gòu)挑戰(zhàn)
上面幾節(jié)從GPU的知識點入手，清晰的介紹了GPU原理、構(gòu)造以及運算模型。有了初步的認知之后，回到最原始的AI需求，來看看其對于基礎(chǔ)架構(gòu)的要求。AI最早于1956年提出，數(shù)十年沉沉浮浮，最后還是被廣泛的運用于語音識別、機器學(xué)習(xí)、翻譯、圖像處理。深度學(xué)習(xí)的創(chuàng)新推出，使得近期人工智能有了突破性的增長。AI分為Discriminative AI和Generative AI兩類，前者用于預(yù)測與分類，后者用于學(xué)習(xí)知識生成。下面的表格列出兩種AI對于各項基礎(chǔ)設(shè)施的需求：
需求 | 生成式AI | 預(yù)測式AI |
計算資源 | 極其高 需要專業(yè)化的硬件 | 中到高 一般用途硬件 |
數(shù)據(jù)容量 | 大量且多樣化格式 | 專業(yè)化的歷史數(shù)據(jù) |
訓(xùn)練與微調(diào) | 復(fù)雜 多輪的專業(yè)化計算 | 中等強度的訓(xùn)練 |
擴展與彈性 | 高度的可擴展和彈性的基礎(chǔ)設(shè)施（應(yīng)對可變和密集計算） | 可擴展性 彈性要求較低，支持流批一體處理 |
存儲與吞吐 | 高性能高吞吐低延時 支持多樣化的數(shù)據(jù)類型 | 中等吞吐量 注重數(shù)據(jù)分析，大部分為架構(gòu)化 |
網(wǎng)絡(luò)帶寬 | 高帶寬低延時，支持模型分布式訓(xùn)練 | 數(shù)據(jù)訪問需要一致性和可靠 |
從上面各種AI對于基層基礎(chǔ)設(shè)施的需求，有經(jīng)驗的工程師一般都能浮現(xiàn)一個關(guān)鍵的名詞：云原生。
云原生技術(shù)使組織能夠在公共云、私有云和混合云等現(xiàn)代化的動態(tài)環(huán)境中構(gòu)建和運行可擴展的應(yīng)用程序。容器、服務(wù)網(wǎng)格、微服務(wù)、基礎(chǔ)設(shè)施和聲明式 API 就是其中的典型案例。這些技術(shù)使低耦合的系統(tǒng)具有彈性、可管理和可監(jiān)測。通過和Devops結(jié)合，工程師能夠以低成本實現(xiàn)高頻且可預(yù)測的系統(tǒng)迭代。
2.為什么要基于云原生
下圖則直觀的將AI所需要的關(guān)系圖勾勒出來，黑色為某種能力，紅色為兩者的關(guān)系，箭頭代表著誰服務(wù)于誰。例如編排（Orchestration）需要解決數(shù)據(jù)科學(xué)的可擴展性，而模型服務(wù)則為數(shù)據(jù)科學(xué)提供部署能力，自動化建模為數(shù)據(jù)科學(xué)提供自動化。希望讀者還是花點時間仔細推敲下這幅圖。
因此可以看到編排設(shè)計很重要的，它貫穿所有環(huán)節(jié)，其次對于每個能力對象的技術(shù)選型也十分關(guān)鍵。
那么AI為什么要基于云原生，因為云原生給AI帶來很多的益處。按照CNAI的定義基于云原生的AI架構(gòu)解決了人工智能應(yīng)用科學(xué)家、開發(fā)人員和部署人員在云基礎(chǔ)設(shè)施上開發(fā)、部署、運行、擴展和監(jiān)控人工智能工作負載時面臨的挑戰(zhàn)。通過利用底層云基礎(chǔ)設(shè)施的能力（例如CPU、GPU、網(wǎng)絡(luò)和存儲），提供隔離和受控共享機制，加速AI應(yīng)用程序性能并降低成本。其實很大頂尖的公司都是將AI搭建在云原生的基礎(chǔ)上，尤其是Kubernetes。
這里需要先科普下Kubernetes，它是一個編排平臺，可用于部署和管理容器。容器是輕量級、可移植、獨立的軟件單元。AI模型可以打包到容器，然后部署到K8s集群。容器化對于AI部署尤其重要，因為不同模型依賴于不同版本的底層類庫，經(jīng)常會發(fā)生沖突。采用容器技術(shù)，可以解決依賴關(guān)系沖突的問題，且在模型部署中能夠提供巨大的靈活性。
舉個栗子：在一個服務(wù)器上面將A和B的應(yīng)用打包到兩個容器，一個容器里面裝了Ubuntu系統(tǒng)，另一個容器里面裝了Linux系統(tǒng)。兩個容器可以看成是小的世界，都可以跑在服務(wù)器的操作系統(tǒng)上面。兩個應(yīng)用各自所需要的環(huán)境互不打擾。而且容器可以隨時銷毀，隨時啟動。
在存儲方面，高質(zhì)量的數(shù)據(jù)用于訓(xùn)練和測試人工智能模型，云原生基礎(chǔ)設(shè)施可以通過多種方式訪問數(shù)據(jù)，例如數(shù)據(jù)湖和數(shù)據(jù)倉庫。無論是私有還是公有的云技術(shù)都能夠支持塊、對象和文件存儲系統(tǒng)，非常適合提供低成本、可擴展的存儲。
例如，模型的大小可以達到千兆字節(jié)。在訓(xùn)練階段，每次拉取模型的檢查點都會對網(wǎng)絡(luò)和存儲帶寬造成嚴(yán)重負載。 對模型采用容器化設(shè)計，且在注冊表中完成托管和緩存則能有效解決，同時還有利于模型的加簽、驗證、證明和數(shù)據(jù)來源管控。
3.AI云原生架構(gòu)
下圖為CNAI提出來的AI云原生架構(gòu)，它將整個架構(gòu)設(shè)計分為五層，從下往上分別是硬件層，基礎(chǔ)設(shè)施層，云原生平臺層，AIOps/MLOps/LLMOps層，最頂層則為模型應(yīng)用層。這個專欄還是關(guān)注在上三層，除此之外也會覆蓋到新的計算資源GPU，以及其調(diào)度策略。
本文轉(zhuǎn)載自魯班模錘，作者：龐德公
