譯者 | 布加迪

審校 | 重樓

LLM生態環境漸漸充斥著一群更小巧的專用模型。

AI大語言模型（LLM）市場已達到了成熟階段，即將通過碎片化迎來轉變。LLM時代以強大的海量數據處理能力而令人矚目，已帶領世界由前生成式AI（GenAI）時代邁入了生成式AI時代，并幫助個人和組織了解這項技術以及如何利用該技術為自己謀利。現在，更多的人希望將GenAI應用于更多領域，以解決他們以前無法解決的問題。

如今我們正處于懸崖邊，這是新興技術生命周期中很自然的演變過程。LLM的規模已如此龐大，以至于它們已經消耗了所有可用的訓練數據，但它們仍然渴望獲得更多的數據來持續創新。一些模型甚至在創建合成數據以供學習。雖然這些龐大的智能系統具有變革性，但最大最新的模型并不總是正確的解決方案。以一位遠程維修新型飛機的飛機機械師為例——他們不需要LLM的全部能力，LLM會告訴他們莎士比亞如何編寫手冊；他們只需要圖像、視頻、操作說明，或許還有語言翻譯。他們可能還需要能夠在沒有互聯網連接的情況下通過手機訪問這些信息。

為了實現下一個演進，LLM市場將效仿所有其他廣泛實施的技術，細分為一個由更專業化的模型組成的“xLM”市場，其中x代表各種模型。語言模型正部署在需求取決于具體的應用和用例的更多地方，比如降低功耗或提高安全和保障措施。規模是另一個因素，但我們也將看到各種功能和模型，它們具有可移植性、遠程性、混合性以及針對特定的領域和區域。伴隨這種發展，用例將更加靈活多樣，定價、安全和延遲方面會有更多的選擇。

重新構思模型訓練和數據管理

我們必須重新思考AI模型的訓練方式，以便為xLM市場做好充分準備并積極擁抱它。未來更具創新性的AI模型以及對通用人工智能的追求取決于高級推理能力（正如 OpenAI 的o3模型所展示的早期階段），但這需要重新構建數據管理實踐。當前的方法過于依賴靜態數據，限制了準確性和實時響應能力。

系統將被設計成能夠靈活地實時處理結構化數據、非結構化數據和流數據，同時遵守治理和安全政策。適應性至關重要，因為隨著語言模型變得更復雜，它們將被嵌入到一些目前似乎沒有意義的功能中。因此，設計靈活的管道將減少未來重建平臺的需求。這可以通過利用獨特管理的數據的兩個領域來實現：符合法規的精選訓練數據，以及針對穩健性、成本、延遲和安全進行優化的實時數據。

應對實時數據挑戰

為xLM時代準備實時數據管道必然會增加數據工程資源的壓力，尤其是對于目前依賴靜態批量數據上傳和微調的組織而言。在過去，實時準確性要求專業團隊在保持數據準確性的同時完成定期批量上傳，這帶來了成本和資源方面的障礙。隨著更多的組織力求獲得即時準確性，數量有限的熟練工程師面臨的壓力隨之加大。然而目前有解決方案。

實時管道革命

隨著模型市場不斷發展，實時AI（Live AI）成了一項顛覆行業的創新。將批處理與實時數據連接器或基于API的數據源相結合的混合數據管道提高了模型準確性，因為它們可以不斷學習和忘掉學習。這不僅改善了AI輸出，還減輕了數據工程負擔，因為他們不再需要準備數據、不斷地連接管道。

未來，大多數數據管道都將成為AI管道，所有AI應用系統都將含有實時要素。組織和數據團隊必須了解這一點，并為此做好準備，以免日后重建平臺。管道必須從一開始就設計成能夠自動集成、轉換數據并將其饋入模型，無需持續的人工干預。越來越多的工具和數據基礎設施讓組織不需要大量的評估和訓練周期，可以在短短數小時內啟動并運行現代化的數據源，立即減少了對數據團隊的需求。這些更靈活的解決方案使試驗更容易實現，并鼓勵組織選擇能夠無縫適應未來應用和用例變化的工具。

采用支持自動化和智能數據管理的智能框架為更具創新性的模型奠定了基礎。當數據工程團隊的工作量中不再含有重復且繁重的任務時，他們就可以探索新的模型，創造性地解決問題，并幫助領導者了解哪些類型的模型能夠提高效率，并擴大組織影響力。

為更智能的模型更新改造數據管理

邁向多元化的xLM市場將是AI發展的關鍵階段。擁抱這些更智能、更專業的模型，并更新改造其背后的數據基礎設施，將使AI生態系統在面臨當前發展瓶頸的情況下蓬勃發展，開拓更多的用例，并激發徹底改變行業的創新。

原文標題：The Rise of xLMs: Why One-Size-Fits-All AI Models Are Fading，作者：Victor Szczerba