1. 引言

關(guān)于 ChatGPT（廣義上為生成式 AI）的討論現(xiàn)已演變?yōu)?Agentic AI。ChatGPT 主要是一個(gè)生成文本響應(yīng)的聊天機(jī)器人，而 AI Agents 則能夠自主執(zhí)行復(fù)雜任務(wù)，例如完成銷(xiāo)售、計(jì)劃旅行、預(yù)訂航班、雇傭承包商進(jìn)行房屋工作、訂購(gòu)披薩等。圖 1 展示了 Agentic AI 系統(tǒng)的演變。

比爾·蓋茨（Bill Gates）最近設(shè)想了一個(gè)未來(lái)，人們將擁有一個(gè)能夠處理和響應(yīng)自然語(yǔ)言并完成多種不同任務(wù)的 AI Agent。蓋茨以計(jì)劃旅行為例。

通常，這需要你親自預(yù)訂酒店、航班、餐廳等。但 AI Agent 能夠根據(jù)你的偏好知識(shí)，代表你預(yù)訂和購(gòu)買(mǎi)這些服務(wù)。

Agentic AI 系統(tǒng)的核心特性是其自主性和推理能力，允許它們將復(fù)雜任務(wù)分解為更小的可執(zhí)行任務(wù)，并以能夠監(jiān)控、反思和根據(jù)需要適應(yīng)/自我糾正的方式編排執(zhí)行。基于此，Agentic AI 有潛力顛覆當(dāng)今企業(yè)中幾乎所有的業(yè)務(wù)流程。

在本文中，我們從軟件工程的角度，以一個(gè)業(yè)務(wù)流程為例進(jìn)行探討。雖然我們都同意高質(zhì)量數(shù)據(jù)對(duì)于生成式 AI 和 Agentic AI 解決方案提供競(jìng)爭(zhēng)優(yōu)勢(shì)至關(guān)重要，但我們將展示如何利用 Agentic AI 重新設(shè)計(jì)數(shù)據(jù)管理流程本身。

具體來(lái)說(shuō)，我們展示了 Agentic AI 如何應(yīng)用于兩個(gè)核心數(shù)據(jù)管理流程：數(shù)據(jù)編目和數(shù)據(jù)工程（數(shù)據(jù)倉(cāng)庫(kù)），并概述了兩種場(chǎng)景相關(guān)的任務(wù)特定 AI Agents。我們隨后描述了一個(gè) Agentic AI 平臺(tái)的參考架構(gòu)，并展示它如何在不斷變化的業(yè)務(wù)和數(shù)據(jù)環(huán)境中以自持續(xù)的方式編排這些 Agents（用于數(shù)據(jù)管理）。

2. 數(shù)據(jù)管理簡(jiǎn)介

在一個(gè)理想（且簡(jiǎn)化）的世界中，數(shù)據(jù)管理平臺(tái)的參考架構(gòu)如圖所示。

結(jié)構(gòu)化和非結(jié)構(gòu)化的源數(shù)據(jù)被攝入 Bronze 層，在那里進(jìn)行清洗和標(biāo)準(zhǔn)化，進(jìn)入 Silver 層，進(jìn)一步建模和轉(zhuǎn)換為 Gold 層。此時(shí)，數(shù)據(jù)已準(zhǔn)備好供商業(yè)智能（BI）和機(jī)器學(xué)習(xí)（ML）管道使用。

然而，在現(xiàn)實(shí)中，我們看到這些經(jīng)過(guò)整理/處理的數(shù)據(jù)被移動(dòng)到另一個(gè)位置，例如云存儲(chǔ)桶或其他數(shù)據(jù)湖，作為 ML 訓(xùn)練和部署的一部分進(jìn)行進(jìn)一步轉(zhuǎn)換。

因此，在企業(yè)環(huán)境中：

MLOps 的數(shù)據(jù)（預(yù)）處理部分專(zhuān)注于將數(shù)據(jù)從源移動(dòng)到 ML 模型，而不一定包括模型如何在數(shù)據(jù)上執(zhí)行。這通常包括支持學(xué)習(xí)算法的一系列轉(zhuǎn)換。例如，數(shù)據(jù)科學(xué)家可能選擇構(gòu)建線性回歸管道或探索性因子分析管道來(lái)支持 ML 模型。

ML 訓(xùn)練和驗(yàn)證需要執(zhí)行比傳統(tǒng)提取-轉(zhuǎn)換-加載（ETL）工具支持的更復(fù)雜的功能。

這在復(fù)雜的數(shù)據(jù)處理、聚合和回歸中尤為常見(jiàn)。此處推薦的方法是使用有向無(wú)環(huán)圖（DAG）流來(lái)補(bǔ)充數(shù)據(jù)處理策略。

與 BI 的線性數(shù)據(jù)流相比，DAG 流支持可擴(kuò)展的有向圖，用于數(shù)據(jù)路由、統(tǒng)計(jì)轉(zhuǎn)換和系統(tǒng)邏輯。像 Apache Airflow 這樣的工具支持 DAG 流的創(chuàng)作、管理和維護(hù)，這些流可以以編程方式與 ETL 管道集成。

不用說(shuō)，這導(dǎo)致了 DataOps 和 MLOps 管道的冗余和碎片化。可以說(shuō)，當(dāng)前的 DataOps 更關(guān)注 BI/結(jié)構(gòu)化分析，而 MLOps 則涵蓋了包含數(shù)據(jù)（預(yù)）處理的完整 ML 管道。

數(shù)據(jù)平臺(tái)供應(yīng)商已經(jīng)開(kāi)始著手解決這個(gè)問(wèn)題，我們看到了一些初步的解決方案。Snowflake 提供了 Snowpark Python API，允許在 Snowflake 內(nèi)訓(xùn)練和部署 ML 模型，Snowpark 使數(shù)據(jù)科學(xué)家能夠使用 Python（而不是用 SQL 編寫(xiě)代碼）。

谷歌云平臺(tái)（GCP）提供了 BigQuery ML，這是一個(gè)允許在 GCP 數(shù)據(jù)倉(cāng)庫(kù)環(huán)境中僅使用 SQL 訓(xùn)練 ML 模型的工具。類(lèi)似地，AWS Redshift Data API 使任何用 Python 編寫(xiě)的應(yīng)用程序都可以輕松與 Redshift 交互。這允許 SageMaker 筆記本連接到 Redshift 集群，并在 Python 中運(yùn)行 Data API 命令。這種原地分析提供了一種從 AWS 數(shù)據(jù)倉(cāng)庫(kù)直接拉取數(shù)據(jù)到筆記本的有效方式。

3. Agentic AI 用于數(shù)據(jù)管理

在本節(jié)中，我們展示如何在企業(yè)環(huán)境中使用自主 AI Agents 重新設(shè)計(jì)上述數(shù)據(jù)管理任務(wù)，通過(guò)適應(yīng)不斷變化的數(shù)據(jù)環(huán)境來(lái)驅(qū)動(dòng)業(yè)務(wù)價(jià)值（如圖 4 所示）：

?自動(dòng)化數(shù)據(jù)管道（攝入、建模、轉(zhuǎn)換）；

?通過(guò) AI 驅(qū)動(dòng)的政策執(zhí)行實(shí)現(xiàn)治理和合規(guī)的運(yùn)營(yíng)化；

?為實(shí)時(shí)業(yè)務(wù)決策提供洞察和預(yù)測(cè)。

接下來(lái)，我們展示 Agentic AI 對(duì)兩個(gè)核心流程的編排：數(shù)據(jù)編目和數(shù)據(jù)工程（數(shù)據(jù)倉(cāng)庫(kù)）。

3.1 數(shù)據(jù)編目的 AI Agents

自主 Agents 可以通過(guò)自動(dòng)化數(shù)據(jù)發(fā)現(xiàn)、分類(lèi)和元數(shù)據(jù)豐富來(lái)顛覆數(shù)據(jù)編目。這需要編排多個(gè) AI Agents，提供跨異構(gòu)系統(tǒng)的端到端數(shù)據(jù)編目。這些 Agents 持續(xù)從用戶(hù)交互中學(xué)習(xí)，確保實(shí)時(shí)元數(shù)據(jù)更新、智能實(shí)體識(shí)別和上下文標(biāo)記。

核心數(shù)據(jù)編目 Agents 包括（如圖所示）：

?Supervisor Agent：掃描企業(yè)源系統(tǒng)以發(fā)現(xiàn)新的相關(guān)數(shù)據(jù)，分配和調(diào)度任務(wù)給其他 Agents。

?Data Discovery Agent：執(zhí)行自主實(shí)體提取，檢測(cè)關(guān)系并應(yīng)用元數(shù)據(jù)豐富。

?Data Integration Agent：與 ERP、CRM 等企業(yè)系統(tǒng)無(wú)縫集成，支持實(shí)時(shí)編目更新。

?Metadata Validation Agent：執(zhí)行元數(shù)據(jù)一致性檢查，檢測(cè)重復(fù)項(xiàng)，確保關(guān)系映射的準(zhǔn)確性。

?Data Observability Agent：持續(xù)跟蹤數(shù)據(jù)血緣，應(yīng)用安全和訪問(wèn)控制策略，確保合規(guī)性。

3.2 數(shù)據(jù)工程的 AI Agents

Agentic AI 可以通過(guò)自動(dòng)化數(shù)據(jù)管道、查詢(xún)優(yōu)化和模式演變來(lái)革新數(shù)據(jù)倉(cāng)庫(kù)。這需要編排多個(gè)專(zhuān)門(mén)從事數(shù)據(jù)倉(cāng)庫(kù)關(guān)鍵領(lǐng)域的 Agents：數(shù)據(jù)攝入、建模、轉(zhuǎn)換和洞察生成。

核心數(shù)據(jù)工程 Agents 如圖 6 所示：

?Supervisor Agent：調(diào)度批處理和實(shí)時(shí)作業(yè)，自動(dòng)化從批處理和流式源攝入數(shù)據(jù)。

?ETL Agents：提供數(shù)據(jù)管道的端到端自動(dòng)化，包括數(shù)據(jù)攝入、建模和轉(zhuǎn)換。

?Data Quality Agent：執(zhí)行數(shù)據(jù)質(zhì)量、完整性和一致性檢查，消除重復(fù)記錄等。

?Data Modeling and Tuning Agent：根據(jù)模式漂移檢測(cè)和用戶(hù)查詢(xún)趨勢(shì)動(dòng)態(tài)調(diào)整模式和索引，自動(dòng)適應(yīng)表結(jié)構(gòu)。

?Data Observability Agent：持續(xù)監(jiān)控?cái)?shù)據(jù)倉(cāng)庫(kù)性能，自動(dòng)調(diào)整數(shù)據(jù)管道以提高速度和成本效率。

3.3 數(shù)據(jù)管理的 Agentic AI 參考架構(gòu)

在本節(jié)中，我們概述了數(shù)據(jù)管理 Agentic AI 平臺(tái)的關(guān)鍵模塊（如圖 7 所示）：

?推理模塊：分解復(fù)雜任務(wù)并調(diào)整其執(zhí)行以實(shí)現(xiàn)給定目標(biāo)；

?Agentic 市場(chǎng)：現(xiàn)有和可用 Agents 的市場(chǎng)；

?編排模塊：編排和監(jiān)控多 Agents 系統(tǒng)的執(zhí)行；

?集成模塊：與企業(yè)源系統(tǒng)集成；

?共享內(nèi)存管理：用于 Agents 之間的數(shù)據(jù)和上下文共享；

?治理層：包括可解釋性、隱私、安全等。

給定一個(gè)用戶(hù)（數(shù)據(jù)管理）任務(wù)，Agentic AI 平臺(tái)的目標(biāo)是識(shí)別（組合）能夠執(zhí)行該任務(wù)的 Agent（或 Agents 組）。因此，我們需要的第一個(gè)組件是一個(gè)推理模塊，能夠?qū)⑷蝿?wù)分解為子任務(wù)，并通過(guò)編排引擎協(xié)調(diào)相應(yīng) Agents 的執(zhí)行。

解決此類(lèi)復(fù)雜任務(wù)的高級(jí)方法包括：(a) 將給定復(fù)雜任務(wù)分解為（層級(jí)或工作流中的）簡(jiǎn)單任務(wù)；(b) 組合能夠執(zhí)行這些較簡(jiǎn)單任務(wù)的 Agents。這可以通過(guò)動(dòng)態(tài)或靜態(tài)方式實(shí)現(xiàn)。在動(dòng)態(tài)方法中，給定復(fù)雜用戶(hù)任務(wù)，系統(tǒng)根據(jù)運(yùn)行時(shí)可用 Agents 的能力制定計(jì)劃以滿足請(qǐng)求。在靜態(tài)方法中，給定一組 Agents，在設(shè)計(jì)時(shí)手動(dòng)定義組合 Agents，結(jié)合它們的能力。

鏈?zhǔn)剿伎迹–hain of Thought, CoT）是目前最廣泛使用的分解框架，用于將復(fù)雜任務(wù)轉(zhuǎn)化為多個(gè)可管理任務(wù)，并揭示模型思考過(guò)程的解釋。

Agent 組合意味著存在一個(gè) Agent 市場(chǎng)/注冊(cè)表，包含 Agent 能力和約束的明確描述。在這種情況下，相關(guān)的數(shù)據(jù)管理 Agents 包括：

?Data Discovery Agent

?Data Processing Agent

?Data Modeling Agent

?Insights Generation Agent

?Data (and Metadata) Quality Agent

?Data Observability Agent

鑒于需要編排多個(gè) Agents，需要一個(gè)支持不同 Agent 交互模式的數(shù)據(jù)集成模塊，例如 Agent 到 Agent API、Agent API 提供供人類(lèi)消費(fèi)的輸出、人類(lèi)觸發(fā) AI Agent、AI Agent 到 Agent 且有人類(lèi)參與的循環(huán)。這些集成模式需要底層 Agent OS 平臺(tái)支持。

吳恩達(dá)（Andrew Ng）最近從性能角度討論了這一點(diǎn)：

今天，許多 LLM 輸出是供人類(lèi)消費(fèi)的。但在 Agentic 工作流中，LLM 可能被反復(fù)提示以反思和改進(jìn)其輸出、使用工具、計(jì)劃和執(zhí)行多個(gè)步驟，或?qū)崿F(xiàn)協(xié)作的多個(gè) Agents。因此，我們可能在向用戶(hù)顯示任何輸出之前生成數(shù)十萬(wàn)甚至更多的 token。這使得快速生成 token 非常重要，而較慢的生成速度則成為充分利用現(xiàn)有模型的瓶頸。

這包括與多個(gè)企業(yè)源系統(tǒng)（例如 ERP、CRM）集成，這在大多數(shù)用例中都是必要的。例如，Anthropic 最近提出的模型上下文協(xié)議（Model Context Protocol, MCP）可將 AI Agents 連接到存儲(chǔ)企業(yè)數(shù)據(jù)的外部系統(tǒng)。

鑒于此類(lèi)復(fù)雜任務(wù)的長(zhǎng)時(shí)間運(yùn)行特性，內(nèi)存管理對(duì) Agentic AI 系統(tǒng)至關(guān)重要。

這包括任務(wù)之間的上下文共享以及長(zhǎng)時(shí)間保持執(zhí)行上下文。

標(biāo)準(zhǔn)方法是將 Agent 信息的嵌入表示保存到支持最大內(nèi)積搜索（MIPS）的向量存儲(chǔ)數(shù)據(jù)庫(kù)中。為了快速檢索，使用近似最近鄰（ANN）算法，返回大約 top k 最近鄰，犧牲一定準(zhǔn)確性以換取巨大的速度提升。

最后是數(shù)據(jù)治理模塊。我們需要確保用戶(hù)針對(duì)特定任務(wù)共享的數(shù)據(jù)或跨任務(wù)的用戶(hù)配置文件數(shù)據(jù)，僅與相關(guān) Agents 共享（表/報(bào)告認(rèn)證和訪問(wèn)控制）。請(qǐng)參閱我之前的文章《負(fù)責(zé)任的 AI Agents》，討論了在幻覺(jué)防護(hù)、數(shù)據(jù)質(zhì)量、隱私、可重復(fù)性、可解釋性等方面啟用良好治理的 AI Agent 平臺(tái)所需的關(guān)鍵維度。

4. 結(jié)論

Agentic AI 是一個(gè)強(qiáng)大的范式，有潛力顛覆當(dāng)今企業(yè)中許多業(yè)務(wù)流程。本文聚焦于數(shù)據(jù)管理流程。雖然我們通常關(guān)注“數(shù)據(jù)”方面，以提供高質(zhì)量數(shù)據(jù)來(lái)啟用 Agentic AI 系統(tǒng)，但我們展示了如何利用 Agentic AI 重新設(shè)計(jì)數(shù)據(jù)管理流程本身。

具體來(lái)說(shuō)，我們將 Agentic AI 應(yīng)用于兩個(gè)核心數(shù)據(jù)管理流程：數(shù)據(jù)編目和數(shù)據(jù)工程（數(shù)據(jù)倉(cāng)庫(kù)），概述了兩種場(chǎng)景相關(guān)的任務(wù)特定 AI Agents。我們最后描述了一個(gè) Agentic AI 平臺(tái)的參考架構(gòu)，可以以自持續(xù)的方式組合和編排這些 Agents（用于數(shù)據(jù)管理）。

鑒于數(shù)據(jù)對(duì)所有 AI（包括生成式 AI 和 Agentic AI）的重要性，我們相信高效（Agentic AI 賦能的）數(shù)據(jù)管理有潛力通過(guò)自主適應(yīng)不斷變化的企業(yè)流程顯著驅(qū)動(dòng)業(yè)務(wù)價(jià)值。

本文轉(zhuǎn)載自??AI大模型觀察站??，作者：AI大模型觀察站