作者丨Dom Couldwell

編譯丨諾亞

出品 | 51CTO技術(shù)棧（微信號：blog51cto）

根據(jù)麥肯錫公司的估計，生成式人工智能預(yù)計每年將為全球經(jīng)濟帶來2.6萬億至4.4萬億美元的經(jīng)濟效益。這一預(yù)測基于63個新的應(yīng)用場景，這些場景有望在多個市場中為客戶帶來改進、效率提升和新產(chǎn)品。這對于開發(fā)者和IT領(lǐng)導(dǎo)者來說都是一個巨大的機遇。

生成式AI的核心在于數(shù)據(jù)。數(shù)據(jù)賦予了生成式AI理解和分析我們周圍世界的能力，并與之互動，為其變革性的能力提供動力。要在生成式AI領(lǐng)域取得成功，公司需要妥善管理和準備數(shù)據(jù)。

同時，你還需要為構(gòu)建和運營大規(guī)模的AI服務(wù)打下基礎(chǔ)，并以明智且可持續(xù)的方式為生成式AI項目提供資金支持。緩慢起步并逐漸減弱的方式無法贏得這場人工智能競賽。這意味著你不僅要在數(shù)據(jù)層面做好充分準備，還要有策略地擴大AI服務(wù)規(guī)模，并確保項目資金來源穩(wěn)定，以支持長期發(fā)展和持續(xù)創(chuàng)新。

如果我們不改進數(shù)據(jù)管理方式，或未能采取正確的方法來應(yīng)對規(guī)模擴大和成本控制問題，那么生成式AI蘊含的巨大潛力將會被白白浪費掉。以下是一些關(guān)于我們?nèi)绾胃倪M數(shù)據(jù)管理方法以及如何長期支持生成式AI項目的思考。

1.數(shù)據(jù)從哪里來

數(shù)據(jù)以多種形態(tài)存在，每種形態(tài)的數(shù)據(jù)如果使用得當，都能提升生成式AI洞察的豐富性和質(zhì)量。

第一種形式是結(jié)構(gòu)化數(shù)據(jù)，它以規(guī)則有序且一致的方式組織起來，包括產(chǎn)品信息、客戶人口統(tǒng)計資料或庫存水平等項目。這類數(shù)據(jù)提供了有組織的事實基礎(chǔ)，可以添加到生成式AI項目中以提高響應(yīng)的質(zhì)量。

此外，您可能還有外部數(shù)據(jù)源可以補充內(nèi)部結(jié)構(gòu)化數(shù)據(jù)源，例如天氣報告、股票價格或交通流量等。這些數(shù)據(jù)能夠為決策過程帶來實時和真實世界的背景信息，將其融入項目可提供額外高質(zhì)量數(shù)據(jù)，但可能沒有必要自行生成這類數(shù)據(jù)。

另一種常見的數(shù)據(jù)集是衍生數(shù)據(jù)，涵蓋了通過分析和建模場景創(chuàng)建的數(shù)據(jù)。此類深度見解可能包括客戶意圖報告、季節(jié)性銷售預(yù)測或群體分析等。

最后一種常見數(shù)據(jù)形式是非結(jié)構(gòu)化數(shù)據(jù)，與分析師習(xí)慣的常規(guī)報告或數(shù)據(jù)格式不同，這類數(shù)據(jù)包括圖像、文檔和音頻文件等格式。這些數(shù)據(jù)捕捉到了人類溝通和表達的細微之處。生成式AI程序常常圍繞圖像或音頻工作，它們是生成式AI模型的常見輸入和輸出。

2.要讓生成式AI實現(xiàn)大規(guī)模應(yīng)用

所有這些多樣的數(shù)據(jù)集各自存在于自己的環(huán)境中。為了使其對生成式AI項目有用，關(guān)鍵在于使這一多樣化的數(shù)據(jù)景觀在實時情況下可供訪問。由于涉及如此大量的潛在數(shù)據(jù)，任何方法都必須能夠在需求增長時動態(tài)擴展，并在全球范圍內(nèi)復(fù)制數(shù)據(jù)，確保資源在接到請求時能靠近用戶，從而避免停機時間并減少交易請求中的延遲。

此外，還需要對這些數(shù)據(jù)進行預(yù)處理，以便生成式AI系統(tǒng)能夠有效利用。這涉及到創(chuàng)建嵌入（embeddings），即代表語義含義的數(shù)學(xué)值，即向量。嵌入使得生成式AI系統(tǒng)能夠超越特定文本匹配，而是涵蓋數(shù)據(jù)內(nèi)含的意義和上下文。無論原始數(shù)據(jù)形式如何，創(chuàng)建嵌入意味著數(shù)據(jù)能夠被生成式AI系統(tǒng)理解并使用，同時保留其意義和上下文。

通過這些嵌入，企業(yè)可以支持跨所有數(shù)據(jù)的向量搜索或混合搜索，同時結(jié)合價值和意義。然后將這些結(jié)果收集起來傳遞回用于整合結(jié)果的大規(guī)模語言模型（LLM）。通過從多個源頭提供更多數(shù)據(jù)，而不是僅僅依賴LLM本身，你的生成式AI項目就能為用戶提供更準確的結(jié)果，并降低虛構(gòu)內(nèi)容的風(fēng)險。

為了在實踐中實現(xiàn)這一點，必須選擇正確的底層數(shù)據(jù)架構(gòu)。在這個過程中，應(yīng)盡可能避免數(shù)據(jù)分散在不同解決方案中形成碎片化拼湊，因為每一個這樣的解決方案都代表著一個需要長期支持、查詢和管理的數(shù)據(jù)孤島。用戶應(yīng)該能夠快速向LLM提問并迅速得到回應(yīng)，而不是等待多個組件響應(yīng)并由模型權(quán)衡其結(jié)果。統(tǒng)一的數(shù)據(jù)架構(gòu)應(yīng)當提供無縫的數(shù)據(jù)集成，使生成式AI能夠充分利用所有可用的數(shù)據(jù)頻譜。

3.模塊化方法的優(yōu)勢

為了擴展生成式AI實施，需要在加快采用速度與保持對關(guān)鍵資產(chǎn)的控制之間取得平衡。采用模塊化的方式來構(gòu)建生成式AI代理可以使這個過程變得更容易，因為它可以分解實施過程，避免潛在的瓶頸。    

類似于微服務(wù)設(shè)計在應(yīng)用程序中的應(yīng)用，AI服務(wù)的模塊化方法也鼓勵圍繞應(yīng)用程序和軟件設(shè)計的最佳實踐，消除故障點，并讓更多潛在用戶能夠接觸這項技術(shù)。這種方法還使得監(jiān)控整個企業(yè)中AI代理的表現(xiàn)變得更容易，能夠更精確地找出問題發(fā)生的位置。

模塊化的第一個好處是可解釋性，因為參與生成式AI系統(tǒng)的各組成部分彼此分離，這樣就更容易分析代理是如何運作和作出決策的。AI通常被視為“黑箱”，而模塊化使得跟蹤和解釋結(jié)果變得更加容易。

第二個好處是安全性，因為各個組件可以通過最佳認證和授權(quán)機制進行保護，確保只有授權(quán)用戶才能訪問敏感數(shù)據(jù)和功能。模塊化還使得合規(guī)和治理變得更容易，因為個人身份識別信息（PII）或知識產(chǎn)權(quán)（IP）可以得到保障，與底層LLM保持分離。

4.提供持續(xù)靈活的資金模型

除了采用微服務(wù)方法之外，還應(yīng)在整體生成式AI項目中采用平臺思維模式。這意味著取代傳統(tǒng)的基于項目的軟件項目資金模型，轉(zhuǎn)而提供一種持續(xù)和靈活的資金模型。這種方法賦予參與者基于價值做決策的能力，能夠響應(yīng)新興機會，并發(fā)展最佳實踐，而不受制于僵硬的資金周期或商業(yè)案例。

以這種方式管理預(yù)算還能鼓勵開發(fā)人員和業(yè)務(wù)團隊將生成式AI視為組織已有的基礎(chǔ)設(shè)施的一部分，從而更容易平滑規(guī)劃工作負載的高峰和低谷，更容易采取“卓越中心”的方法并在長期內(nèi)保持一致性。

類似的做法是將生成式AI視為企業(yè)自身運營的產(chǎn)品，而非單純的軟件。AI代理應(yīng)作為產(chǎn)品來管理，因為這更能有效地體現(xiàn)其所創(chuàng)造的價值，并使整合、工具和提示方面的支持資源更容易獲得。簡化這種模式有助于在整個組織內(nèi)普及對生成式AI的理解，促進最佳實踐的采納，并營造出共享專業(yè)知識和協(xié)作的生成式AI開發(fā)文化。

生成式AI具有巨大的潛力，各公司正競相在其運營中實施新的工具、代理和提示。然而，要將這些潛在項目投入生產(chǎn)，就需要有效管理數(shù)據(jù)、奠定系統(tǒng)規(guī)?；l(fā)展的基礎(chǔ)，并建立合適的預(yù)算模型以支持團隊。合理安排流程和優(yōu)先級將有助于你和你的團隊釋放這項技術(shù)的變革潛力。

參考地址：https://www.infoworld.com/article/3713461/how-to-manage-generative-ai.html