最近想到了數據治理，所以我決定通過輸入提示來查詢ChatGPT：“什么是數據治理？” AI 回應道：“數據治理是一組流程、政策、標準和指南，可確保數據在組織內得到正確管理、保護和利用。”這是一個好的開始，目前關于數據治理及其意義還有很多話要說。
生成人工智能時代的數據治理
數據治理涵蓋一系列學科，包括數據安全、管理、質量和編目。該實踐需要定義使用策略、創建主數據源、分析數據集、記錄字典以及監督數據生命周期。組織模型通常定義促進戰略的首席數據官、制定數據集策略的數據所有者以及負責提高數據質量的數據管理員的角色。
Precisely首席技術官 Tendü Yogurt?u 博士表示：“數據治理是數據完整性的關鍵要素，它使組織能夠輕松查找、理解和利用關鍵數據，從而實現準確的報告和明智的決策。” “它提供了對數據含義、沿襲和影響的理解，因此企業可以保持合規性，并確保人工智能模型由值得信賴的數據提供支持，以獲得可靠的結果。”
Yogurt?u 表示，數據治理曾經是一項專注于合規性的技術事業。 “隨著人工智能使用得越來越多，數據已成為最重要的企業資產，數據治理應該成為企業范圍內的優先事項，”她說。
對于許多嘗試 genAI 或使用大型語言模型(LLM) 構建應用程序的組織來說，存在更大的數據治理責任，并且員工使用人工智能工具的方式帶來了更多風險以及非結構化數據的新范圍。我咨詢了幾位專家，了解數據治理必須如何發展才能滿足生成人工智能工具和功能固有的機遇和風險。
發展 genAI 數據治理的 4 種方法
1.審查 genAI 工具和LLM中使用的數據政策
數據治理部門負責監督數據目錄并傳達數據使用政策，以幫助員工利用集中式數據集并將其用于構建機器學習模型、儀表板和其他分析工具。這些部門現在正在更新政策，包括是否以及如何在法學碩士和開放 genAI 工具中使用企業數據源。開發人員和數據科學家必須審查這些政策，并就有關使用數據集支持 genAI 實驗的任何問題咨詢數據所有者。
Egnyte聯合創始人兼首席安全官 Kris Lahiri 表示：“隨著生成式 AI 帶來更多數據復雜性，組織必須制定良好的數據治理和隱私政策，以管理和保護用于訓練這些模型的內容。” “組織必須特別注意這些人工智能工具使用了哪些數據，無論是 OpenAI、PaLM 等第三方，還是公司可能在內部使用的內部法學碩士。”
審查有關隱私、數據保護和可接受使用的 genAI 政策。許多組織要求在將數據集用于 genAI 用例之前提交數據所有者的請求和批準。在使用必須符合 GDPR、CCPA、PCI、HIPAA 或其他數據合規標準的數據集之前，請咨詢風險、合規和法律部門。
數據政策還必須考慮使用第三方數據源時的數據供應鏈和責任。 “如果發生涉及某個區域內受保護數據的安全事件，供應商需要明確自己及其客戶的責任，以適當緩解事件，特別是如果這些數據打算用于 AI/ML 平臺的話。” Jozef de Vries， EDB首席產品工程官。
對于那些對 genAI 機會感到興奮的人來說，了解其組織的數據隱私、安全性和合規性政策非常重要。
2.加速數據質量舉措
許多公司提供數據質量解決方案，包括 Attacama、Collibra、Experian、IBM、Informatica、Precisely、SAP、SAS 和 Talend。 2022年，全球數據質量工具市場規模將超過40億美元，預計每年增長17.7%。由于許多公司正在嘗試人工智能工具和法學碩士，我預計會有更高的增長。
Piwik Pro首席運營官 Mateusz Krempa 表示：“人工智能的好壞取決于為其提供動力的數據，因此使用人工智能面臨的許多挑戰都與數據質量有關。” “數據質量差可能會導致誤導或錯誤的見解，嚴重影響結果。”
Krempa 表示，數據質量挑戰源于大數據的數量、速度和種類，特別是因為LLM現在利用了組織的非結構化數據源。希望開發內部LLM的公司將需要擴展數據質量計劃，以包括從文檔、協作工具、代碼存儲庫以及其他存儲企業知識和知識產權的工具中提取的信息。
Hakkoda數據治理主管 Karen Meppen 表示：“數據治理正在轉變，不僅是為了向 LLM 系統提供大量數據，而且是為了明智、安全地提供數據。 ” “重點是確保數據不僅大，而且智能——準確、易于理解、隱私意識強、安全，并尊重知識產權和公平的風險和影響。”
根據業務目標和數據類型，可以使用不同的工具來提高數據質量。
- 傳統的數據質量工具可以刪除重復數據、規范數據字段、根據業務規則驗證數據、檢測異常并計算質量指標。
- 主數據管理工具 (MDM) 可幫助組織連接多個數據源并圍繞客戶和產品等業務實體創建真實來源。
- 客戶數據平臺(CDP) 是用于集中客戶信息并支持營銷、銷售、客戶服務和其他客戶交互的專用工具。
預計升級和新的數據質量工具將改善對非結構化數據源的支持，并提高 genAI 用例的數據質量能力。
Matillion首席信息安全官 Graeme Cantu-Park 的另一項建議重點關注數據沿襲的重要性。 “人工智能將需要一種完全不同的方式來看待治理優先事項和實踐，以便更好地了解為人工智能應用程序和模型提供數據的數據管道和數據沿襲。”
數據沿襲有助于揭示數據的生命周期，并回答有關數據更改的人員、時間、地點、原因和方式的問題。由于人工智能擴展了數據及其用例的范圍，因此了解數據沿襲對于組織中的更多人員（包括安全人員和其他風險管理職能人員）變得更加重要。
3.審查數據管理和管道架構
除了政策和數據質量之外，數據治理領導者還必須將其影響力擴展到數據管理和架構功能。主動數據治理可實現一系列功能，以便更多員工可以利用數據、分析（以及現在的人工智能）來完成工作并做出更明智的決策。數據的存儲、訪問、產品化、編目和記錄方式都是組織能夠如何快速、輕松和安全地將其數據擴展到 genAI 用例的因素。
Teradata首席產品官 Hillary Ashton建議采用以下方法來實現最令人興奮的 AI 用例：
- 創建可重復使用的數據產品或精心策劃的已知良好數據集，以幫助組織更好地控制數據并灌輸對其數據的信任。
- 尊重數據引力，讓更多員工能夠訪問信息，而無需在不同環境之間移動數據。
- 試點人工智能計劃時要考慮到可擴展性，包括具有強大治理能力的人工智能/機器學習數據管道，同時也支持開放和互聯的生態系統。
數據團隊的關鍵是確定易于使用并支持多種用例的框架和平臺。Ensono總經理兼副總裁 Sean Mahoney表示：“治理框架開始變得更加敏捷，使團隊能夠更快地響應技術進步的步伐。”他建議數據治理領導者也審查并參與這些工具：
- 數據網格用于將數據的管理委托給創建數據的人。
- 用于處理生成式人工智能和法學碩士固有的可擴展性和復雜性的矢量數據庫。
- 實時監控工具可將數據治理擴展到更多系統。
另一個考慮因素是數據治理、管理和架構如何需要了解數據存儲的全球法規。 EDB 的 de Vries 建議：“企業應實施全球分布式數據庫，通過將高度監管的數據保留在其區域內，同時在全球范圍內分發限制較少的數據，以提高其數據治理實踐，以便在輸入人工智能平臺時實現敏捷性。”
4.將數據治理擴展到 genAI 工作流程
數據治理職能還必須考慮使用 genAI 工具和法學碩士如何需要政策和最佳實踐。例如，在本文開頭，我明確引用了 ChatGPT，以便讀者知道該響應來自 genAI 來源。良好的數據治理要求對員工進行有關提高透明度的程序、允許他們使用的工具以及最大限度地減少數據隱私問題的實踐方面的教育。
Forethought首席執行官 Deon Nicholas 表示：“我看到的最重要的事情是，在保持隱私和真實性的同時，準確利用、共享和學習數據的方法正在興起。 ” “例如，像 Perplexity 這樣基于 LLM 的搜索引擎總是引用它們的來源，或者像 Private AI 這樣的數據編輯技術，使您能夠在提取或發送數據到 LLMS 之前清理和編輯 PIl。”
數據治理領導者應該考慮的一項新的主動措施是創建提示庫，員工可以在其中記錄他們的提示用例并在整個組織中共享。該學科擴展了許多數據治理團隊已經圍繞維護數據目錄和數據字典所做的知識管理實踐。
RelationalAI機器學習研究副總裁 Nikolaos Vasiloglou表示：“法學碩士的動力包括通常存儲在知識圖中的干凈且精心策劃的內容以及通常以提示庫形式存在的專家知識。雖然我們對知識圖有良好的治理實踐，但如何治理后者并不明顯。”
我喜歡《蜘蛛俠》電影中流行的一句話：“能力越大，責任越大。”我們看到 genAI 功能正在快速發展，但問題是數據治理團隊是否會采取行動。
作者 ｜ Isaac Sacolick
