數(shù)據(jù)可觀測性是指全面監(jiān)控和了解系統(tǒng)內(nèi)數(shù)據(jù)行為的能力。它提供了數(shù)據(jù)實時管理方面的透明度，而不僅僅是數(shù)據(jù)監(jiān)控。其中包括質(zhì)量、資源使用情況、運營指標(biāo)、系統(tǒng)相互依賴關(guān)系、數(shù)據(jù)沿襲以及數(shù)據(jù)基礎(chǔ)架構(gòu)的整體運行狀況。

在數(shù)據(jù)集成的背景下，監(jiān)控和理解數(shù)據(jù)流的能力是確保數(shù)據(jù)在集成過程中各個階段的質(zhì)量和可靠性的關(guān)鍵。過去，用戶經(jīng)常對工作流程缺乏透明度和相關(guān)報告，并對數(shù)據(jù)工作流的分析結(jié)果提出擔(dān)憂。隨著人工智能時代的到來，人工智能驅(qū)動的數(shù)據(jù)集成工作流程將改變這一現(xiàn)狀。

數(shù)據(jù)可觀性的重要性

強大的數(shù)據(jù)可觀測性能夠確保數(shù)據(jù)整個集成生命周期（從生產(chǎn)到使用）的透明度，并使用戶有信心做出以數(shù)據(jù)為導(dǎo)向的業(yè)務(wù)決策。

具有高度數(shù)據(jù)可觀測性標(biāo)準(zhǔn)的公司可以輕松、自信地回答影響數(shù)據(jù)集成結(jié)果的直接問題。例如：

1) 用戶可用數(shù)據(jù)的真實性如何？數(shù)據(jù)工程師、數(shù)據(jù)科學(xué)家和業(yè)務(wù)運營團隊是否查看和使用相同的數(shù)據(jù)？在數(shù)據(jù)集成過程中，我們的數(shù)據(jù)是否失去了保真度？

2) 用戶是否能夠跟蹤數(shù)據(jù)沿襲？ 當(dāng)數(shù)據(jù)通過我們的管道運行時，我們是否清楚地記錄了數(shù)據(jù)的來源、轉(zhuǎn)換和目標(biāo)？能否反映整個數(shù)據(jù)生態(tài)系統(tǒng)中數(shù)據(jù)集成工作流程的變化？

3)是否能夠?qū)崟r了解我們的數(shù)據(jù)流程？在數(shù)據(jù)管道中，某一部分的變化將如何影響下游流程？我們能否實時檢測可能影響數(shù)據(jù)完整性或性能的異常情況？

4)根本原因分析流程的有效性如何？我們是否能夠快速檢測數(shù)據(jù)異常、瓶頸和漏洞，從而實現(xiàn)預(yù)測性維護和預(yù)防措施？

5)能否有效地排除故障嗎？ 當(dāng)數(shù)據(jù)管道破裂時，我們能夠多快識別出故障點，及時進行干預(yù)并修復(fù)它？

6)數(shù)據(jù)集成工作流程是否合規(guī)？ 我們的流程是否符合數(shù)據(jù)治理、安全和隱私法規(guī)？

雖然即使使用最好的數(shù)據(jù)管道也可能出現(xiàn)瓶頸和損壞，但可觀測性設(shè)置了檢查點，為數(shù)據(jù)帶來信任和可信度。最終，企業(yè)越信任和使用數(shù)據(jù)，數(shù)據(jù)集成投資的投資回報率就越高。

AI 驅(qū)動的數(shù)據(jù)可觀測性

在日益復(fù)雜的混合數(shù)據(jù)集成環(huán)境中，對數(shù)據(jù)可觀測性實踐的需求比以往任何時候都更加迫切。然而，采用手動的流程不足以滿足這些需求。

AI 驅(qū)動的工具通過跨工作流自動監(jiān)控、分析和檢測問題，無論操作的規(guī)模有多大和復(fù)雜程度如何，都能夠提高數(shù)據(jù)可觀測性，并提供對數(shù)據(jù)管道的實時可見性。

人工智能驅(qū)動的工具產(chǎn)生重大影響的一些領(lǐng)域包括：

異常檢測

在復(fù)雜的數(shù)據(jù)集成環(huán)境中，即使識別數(shù)據(jù)管道中的故障點也可能是一項挑戰(zhàn)。人工智能算法可以學(xué)習(xí)數(shù)據(jù)流的正常模式和行為，并標(biāo)記任何異常或偏離這些模式?，F(xiàn)代 AI 驅(qū)動的數(shù)據(jù)可觀測性工具有助于減少平均檢測時間 （MTTD） 和同時解決 （MTTR） 數(shù)據(jù)質(zhì)量和管道問題。

預(yù)測分析

機器學(xué)習(xí)模型有助于根據(jù)歷史數(shù)據(jù)模式預(yù)測未來的趨勢或問題。這種可見性有助于預(yù)測數(shù)據(jù)集成流程中的潛在瓶頸、延遲問題或錯誤，從而實現(xiàn)主動優(yōu)化和持續(xù)流程改進。

自動根本原因分析

人工智能可以分析大量數(shù)據(jù)和系統(tǒng)日志，以自動識別問題的根本原因。查明錯誤或差異的根源可縮短檢測時間并縮短系統(tǒng)停機時間。減少對被動故障排除的需求也轉(zhuǎn)化為資源利用率的提高和運營成本效率。

手動日志和文檔分析

多年來，許多圍繞數(shù)據(jù)集成工作流的文檔以不一致的格式和不同的位置堆積在整個組織中。人工智能驅(qū)動的自然語言處理 （NLP） 技術(shù)可以理解、處理和解釋與數(shù)據(jù)集成相關(guān)的日志、文檔和通信，并提取有意義的見解以檢測問題或確定需要改進的領(lǐng)域。

數(shù)據(jù)質(zhì)量監(jiān)控

可以訓(xùn)練機器學(xué)習(xí)模型來監(jiān)控數(shù)據(jù)的準(zhǔn)確性和完整性，并在出現(xiàn)數(shù)據(jù)質(zhì)量問題時自動標(biāo)記和解決這些問題，通常無需任何人工干預(yù)。

自動化元數(shù)據(jù)管理

人工智能驅(qū)動的工具可以自動收集、標(biāo)記和組織與數(shù)據(jù)集成過程相關(guān)的元數(shù)據(jù)。通過數(shù)據(jù)目錄，可以更輕松地搜索和跟蹤數(shù)據(jù)沿襲、依賴關(guān)系以及與數(shù)據(jù)集成相關(guān)的其他關(guān)鍵信息，從而促進更好的數(shù)據(jù)發(fā)現(xiàn)和理解。

使數(shù)據(jù)可觀測性成為現(xiàn)代數(shù)據(jù)集成策略不可或缺的一部分

數(shù)據(jù)可觀測性是 Gartner 2022 年超級周期中的一項重大創(chuàng)新，正迅速吸引面向未來的數(shù)據(jù)工程師的關(guān)注。

由此導(dǎo)致的市場上可觀測性解決方案數(shù)量的爆炸式增長導(dǎo)致了功能的碎片化，許多產(chǎn)品對數(shù)據(jù)可觀測性的定義過于狹隘，僅提供所需功能的子集，或者增加了數(shù)據(jù)集成生態(tài)系統(tǒng)的復(fù)雜性。

全面的可觀測性解決方案應(yīng)提供端到端可見性，以及跨多云和混合云環(huán)境無縫工作的高級異常檢測、預(yù)測分析和自動問題解決功能。

然而，這不應(yīng)該讓數(shù)據(jù)工程師的生活變得更加復(fù)雜，他們已經(jīng)必須管理和監(jiān)控各種復(fù)雜的數(shù)據(jù)管道。

為了解決這個問題，現(xiàn)代數(shù)據(jù)集成解決方案越來越多地將高級可觀測性功能嵌入到核心產(chǎn)品中，從而進一步簡化了整個數(shù)據(jù)供應(yīng)鏈的運營。

AI 驅(qū)動的端到端數(shù)據(jù)管理和集成解決方案能夠幫助我們在數(shù)據(jù)集成工作流的每個階段更智能地工作，同時利用高級數(shù)據(jù)可觀測性功能的優(yōu)勢來減少錯誤、管理成本并從數(shù)據(jù)中創(chuàng)造更多價值。

原文標(biāo)題：Data Observability in the Age of AI: A Guide for Data Engineers

原文作者：Sudipta Datta