2022年數據管理五大趨勢
趨勢一:多云和跨云管理
企業上云后,很自然的想法就是能夠基于一個元數據管理系統管理多云的數據,比如數據工程師可以通過運行在AWS上的數據目錄來查找數據,也可以使用運行在Azure上的數據集成服務來訪問Snowflake中的數據,并將其移動到谷歌云平臺,以便在TensorFlow項目中使用,以上所有操作用一個數據管理引擎就能搞定。
趨勢二:AI驅動的數據管理自動化
基于人工智能提升數據管理自動化水平提了很多年了,最近企業引入了一個敏感數據自動掃描工具來進行敏感數據的自動識別,挺實用,希望這些案例多一點。
趨勢三:數據架構的體系結構
多云環境下使得數據編目、查找、集成和使用變得困難,數據編織是一種解決策略,其能在數據之間建立動態的虛擬鏈接,能實現智能化且易用的數據目錄,能通過自服務的方式實現數據的準備和訪問。
趨勢四:多域主數據管理(MDM)
要打造多域主數據間的知識圖譜,形成業務的全局視圖,從而提升端到端的客戶體驗。
趨勢五:數據市場
這點我最認同了,企業要把數據開放當成淘寶賣貨,多關注點體驗,努力促進交易。
《IDC全球首席數據官(CDO)大調研》對全球近900名數據領導者進行了調研。根據調研結果,我們發現2022年的數據管理五大趨勢:
- 趨勢#1 多云和跨云管理
- 趨勢#2 AI驅動的數據管理自動化
- 趨勢#3 數據編織的體系結構
- 趨勢#4 多域主數據管理
- 趨勢#5 數據市場
趨勢#1 多云和跨云管理
調查發現,82%的組織目前正在使用多個云,或者計劃在未來12個月內使用多個云。
隨著越來越多的應用程序和數據轉移到云中,數據領導者面臨著越來越復雜的數據管理需求:在同一個云中,跨不同的云中,以及使用本地資源。多云和跨云數據管理對于支持這些不同的拓撲結構至關重要。
圖1:多云中的更多數據增加了碎片和復雜性
多云意味著特定的數據管理服務可以在多個云生態系統上運行。例如,能夠在亞馬遜網絡服務(AWS)、微軟Azure和谷歌云平臺上運行數據集成服務。無論是因為數據主權問題,還是為了避免供應商鎖定或并購,多云環境的出現,企業都希望能夠靈活地跨云生態系統運行其數據管理服務。
同時,云間數據管理使運行在不同云生態系統上的服務能夠無縫地協同工作。例如,數據工程師可以通過運行在AWS上的數據目錄和市場服務來查找數據,該服務使用運行在Azure上的數據集成服務來訪問Snowflake中的數據,并將其移動到谷歌云平臺,以便在TensorFlow項目中使用。
圖2:多云和跨云數據管理示例
圖2顯示了Informatica如何通過多云和跨云數據管理功能幫助您解決碎片和復雜性問題。
趨勢#2 AI驅動的數據管理自動化
自動化是解決大規模數據碎片化和復雜性的唯一可行選擇。然而,超過三分之二(68%)的受調查組織尚未在整個組織內將人工智能用于數據管理。
圖3:用于數據管理的人工智能提高了生產率和靈活性
人工智能可以幫助實現數據管理各個方面的自動化,包括數據發現和編目、數據和應用程序集成、清理和掌握、治理、隱私和數據共享。它還提高了所有數據用戶的生產率,包括開發人員、架構師、應用程序管理員、數據管理員、財務分析師和一線員工。
圖4:用于數據管理自動化的人工智能示例
使用人工智能實現數據管理自動化增加了人工智能在決策和業務流程中的可操作性。優化的數據管理組織可以:
- 將人工智能全面用于數據管理的可能性是以往的五倍
- 為洞察和分析全面操作人工智能的可能性高出三倍
- 將人工智能全面用于過程自動化和優化的可能性提高了六倍
趨勢#3 數據架構的體系結構
隨著組織將更多數據放入更多的云中,他們需要一種方法來連接孤立的數據源,并使整個組織的數據更容易訪問。為了解決這些云數據孤島問題,數據管理領導者正在尋找數據架構的體系結構。
事實上,超過一半(54%)的被調查組織表示,他們正在研究方法和解決方案,或者已經將數據架構的體系結構的某些部分落實到位。
圖5:數據架構體系結構有助于優化數據管理
Data Fabric是一個設計概念,它作為一個架構層,用于簡化和擴展數據管理任務,并在整個組織中更廣泛、更一致地使用數據。
圖6:數據架構的關鍵組件
數據架構的關鍵組件包括(見圖6):
- 用于發現和管理數據資產的增強元數據目錄
- 用于理解數據資產之間關系的元數據知識圖
- 一個支持人工智能的推薦引擎,用于建議使用數據資產
- 支持ETL、流媒體和API數據移動的數據準備和數據交付
- 不同數據管理服務協作的企業數據編排層
嵌入在這五個組件中的是一個AI引擎,它將數據架構執行的數據管理任務進行了自動化。例如,推薦可能感興趣的數據集,或自動將業務術語和定義與底層技術數據關聯,以使業務用戶能夠自助服務。
趨勢#4 多域主數據管理(MDM)
隨著企業的業務數字化進一步發展,使用云應用程序的數量也在增加。管理端到端的數字體驗需要應用程序中提供一致的主數據。
當被問及其數據管理的預算優先事項時,61%的受訪者表示,多域主數據管理(MDM)可以360度查看業務,是首要考慮的。
圖7:主數據管理是優化數據組織的最優先級預算分配
雖然許多公司最初專注于管理客戶數據,但他們很快意識到,需要管理和連接材料、供應商、產品、位置和主數據的其他領域,以獲得360度的業務視圖,從而幫助他們提供卓越的數字體驗。利用多域MDM改善體驗的一些方法包括:
客戶體驗:使營銷部門能夠通過客戶、產品和渠道數據來了解偏好并提供個性化服務。跨客戶接觸點提供個性化支持和服務。
產品體驗:使商務和商品銷售團隊能夠使用客戶、產品和位置數據,在整個客戶旅程中提供更加吸引的相關產品體驗。
供應商經驗:使采購和供應商關系團隊能夠使用供應商、材料和位置數據簡化供應商入職流程,并更好地管理整個組織內供應商的總開支。
財務經驗:使財務規劃和分析團隊能夠使用客戶、產品、渠道、供應商、成本中心和位置數據來建模場景,制定計劃,并提供及時的報告和分析。
圖8:將多個主數據域連接到客戶的360度視圖中
圖8顯示了Informatica如何將客戶、策略和位置主數據與交互、交易和服務請求數據連接起來,以創建一個知識圖,提供客戶及其與公司交互的全面360度視圖。
趨勢#5 數據市場
數據具有變革性。它推動產品和服務的創新,增強協作能力,改變企業和社會。然而,72%的受訪者表示,大多數業務線員工無法自行獲取他們需要使用的所有數據。
為了滿足對更大數據訪問和共享的需求,我們相信,2022年,從僅僅編目數據擴展到更全面的數據市場功能的趨勢將會加快。
圖9:優化的數據組織高度關注數據的訪問和使用
雖然數據目錄是數據市場的一個組成部分,但該市場還提供訂單管理以及交付和履行功能。它通過類似于零售行業在線購物體驗簡化了數據消費體驗。只需點擊幾下,員工就可以搜索感興趣的主題或領域、將數據集添加到購物車、結賬并安全地交付數據。
更先進的數據市場還確保以合規和道德的方式使用組織的數據資產。數據治理策略可以映射到數據集,然后使用這些數據集根據所訪問的數據類型創建數據使用的條款和條件。這為數據消費者提供了正確使用的指導,消費者在獲得訪問權限之前必須接受這些條款。市場提供了對誰在使用什么數據、在哪里使用數據以及用于什么的完全可審計性。
圖10:使用數據市場簡化業務自助服務
圖10顯示了Informatica如何利用云數據市場簡化業務用戶的數據查找、理解和消費。