[[195638]]

本文是大數據雜談 6 月 15 日分享內容整理。

一、大數據時代還需要數據治理嗎?

數據平臺發展過程中隨處可見的數據問題

大數據不是憑空而來，1981 年***個數據倉庫誕生，到現在已經有了近 40 年的歷史，相對數據倉庫來說我還是個年輕人。而國內企業數據平臺的建設大概從 90 年代末就開始了，從***代架構出現到現在已經經歷了近 20 年的時間。

在這 20 年的時間里，國內數據平臺實施者可以說是受盡折磨，數據項目一直不受待見，是出了名的臟活累活。

可以說，忽視數據治理給數據平臺建設帶來了不少問題。隨處可見的數據不統一，難以提升的數據質量，難以完成的數據模型梳理等源源不斷的基礎性數據問題，限制了數據平臺發展，導致數據應用不能在商業上快速展示效果。

舉一個典型商業智能應用的例子，管理駕駛艙可能很多朋友都聽說過，很多企業建設了管理駕駛艙，但是建設完之后往往成為擺設，只有當領導需要看的時候，大家才去拼命改數據。

為什么數據平臺的建設遇到這么多“坎”，而且難以真正發揮其商業價值?其實核心問題還是數據本身不統一，數據內容準確度不高。

數據治理逐漸受到各行業認識

我國最早意識到數據治理重要性的行業銀行是金融行業。由于對數據的強依賴，金融業一直非常重視數據平臺的建設，經過幾代數據平臺的驗證，發現數據治理是平臺建設的主要限制因素，而且隨著投資和建設的投入增加，對數據治理的重要性的認識也越來越深刻。

人民銀行與銀監會也非常重視數據治理，從 08 年開始，在全國銀行業推行統一的數據標準，控制行業的數據質量。工行、建行、國開等大型銀行，對數據治理都非常重視。08 年前，我們與國開一起開始了數據治理的建設，下圖展示的就是國開銀行針對數據全生命周期的數據管控。

如今各行業都開始了大數據平臺的建設，希望利用大數據的能力，來實現數字化轉型。大數據平臺的建設本質上還是數據的建設，傳統數據平臺碰到的所有問題大數據平臺都有可能碰到，由于數據量級的變化，大數據平臺必然還會產生新的問題。

大數據時代下需要新一代的數據治理能力

目前大數據平臺的突出問題主要體現在以下四方面：

數據不可知：用戶不知道大數據平臺中有哪些數據，也不知道這些數據和業務的關系是什么，雖然意識到了大數據的重要性，但平臺中有沒有能解決自己所面臨業務問題的關鍵數據?該到哪里尋找這些數據?

數據不可控：數據不可控是從傳統數據平臺開始就一直存在的問題，在大數據時代表現得更為明顯。沒有統一的數據標準導致數據難以集成和統一，沒有質量控制導致海量數據因質量過低而難以被利用，沒有能有效管理整個大數據平臺的管理流程。

數據不可取：用戶即使知道自己業務所需要的是哪些數據，也不能便捷自助地拿到數據，相反，獲取數據需要很長的開發過程，導致業務分析的需求難以被快速滿足，而在大數據時代，業務追求的是針對某個業務問題的快速分析，這樣漫長的需求響應時間是難以滿足業務需求的。

數據不可聯：大數據時代，企業擁有著海量數據，但企業數據知識之間的關聯還比較弱，沒有把數據和知識體系關聯起來，企業員工難以做到數據與知識之間的快速轉換，不能對數據進行自助的的探索和挖掘，數據的深層價值難以體現。

通過分析以上四類問題，我們發現傳統數據平臺面臨的問題，在大數據時代不僅沒有消失，還不斷涌現出新的問題，傳統的數據治理需要提升能力，來解決大數據平臺建設過程中的這些問題。

在傳統數據平臺階段，數據治理的目標主要是做管控，為數據部門建立一個的治理工作環境，包括標準、質量等。在大數據平臺階段，用戶對數據的需求持續增長，用戶范圍從數據部門擴展到全企業，數據治理不能再只是面向數據部門了，需要成為面向全企業用戶的工作環境，需要以全企業用戶為中心，從給用戶提供服務的角度，管理好數據的同時為用戶提供自助獲得大數據的能力，幫助企業完成數字化轉型。

二、如何面向用戶開展大數據治理?面向用戶的大數據治理實踐案例

很多企業經過一段時間的摸索，已經看到了用戶對大數據治理的這種需求，大數據治理也持續在各行業的大數據平臺建設中得到關注。

在我參與過的項目中給大家舉個例子。最近普元主導了某電力公司的新一代數據治理平臺建設，我們融合該電力公司現有的數據管理工具建設成果，以元數據為基礎，實現了貫穿數據設計、產生、存儲、遷移、使用、歸檔等環節的數據全生命周期管理，以及數據從源端到數據中心，再到應用端的全過程的管理，做到了以用戶為中心，通過大數據治理，為用戶提供了更便捷、更靈活、更準確地獲得企業大數據資產的能力。

該電力公司的大數據治理的起點是先以元數據為基礎，構建數據資產管理體系。從用戶的視角說明白企業數據有哪些，哪些用戶能夠使用。在該電力公司的數據資產定義過程中，我們選擇了貼近業務用戶的數據分類方案，梳理和識別企業運營數據資源。

我們又基于***步形成的數據分類管理體系框架，梳理、整合各級各類數據資源，建立了數據資產樹，按照不同數據細類制定相應的工作模板，對指標數據和明細數據進行梳理和歸并。

所有資產梳理和控制的最終目標都是為了用戶能夠使用數據，我們通過 L0–L1–L2 三個層次的定義，以業務驅動為導向提高數據查詢的實用性。

L0：按照電網業務域–業務主題–業務活動的結構化方法，對查詢進行分類導航。

L1：依據業務和數據源中數據資源情況，按業務主題對數據進行預處理和定義。

L2：將數據庫表字段等技術元數據轉換為業務人員可以理解的業務元數據。

我們通過梳理數據、管理數據、提供數據、關聯業務，形成了一整套以用戶為中心的大數據治理能力，最終為用戶直接使用數據提供了幫助，從而使數據治理完成了從以管控為中心到以業務為中心的轉變。由于受限于篇幅這里不過多描述。

面向用戶的大數據治理的四個階段

面向用戶的大數據治理該如何做，我們總結了四個階段。

(1)***階段：全面梳理企業信息，自動化構建企業的數據資產庫

在***階段，主要是對企業大數據的梳理，從而全面掌握企業大數據的情況，主要有以下三個方面。

• 梳理全企業數據架構，對企業的數據模型、數據關系、數據處理有清晰化的認識。
• 對數據資產形成統一的自動化管理，形成企業的元數據庫。
• 對企業數據資產形成多種視圖，使數據資產能夠讓不同用戶，有不同視角的展示。

(2)第二階段：建立管理流程，落地數據標準，提升數據質量

在第二階段，需要建立大數據管控能力，包括從業務的角度梳理企業數據質量問題，形成質量控制能力，形成核心數據標準，并抓標準落地。針對關鍵問題，建立數據的管理流程，少而精，控制核心問題。

在這個階段主要是為數據部門形成一套管理大數據的能力，同時為數據部門形成數據管理的工作環境。

(3)第三階段：直接為用戶提供價值，向用戶提供數據微服務

通過前兩個階段，企業能夠建立基本的數據治理的能力，在此基礎上，還需要以用戶為中心，為用戶提供直接獲取數據的能力。第三階段依賴于前兩個階段能力的建設，在這個階段的目標是向用戶提供自助化的數據服務，使用戶能夠自助地獲取和使用數據，并且在用戶的使用過程中再反過去進一步落地標準、控制質量。 

(4)第四階段：智能化企業知識圖譜，為全企業提供數據價值

***一個階段是將數據沉淀成為知識，形成企業的知識圖譜，提供從“關系”的角度去分析問題的能力。

人進行數據搜索是通過業務術語(知識)來搜索的，而知識之間是有相互聯系的，例如水果和西紅柿是上下位關系(后者是前者的具體體現)，好的搜索除了要列出直接結果，還需要顯示與之關聯的知識，這就要建立知識圖譜。

簡單說知識圖譜就是概念、屬性以及概念之間的關聯關系，這個關系可以手工建立，也能通過自然語言處理等方法，對政策、法規、需求、數據庫 comments、界面等多種來源進行分析，自動化建立起企業知識圖譜。從而使數據治理成為整個企業的數據工作環境，強化企業數據與知識體系之間的關聯，加快企業員工數據與知識之間的轉換效率，讓數據的深層價值得以體現。 

通過這四個階段的建設，使數據治理平臺由數據部門的工作環境，轉變成為全企業的數據工作環境，以用戶為中心，讓用戶能夠直接使用大數據，并通過用戶的使用來管理數據，持續優化數據質量，在達到治理數據目標的同時，也***限度發揮了數據的價值。

三、面向用戶的自服務大數據治理架構自服務大數據治理架構

以用戶為中心的自服務大數據治理技術架構包括五部分：數據資產管理、數據監控管理、數據準備平臺、數據服務總線，消息與流數據管理。

整個平臺分為五塊核心能力：數據資產、數據準備、數據服務總線、消息 & 流數據管理、數據監控管理。

數據資產管理是對企業數據信息統一管理也是整個平臺的基礎，數據準備平臺是資產服務化的加工廠，它不但能將原始數據通過服務形式以用戶能看懂的方式提供，也可以通過在線數據模型設計實現最終數據產品的發布，起到承上啟下的作用。

數據服務總線和消息 & 流數據管理的價值層次是一致的，只是從數據時效性上面對數據進行了區分，去適應用戶不同的管理和應用訴求。起到數據通道和安全管理兩個核心內容。

數據監控管理有別于大數據中的數據節點管理，而是從數據管理的視角切入對數據的結構的變化、關系的變化進行管理和控制，它是數據持續發揮價值的監管者。

自服務大數據治理的關鍵技術

(1)人工智能的知識圖譜構建

主要有三個步驟

基于企業元數據信息，通過自然語言處理、機器學習、模式識別等算法，以及業務規則過濾，實現知識提取;

以本體形式表示和存儲知識，自動構建成起資產知識圖譜;

通過知識圖譜關系，利用智能搜索、關聯查詢手段，為最終用戶提供更加精確的數據; 

(2)細粒度的敏感信息控制

數據內容安全管理包括對 IT 系統和數據進行敏感度等級劃分的定義、瀏覽、檢核，輔助安全規則在業務、技術領域的應用。從功能上包括數據敏感性分級、系統敏感性分級，數據安全策略定義管理，安全策略輸出，安全管理報告，數據安全檢核，敏感數據角色管理，敏感數據權鑒管理及相關電子審批流程。

(3)自助化的大數據服務生產線

這里有 4 個關鍵點：

• 自助的查詢到想要的數據;
• 自動的生成數據服務;
• 及時穩定的獲得數據通道;
• 數據安全有保證 ;

通過自助化的數據生產線，數據使用方(業務人員)大大減少了對開發人員依賴，80% 以上的數據需求，都能通過自己進行整合開發，最終獲取數據。讓所有用數據的人能方便得到想要的數據。

(4)多維度實時的數據資產信息的展示

數據治理平臺提供實時、全面的數據監控，不僅能從作業、模型、物理資源等各方面進行全面的數據資產盤點，還能對數據及時性、問題數據量等方面的數據健康環境進行全面的預警。

(5)以業務元模型為核心的數據微服務

數據需要以服務的形式提供給最終用戶，在服務的提供上不能再采用傳統的方式，而需要用微服務的方式提供，每個單獨數據微服務自己對所提供數據做緩存，在其中利用元數據能力，把知識(業務模型)與技術(數據模型)相結合，從而向最終數據用戶提供多種數據能力，使用戶能夠以多種方式使用數據。

***在整個大數據治理平臺的構建中還需要滿足一系列原則，詳情參考我寫過的《敏捷數據管理的 12 個技術原則》。

四、總結

大數據時代，企業急需建立以用戶為中心的自服務大數據治理，信息梳理、數據管控、連接用戶、智能化是實現自服務大數據治理的四個主要階段，掌握一系列關鍵技術和技術原則，是實現自服務大數據治理的重要基礎。