作者 | 韋真
在當今數字化時代,數據是企業最不可或缺的寶貴資源之一。然而,隨著數據量的迅猛增長及其復雜性的日益提升,如何高效地管理、充分利用并妥善保護這些數據,已成為企業亟待攻克的一大難題。
互聯網上有多篇文章引用了Gartner的研究成果,指出全球約有90%的數據治理項目未能實現預定的商業價值目標。這一令人震驚的失敗比例,歸因于多種復雜因素的相互作用,包括組織文化的滯后、戰略目標的不明確、技術層面的重重障礙以及工具選擇的不當等。
盡管數據治理項目面臨著極高的失敗風險,但這并不意味著所有項目都注定會以失敗告終。通過采取周密的規劃布局、明確的目標設定、科學的方法運用、合理的資源投入,以及對數據治理全過程的持續監控與不斷優化,我們完全有能力將項目的成功率提升至新的高度。
所謂“數之初,量本小。猛增長,遇瓶頸。缺管理,實難控。若不治,隨可崩。若廣治,懼其繁。治之道,貴以專”。
在此,筆者并非要探討那些前沿的創新理念和學術概念,而是想借助自身在數據治理領域的實戰經驗,通過一種更為生動、貼近實際且富有故事性的方式,與大家分享那些曾經使數據治理工作成功實施并取得顯著成效的寶貴經驗和心得。
數據治理體系
以道家思想為指引,構建企業級全景式、全鏈路的數據治理體系,全面涵蓋“戰略引領、機制保障、措施落實、工具支撐”四大核心層面,推動企業提升數據管理能力的成熟度,有效防控數據風險,促進數據的深度挖掘與價值潛能的最大化釋放。
- 道:制定數據治理戰略目標,統籌頂層藍圖規劃
深入研究并廣泛借鑒數據治理領域的權威指南、業界積累的豐富經驗以及行業內公認的最佳實踐,是企業制定一套科學、有效的企業數據治理戰略的關鍵所在。企業需要梳理當前數據治理存在的短板與不足,通過全面對標行業標桿與先進實踐,精準識別差距所在,進而量身定制一套符合企業自身實際情況的數據治理體系和目標。
- 法:構建數據治理運營機制,提升數據治理效能
構建一套靈活的數據治理運營機制,是增強數據治理效能的關鍵手段。企業需從組織架構、責權利分配及跨組織協作流程等多個層面進行深入分析與明確界定,持續審視并優化現行的數據治理機制,以確保數據治理的每個步驟均符合既定標準、法律法規,并充分滿足企業內外部的數據治理需求。
- 術:貫徹落實數據治理措施,開展專項治理行動
企業基于既定的數據治理目標和機制,制定出有利于數據治理實施的運營策略和執行路徑。依據數據治理任務的緊迫程度和重要性,采用項目工程化的思維,合理有序地開展一系列針對性強的數據治理專項活動,確保每一項活動都緊密圍繞當前最迫切需要解決的數據問題。
- 器:打磨數據治理智能工具,助力高效治理實施
數據治理工具在確保數據治理活動高效實施方面扮演著重要角色,其顯著提升了數據治理效率與精確度。企業通過工具的精準度量和監控機制,助力增強數據治理評估的準確性,并促進決策制定的科學性。此外,數據治理工具能夠自動化處理大量低效且重復的工作任務,有效降低人力成本。這使得數據治理人員得以擺脫繁瑣的日常操作,將寶貴的時間和精力集中于數據業務工作上。
數據治理框架
基于企業戰略和數據要素發展情況,構建“組織制度、治理運營、治理工具”三位一體的數據治理框架,確保數據管理活動始終處于規范、有序和可控的狀態,為企業的數字化轉型和發展提供有力支持。
所謂“定戰略,樹文化。建制度,設流程”。
企業在數據治理戰略指引下,積極營造數據治理文化氛圍。在組織制度方面,企業需要明確數據治理的組織架構,包括設立專門的數據治理委員會或數據管理部門,并明確其責權利。同時,制定和完善相關的數據管理制度、流程和標準,確保數據從采集、存儲、處理到應用等各個環節都有章可循,有據可依。
尤其值得強調的是,數據治理的成功關鍵是三分工具建設加七分運營實施。
數據治理并不是簡單地搭建信息技術平臺即可,更重要的是緊密圍繞真正的治理目標,借助科學合理的治理運營策略,并有效推動落實各項數據治理工作的深入開展。
所謂“工具易,運營難”。
當前很多企業立項采購了數據治理工具,但是沒有真正的使用起來,而工具廠商往往沒有足夠的權力和資源驅動治理運營,對企業的數據中臺和數據業務也不夠熟悉,這也是很多數據治理項目失敗的重要原因。
所以,企業需要打破一味追求平臺建設的固有模式,避免單純以平臺部署為目標,應將重心轉向數據治理運營,而數據治理工具更多的是作為一個輔助手段。
筆者曾將數據治理項目分為治理運營項目和產品工具項目來立項,或是以治理運營項目立項為主,如果有涉及工具建設的內容可以打包進來。
一年下來,大概會立20多個大大小小的治理運營項目,都是為解決數據問題、業務問題和企業經營問題服務的,這才是終極目標,因此也更容易獲得公司領導層的大力支持。
所謂“高層挺、強執行”。
筆者曾向集團總裁寫了半年的數據治理雙日報,詳細匯報數據治理的進展,并定期組織集團級的數據治理會議,可見領導層的重視程度。在數據治理運營實施過程中,領導層多次詢問團隊是否遇到困難、是否需要公司層面的協調支持。
因此,大家也常說,數據治理是一項一把手工程。
數據治理組織架構
企業應在數據治理委員會指導下,設立數據治理辦公室,并建立數據責任人制度,以確保數據治理工作能夠落實到具體責任人。同時,企業還應結合責權利金三角法則,提升每一個組織的責任感和獲得感。
所謂“善組織,齊協作。責權利,當清晰”。
數據治理都是需要人員去做的,我們將他定義為數據責任人,也有的企業稱之為數據owner,或是數據主人。這里,筆者認為數據主人更為恰當一些,因為他們在組織里具備數據治理相關的責權利,而不僅僅是責任。
以責權利驅動數據主人分類分級管理,橫向建立業務負責制的數據管理模式,縱向促進數據管理職責落實到一線人員,促進培育“人人有其責,人人盡其責”的公司數據文化。
高效的管理者總是勇于承擔事情的后果,不會輕易將問題轉嫁給他人。美國前總統杜魯門曾在自己的辦公室門上掛了一個引人注目的標牌,上面寫著:“Buckets stop here!”,這句話意味著問題到此為止,不再繼續傳遞。
在數據治理的領域,這一原則同樣適用。每一位數據主人應將這句話視為自己的行動準則,確保所有屬于自己的數據問題都能得到妥善解決。
筆者曾經所服務的企業有幾十個業務研發中心,每個業務研發中心都有總經理、總監、經理、數據工程師等,其實他們都是不同層級和類型的數據責任人。管理層面,總經理、總監要為其所有業務單元的數據工作承擔第一責任。技術層面,每張數據表、每個數據任務都有對應的責任人,這為數據治理工作的實施推進帶來了很大便捷。
數據治理團隊包含產品團隊和研發團隊兩個條線,但產品團隊只有產品經理,研發團隊更多是實現治理工具支撐,他們只能負責數據治理的單一工作,并不能主導數據治理運營,這是遠遠不夠的。
于是,筆者賦予產品經理更多的責權利,還讓他們兼著治理子項的項目經理和運營經理,也就是要為數據治理項的成功負責到底,要為最終治理目標負責。
起初,產品經理們相當不適應,甚至有些產品經理直接提出他的能力只懂做產品,沒有其他方面的工作經驗,也不想嘗試做。筆者進行了耐心的溝通,在項目開展過程中言傳身教,給予足夠的指導和支持,產品經理們發現自己原來還可以這么優秀,挑戰了自己原來認為不可能做到的事情,最終產品經理們都很好的勝任了這項工作。現在回想起來,大家仍是非常有成就感。
由于企業數據規模大、數據主人眾多,我們也發現,有些歷史較遠的數據表和數據任務的數據主人已經離職或轉崗了,甚至他的領導也離職或轉崗了,工作協調起來特別麻煩。后來,我們在員工工作交接中納入了數據資源項,并且打通數據資產管理系統和人資系統,數據主人做到同步變更,很好的實現了數據主人的統一管理和變更維護。
當前,關于數據要素收益分配,多項政策均呈積極利好導向。政府文件指出,貫徹數據產權結構性分置制度,倡導市場主體擱置所有權爭議,甚至擱置持有權、加工權爭議,共同使用數據,通過市場協調共享收益。完善數據要素收益分配,健全數據要素由市場評價貢獻、按貢獻決定報酬的收益分配機制。
企業可以根據數據血緣建立數據主人、數據及場景價值的聯系,將數據要素產生的數據價值或收益,按照公平合理的收益分配規則,分配給所有相關的數據主人。
數據主人在承擔責任的同時,也能在數據共享與應用過程中獲得相應的收益,這更加契合責權利金三角法則的精髓,也更加符合國家政府的政策導向,并且更加貼近人性的需求。
近年來,一些大型央國企也在構建數據責任體系,還提出了數據主人制的理念。他們通過試點和示范項目的方式,積極推進數據主人制的研究與實踐,探索數據主人制在業務和基層單位落地應用。在這一過程中,數據主人被細分為為不同的級別和類型,其中級別分為省級、市級和區縣級,而類型則分為數據管理主人、數據業務主人和數據生產主人等。通過實施“橫向協同、縱向貫通”的組織管理模式,形成了一個協同聯動的數據主人管理網絡,有效實現了“人找數”和“數找人”,從而解決了很多基層的數據質量問題。同時,企業對于表現優秀的數據主人進行激勵,比如獎金、積分和評優評先等。這一做法總體取得了顯著的治理成效,很值得學習。
這里要強調一點,很多企業采購了數據治理廠商的產品工具和人力服務,還應將廠商的數據治理人員納入進來通盤考慮,及時與廠商同步企業的數據治理戰略和方案。各廠商不能只想著賣工具、賣人力,而應在甲方的統籌規劃和指導下積極配合各項數據治理活動的實施。
談及此,筆者回想起一位廠商老板曾向我咨詢,關于組建數據治理團隊時,應尋覓什么樣的人才來帶領團隊。
我給出的建議是,理想的人選應兼具乙方與甲方數據治理工作的背景。
具備乙方背景的專家,深知如何策劃方案并進行高效的宣講。然而,比較遺憾的是,很多乙方的數據治理從業者常常過多專注于治理工具的操作和PPT演示,更多地想著通過售前工作為公司多拿一個訂單,而對數據治理的實踐經驗相對不足。
具備甲方數據治理實戰經驗的人員,能夠更多地從甲方立場出發,對數據治理工作進行整體規劃和實施。他們更容易與甲方產生共情,從甲方的實際需求出發來思考問題,而非僅僅著眼于挖掘項目商機和促成簽單。
然而,這類高端的數據治理人才較少,這也導致了有些企業數據治理崗位上的負責人和專家長期空缺,難以招募到合適的人選。一些企業退而求其次,招聘的年輕治理工程師,他們雖然充滿潛力,但經驗和能力尚顯不足,所能發揮的作用非常有限。
數據治理是一項高度綜合性的工作,它要求數據治理人才具備多元化的經驗和能力組合。這類專業人才不僅需要熟悉大數據技術,對數據業務有基本的認識,還必須擅長團隊管理,展現出強大的執行力。此外,他們還應具備良好的社交技巧和對人際關系的洞察,以便更有效地應對復雜且不斷變化的工作挑戰。
不管對于甲方還是乙方,真正有成功經驗的數據治理領頭羊非常重要。
數據治理運營模式
前面多次強調了數據治理運營的重要性,許多人對此感到好奇,想要了解數據治理運營究竟是什么,以及它具體涉及哪些工作。
我們先一起來看運營模式,運營模式是數據治理實踐的起點。
運營模式分為分散式、集中式和聯邦式三種常見模式,每種模式的特征、優勢和挑戰有很大差異。其實,這也可以看作是治理運營的三個成長階段,企業可能處于其中的某一階段或介于階段之間。
- 分散式運營模式
它是“無人搭臺、自主唱戲”,將數據治理權力分散到各個部門及各位員工手中,使其能夠自主管理。
- 集中式運營模式
它是“統一搭臺、集中唱戲”,所有數據治理工作都由數據管理組織掌控,統一決策和負責實施推進。
- 聯邦式運營模式
它是“統一搭臺,協同唱戲”,數據管理組織和業務部門協同完成數據治理工作的目標,采用“統一管理、分散執行、協同推進”的策略。
筆者有幸經歷過這三種模式,起初也是分散式運營,這種模式相對靈活,能夠激發員工的自動性和積極性。比如,有的治理項專業性很強,我們發現商品數據表的數量達到數十億條,且存在大量的無效和過期商品信息,影響正常業務運行。后來經過商品中心團隊分析和治理后,對無效的商品信息進行了清除,同時還釋放了大量的存儲和算力,取得了不錯的效果。
但是當數據規模增大的時候,僅用分散式運營的弊端逐漸顯露。比如,集群的小文件暴增嚴重影響大數據平臺穩定性時,依靠各團隊自行治理顯然不太現實,因為他們都在忙著做數據業務,幾乎不關注這些,所以就必須采取集中式運營模式,由數據治理團隊制定治理目標和計劃,并將治理任務分派到相應的團隊開展治理實施。同時,為了提升小文件治理的效率,數據治理團隊還開發了小文件合并工具,統一為各團隊提供高效支撐。
在聯邦式管理模式中,數據治理組織與多個業務單元協同,以維護一致的定義和標準。在數據治理組織的統一指導和監督下,各業務單元擁有一定的自治權,可以在其領域內做出決策。比如,各業務單元負責的數據業務不同,某些數據字段比較個性化,業務單元可自行制定字段標準,經數據治理團隊審核后即可使用,同時也可以將這些字段標準共享給全公司的業務單元使用。
企業不必過度追求或套用某種模式。
如果有人問筆者所在企業是什么運營模式,其實這三種運營模式前后都經歷過,但最后又都同時存在,實際上采取的是一種混合模式。
不同的治理項采取的運營模式可能不同,合適的運營模式才是最好的。
數據治理運營機制
遵循PDCA循環的科學理念,制定數據治理運營實施機制,確保該機制具備“有計劃、能實施、可評估、促改進”的特點,從而實現企業數據治理可持續長效運營。
所謂“察現狀,診問題。能識別,準定位。能優化,可評估。能審計,可回溯”。
筆者在負責數據治理項目時,都會始終強調立項準備的重要性,這一環節涵蓋了項目背景調研、明確項目目標與價值、界定項目功能、設定項目里程碑、構建項目組織架構、評估項目風險以及制定詳盡的運營方案與計劃等多個方面。
項目目標與價值的明確闡述是立項過程中的核心環節,特別是投入產出比的精準分析,立項責任人需對此進行清晰而有力的說明,以獲得項目組成員及上級領導的一致認可,方能順利推進至立項階段。此環節把關極為嚴格,因為我們要為項目價值和公司成本負責。如果有人想蒙混過關,單純為了立項而立項,這很容易被發現。
此外,治理運營方案與計劃的制定必須條理清晰、切實可行。負責治理運營的同事在項目成敗中扮演著極其重要的角色,他們不僅是實現項目目標與價值的關鍵執行者,更是確保項目平穩運行的最終兜底人。因此,他們肩負的壓力與責任相當重大。
在項目推進的過程中,我們秉持著發現問題、解決問題并持續總結經驗的原則,不斷優化項目執行流程,確保后續的項目開展能夠更加順暢無阻。通過這一系列的努力,不斷提升項目的執行效率與質量,為項目的圓滿成功奠定堅實的基礎。
數據治理分類分級
企業若試圖立即解決所有的數據問題,顯然是不切實際的,而且難以得到領導層支持,因為動作和成本也實在太大了。
鑒于不同的數據治理專項所采用的治理手段及其預期的回報存在較大差異,為了高效利用有限的資源,企業應秉持“集中精力干大事”的原則,優先考慮那些具有高投資回報率(ROI)且至關重要的治理項目。
因此,明確數據治理項目的優先級,集中資源攻克最為緊迫和關鍵的問題,是企業的明智之選。
數據治理項的優先級并非固定不變,而是依據企業當前的數據管理實際需求靈活調整。
舉例來說,筆者曾任職的企業初期側重于數據標準、元數據管理以及數據質量管理等方面的工作。然而,在某一年年底時,集團出于降本增效的考慮,決定暫停所有服務器的采購計劃。但是,數據業務仍在持續增長,導致服務器資源成為最大的瓶頸。
在此背景下,筆者臨危受命,將企業的服務器資源(成本)治理工作提升到了最高優先級,列為P1重大治理項。小文件數量的突增,在未來半年內會導致集群出現故障,故列為P2嚴重治理項。數據標準、元數據管理、數據質量管理等已經有了一定的基礎,并不是特別緊急,列為P3一般治理項。
這時有人可能會想,服務器資源這么重要嗎?實際上,對于真正擁有大數據的企業來說,支撐這些大數據的服務器集群規模是相當壯觀的,其采購成本更是龐大,通常達到億元級別。
一般來說,數據規范治理、數據生命周期管理、存儲資源優化以及計算資源治理等項目,能夠產生顯著的投資回報率(ROI),因此被強烈推薦作為企業數據治理工作的首要切入點。對于數據量不大的企業,集群資源不會太多,其優化治理也是可以緩緩的。
從這些高價值的治理專項工作開始著手,企業能夠更加高效地推動數據治理的進程,為后續更廣泛的數據管理工作構建一個堅實可靠的基礎。
關于服務器資源(成本)治理的實踐案例,可以參考筆者之前撰寫的這篇文章,詳細介紹了在面臨資源瓶頸時如何調整策略,有效提升服務器資源利用效率并控制成本的經歷。
數據治理實施路徑
企業為了更好更快的實現數據治理整體目標,不僅需要具備宏大的戰略視野,還需將其細化為一系列具體、可操作的階段性目標。每個階段都應設定清晰的里程碑,并規劃出詳盡的實施路徑,以確保每一步都朝著既定方向穩步前進。
關于數據治理的實施路徑,企業可以根據數據治理的分類分級體系來制定規劃,也可以參考數據管理能力成熟度評估模型(DCMM)來設計策略,甚至可以將這兩者有機結合,進行全面考量。
無論采取何種規劃方式,所有的治理項都應當滿足以下幾個核心要求:
- 有明確的治理目標和價值
- 有清晰的治理規則和流程
- 有完善的治理方案和措施
通過這樣的分解與規劃,企業能夠逐步擺脫過去那種“頭痛醫頭,腳痛醫腳”的局部應對式治理模式,轉而采取一種更為系統、科學的“步步為營”策略。
確立了數據治理的實施路徑后,企業內各相關部門將能夠大致了解后續工作的配合細節以及人員投入的時間,從而更有效地進行資源協調和準備工作,力求使數據治理活動與數據業務工作之間不產生沖突。
這種轉變不僅有助于提升數據治理的成效,還能促進企業在數據管理領域實現可持續迭代與發展。
數據治理實施方法
每家企業的數據治理實施方法各不相同,歸納起來有兩種常見的方法:運動型治理和項目制治理。這兩種治理實施方法的過程和結果差別很大,相信大部分治理工作者都經歷過運動型治理。
- 運動型治理
企業遭遇突如其來的數據問題時,領導層會迅速集結數據治理團隊與業務單元召開緊急會議,一個個頭上冒汗、心跳加快,力求迅速定位并解決問題,從而恢復數據的正常運作。通過大家的共同努力、日夜奮戰,數據問題總算解決了,終于可以松一口氣了。然而,好景不長,相似的問題似乎總是不斷地重現,迫使團隊再次投入到緊張的應對之中……
這一幕幕的場景,是不是很熟悉?
這種治理模式,我們不妨稱之為“運動型治理”,它的一大特征便是事前管理松懈、事后緊急補救。盡管在短期內,這種治理模式或許能夠迅速顯現成效,但其本質上卻是一種缺乏系統性規劃,或是雖有規則卻難以持之以恒的非常態管理手段。
它往往忽視了長效機制的建立與維護,導致問題難以得到根本性的解決,只能陷入一次又一次的應急循環之中。
- 項目制治理
經歷了治理工作中頻繁的痛苦與挑戰后,有的企業就會開始探尋更為高效與持久的解決方案,這便是項目制治理,數據治理被賦予了持續性與常態化的使命。
為了提升治理效率并有效管控風險,強烈建議數據管理辦公室(DGO)與項目管理辦公室(PMO)緊密協作,一個懂數據治理,一個懂項目管理,搭配起來天衣無縫,共同推動項目的穩步前行。這種合作模式不僅能夠確保項目資源的優化配置,還能促進數據治理工作的有序開展。
在治理項目的統籌與分解過程中,我們倡導專項專辦的原則,同時注重團隊凝聚力的培養。企業可以適時地喊出治理口號,這不僅能夠激發團隊成員的斗志,還能時刻提醒企業人員牢記數據治理,便于樹立全公司的數據治理文化。
例如,筆者曾規劃了一系列數據治理項目,包括“巡湖”工程、“千遷”工程以及“數安”工程等,并總結出了“大數據中心引領,各研發中心協同,PMO配合推進”的治理策略。依據這些口號和總結,公司的數據治理相關人員能夠迅速理解我們所要開展的工作。
“巡湖”工程,是對企業數據湖、數據倉庫進行全面的巡檢和治理。
“千遷”工程,是對企業數萬個Hive任務有選擇性的遷移至Spark計算引擎平臺。如果數萬個Hive任務進行全面遷移,投入的成本和風險都是巨大的,所以優先選擇了算力最高的Top1000個任務,“千遷”名稱便由此而來。
所謂“視場景,擇引擎”,也是來源于這個項目。
項目推進過程中,企業需明確工程目標、界定問題數據的責任歸屬、合理鎖定并分配資源、以及精確記錄工時。這里需要特別強調的是,工時不僅是衡量員工工作量的重要指標,更是確保治理工作得到有效執行的關鍵。
許多企業都通過工時來量化員工的工作成果,無論是員工未填寫工時還是填寫了工時卻未實際參與治理工作,都會帶來不必要的麻煩。
因此,企業必須嚴格管理工時,確保每一分努力都能轉化為數據治理工作的實際成果,工時也是督促各個治理協同方的有力措施。
數據治理實施工具
數據治理涉及眾多專項領域及獨特的治理措施,每個治理專項均要求制定針對性的策略以實現精準管理。在治理實施過程中,應充分發揮線上工具與線下手工治理的各自優勢,根據治理項目的實際需求,靈活選取最優的治理方法。
那么,企業在治理實施過程中,該選擇線上工具治理,還是線下手工治理呢?看完兩種治理方式的比較自然就會有答案。
線上工具治理
通過線上工具的自動化流程、定期巡檢等手段,降低人工操作所帶來的出錯風險,并且能夠節省成本和時間。
一般適合線上工具治理的專項具備以下特征:
- 非緊急治理項
留有時間開發治理工具支撐,減少大量的人工重復操作。
- 治理成本大
治理投入工作繁瑣,操作多個平臺和界面,涉及部門及用戶廣。
- 開展常態化
需要借助系統自動化能力,及時高效的監控、發現問題、解決問題。
- 技術平臺類
與大數據技術平臺強相關的治理項,或已完成開發并正常投入使用的治理專項工具。
另外,采用線上工具治理,也有兩大類方式:
- 數據治理平臺統一治理
適合輕量級、相對統一、與其他平臺關聯較小的治理項,如:數據標準、數據質量、數據生命周期等。
- 原有數據平臺專屬治理
適合與其他平臺關聯緊密的治理項,如:數據任務類相關治理(異常任務、調度優化,還有前面提到的“千遷”工程等),宜放在數據開發平臺治理。
線下手工治理
在短時間內完成緊急治理事項,此時線上工具來不及研發,而線下手工治理效率和成果也不差,那么采用線下手工治理是不錯的選擇。
一般適合線下手工治理的專項具備以下特征:
- 緊急治理項
先線下推進,快速解決問題,如緊急的存儲和穩定性問題。
- 治理成本小
治理投入工作量較少,操作步驟簡便,涉及部門及用戶少。
- 開展短平快
線下拉群、郵件、電話溝通,能短平快完成治理目標的。
- 規范文檔類
規章制度、流程、運營wiki等相關文檔的編寫和完善。
數據管理能力成熟度評估
企業采取“對標找差、以評促建”的策略,可以利用數據管理能力成熟度評估模型(以下簡稱DCMM)作為框架,既可依據此框架自主開展全面自評,深入剖析數據管理各方面的實力與短板,也可攜手專業的評估咨詢機構,進行更為嚴謹、系統的正式評估與官方認證,從而更精準地定位和提升自身在數據管理領域的成熟度水平。
DCMM是我國在數據管理領域首個正式發布的國家標準(GB/T 36073-2018),旨在幫助企業利用先進的數據管理理念和方法,建立和評價自身數據管理能力,持續完善數據管理組織、程序和制度,從而充分發揮數據在促進企業向信息化、數字化、智能化發展方面的價值。
DCMM包含8個數據管理能力域、28個能力項、445項條款,這些條款對每一個能力項進行能力等級判定。八大能力域分別是數據戰略、數據治理、數據架構、數據應用、數據安全、數據質量、數據標準和數據生存周期,這些能力域涵蓋了數據管理的各個方面,從戰略規劃到具體執行,從數據質量保障到數據安全控制,為企業提供了全面的數據管理指導。
數據管理能力成熟度劃分為五個等級,自低向高依次為初始級(1級)、受管理級(2級)、穩健級(3級)、量化管理級(4級)和優化級(5級)。
DCMM評估流程大致分為受理申請(填寫申請書)、合同受理(簽訂合同)、資料收集解讀、現場評估、撰寫評估報告、DCMM專家委員會審核、公示、頒布證書等步驟。DCMM的評估對象既可以是數據擁有方(如擁有大量數據的行業頭部企業、集團公司等),也可以是信息技術服務方(如幫客戶管理大量數據的信息技術服務類企業)。
企業在開展數據管理能力自評估時,可以依據DCMM框架創建在線表格或搭建信息管理系統對評估過程和內容進行管理,內容涵蓋能力域、能力項、編號、度量標準(條款)、符合度、能力子項分、權重、權值、等級得分等,將各能力域的自評估工作分解到企業對應的負責人。各能力域的負責人需基于所分配的條款,主導開展自評估工作。此過程要求他們有效協調并動員該能力域內相關部門的人員,共同參與深入的分析與綜合評估。通過這樣的協同努力,確保評估的全面性和準確性,從而為企業數據管理能力的提升提供堅實的數據支撐和決策依據。
舉例來說,若企業旨在達到DCMM的4級成熟度水平,在數據質量這一關鍵能力域中,負責人需細致剖析以下四個核心能力項:數據質量需求、數據質量檢查、數據質量分析以及數據質量提升。針對每一個能力項,DCMM框架均設定了從1級至5級遞進的度量標準(條款),這些標準詳細描述了不同成熟度級別下企業應達到的管理水平和實踐要求。
對于擬評估4級的企業而言,其關注點應聚焦于3級至5級的條款:
3級條款:代表了企業數據管理能力的穩健階段,與4級的要求緊密相連,因此不能有遺漏。企業需確保在3級標準上已建立穩固的基礎。
4級條款:作為直接對標的目標級別,4級條款要求企業實現數據管理的量化管理。企業需深入評估自身在這些方面的表現,識別差距并制定提升計劃。
5級條款:雖然5級代表了數據管理的最高等級,體現了業界最佳實踐和行業標桿,但對于追求4級的企業而言,這些條款同樣具有重要的參考價值。在某些特定領域達到5級標準的企業,還可能因此獲得額外的加分,從而在評估中脫穎而出。
所以,數據質量能力域的負責人在進行自評估時,應緊密圍繞3級至5級的條款展開深入分析,確保企業在追求4級成熟度的道路上,既鞏固了基礎,又瞄準了前沿,最終實現數據管理能力的全面提升。
能力域負責人必須推動具體能力的提升,并確保與度量標準的一致性。例如,“數據質量管理納入業務人員日常管理工作中,可主動發現并解決相關問題”這項條款,表明業務與數據管理的協同工作是至關重要的,要求業務部門積極參與數據管理,這是提高數據質量的有效策略。
我們再換個方式,從評估機構的視角審視,以“數據質量分析”能力項中的“制定組織層面的數據質量問題評估分析方法,制定統一的數據質量報告模板,明確了數據質量問題分析的要求”條款為例,該條款的關鍵要求是數據質量問題評估分析方法、數據質量報告模板、數據質量問題分析要求三個方面。
直接證據方面,評估機構將重點考察:
數據質量問題評估分析指南:單獨發布的、數據質量問題評估分析指南,作為單獨文件明確了公司所采用的通用的數據質量問題分析方法。
數據質量管理制度:公司正式發布的數據質量管理制度,如數據質量管理辦法等,針對該條款要求在相關管理辦法中明確數據質量問題評估分析的所采用的方法,如根因分析、魚骨分析等。
數據質量報告及模板:實際的數據質量報告是否遵循統一模板,且模板設計是否支持自動生成報告,以提高效率與準確性。
間接證據則包括:
數據質量問題報告:符合數據質量分析要求的遵循數據質量報告模板的,并在數據質量問題報告中體現了數據質量分析方法的具體數據質量報告(需多期)。
數據質量問題分析會議紀要:開展了的數據質量分析會議的會議紀要。
數據質量問題分析方法培訓材料:針對數據質量的培訓內容有所覆蓋,對當前公司所應用的數據質量分析方法進行介紹的相關性文件。
綜合直接證據與間接證據,評估機構將全面評估企業在該度量標準上的實踐成效,確保評估結果的客觀性與準確性,為企業數據管理能力的持續優化提供有力支撐。
許多企業傾向于攜手評估咨詢機構共同推進數據管理能力的提升,這一合作模式不僅加速了企業獲取貫標等級認證的步伐,確保了過程的順暢與高效,而且評估咨詢機構還能精準識別企業的薄弱環節,并提供專業的數據管理能力提升咨詢服務。通過深入的調研分析,評估咨詢機構能夠與企業并肩作戰,共同制定出一套既符合企業實際又高效實用的能力提升方案,從而全方位助力企業強化數據管理。
通過DCMM認證,企業不僅能夠獲得權威的數據管理能力認可,還能促使企業重新審視并優化其數據管理策略、流程和技術架構,進而提升數據價值挖掘能力,為業務決策提供有力支撐。
目前,已有數千家企業通過了不同等級的數據管理能力認證,其中獲得高等級認證的企業中以大型央國企為主。這些企業憑借其深厚的行業積淀和強大的資源支持,在數據管理成熟度方面走在了行業前列。
隨著越來越多的企業加入到DCMM認證的行列中,整個行業的數據管理水平也將得到整體提升,共同推動數字經濟的高質量發展。
數據資產健康度評估
數據資產健康度評估是數據治理成果的關鍵反饋,通過多維評估分數,不僅助于發現數據治理薄弱環節,也是衡量數據治理成果的直接途徑。數據資產健康度評估作為數據治理的持續抓手,有助于確保數據治理的長期穩定和良性發展。
數據資產健康度評估猶如一份詳盡的人體體檢報告,其體系全面而深入地覆蓋了六大核心維度。通過直觀的雷達圖,企業將評估結果生動呈現,使得每個維度的健康狀況一目了然,而且每個維度均可進一步細化,深度下鉆至具體的子項評分,并且不同組織間的評分也能清晰對比。
這樣的設計確保了企業能夠全面、清晰地把握其整體數據資產的健康狀態,為數據管理和優化提供有力支持。
數據資產健康度評估的六大關鍵維度通常包括:
- 規范分
依據數據模型、數據指標、數據任務等元素的規范化定義進行綜合評分,以反映數據治理的標準化水平。
- 質量分
基于數據質量規則的覆蓋廣度與檢查結果的精準度進行評分,以反映數據的準確性與可靠性。
- 安全分
依據數據分級分類的合理性以及數據脫敏措施的有效性進行評分,以確保數據的安全合規性。
- 價值分
依據報表、指標、模型等業務價值貢獻度進行評分,衡量數據對業務決策的支持力度。
- 計算分
依據數據任務執行過程中計算資源的合理利用情況進行評分,促進計算資源的優化配置。
- 存儲分
依據數據存儲資源的占用合理性進行評分,促進存儲資源的優化配置。
數據資產健康度評估體系廣泛覆蓋公司各個層級,從公司整體宏觀視角直至具體部門、項目乃至個人微觀層面,均計算生成了詳盡的數據資產健康分數。
企業通過橫向對比與縱向貫通的健康分機制,不僅生動展現了組織內部數據管理的健康狀態全景圖,還有助于快速甄別數據資產管理的紅黑榜,使得數據治理的重點專項和組織能夠被精準鎖定,進而推動全公司數據治理能力的顯著提升與持續優化。
數據治理評估考核
企業制定完整的數據治理成果評估與績效考核機制,與團隊及個人的利益直接掛鉤,推動數據治理工作從“被要求治理”向“主動治理”轉變。鼓勵各團隊自發地開展數據治理工作,并在全公司分享成功經驗,從而全面提升企業數據治理水平。
企業需要不斷優化和完善數據治理體系,確保數據資產能夠為企業的業務發展提供有力支持。數據治理辦公室(DGO)作為核心監管機構,定期對各團隊的治理成果進行公開評估,并設立紅黑榜制度,以周、月、年為周期進行晾曬。企業通過透明化的評估機制,可以激勵各團隊積極投入數據治理工作,提升整體數據管理水平。
為確保治理成果的準確性和有效性,企業數據管理專員(EDS)應承擔起對各團隊及個人治理成果的跟蹤與監督職責。通過嚴格的監控和評估,確保每一項治理任務都得到有效執行,每一項數據資產都得到妥善管理。這一環節是數據治理成果評估的基石,為后續的績效考核提供了堅實的數據支撐。
在此基礎上,企業能夠實時掌握數據資產的健康變化趨勢,及時發現并解決潛在的數據管理問題。這不僅有助于提升企業的數據質量,還能為業務決策提供更為準確、可靠的數據支持。
所謂“須考核,納監督。有獎懲,必晾曬”。
為進一步強化數據治理的成效,數據治理委員會(DGC)將各團隊的治理成果納入月度績效考核體系,并與薪資掛鉤。這一舉措旨在通過經濟激勵手段,激發各團隊對數據治理工作的重視程度,推動數據治理水平的持續提升。
對于在紅黑榜中表現不佳或績效連續較差的團隊,數據治理辦公室(DGO)將采取一系列大數據相關權益限制措施。包括但不限于限制任務優先級、限制集群資源申請等,以督促這些團隊盡快實施數據治理工作。
例如,在筆者負責實施的大數據集群資源治理項目中,盡管大多數業務單元給予了積極的配合,參與了集群資源的優化縮容工作,但仍有個別業務單元表現出合作意愿不強的情況。這些業務單元在資源縮容方面參與度不高,卻持續提交新增集群資源的申請,這顯然是不會被批準的。甚至對于治理消極的業務單元,還會進一步限制其已有的資源使用。
數據治理成果評估與績效考核體系是企業數據治理工作的重要組成部分。通過這一體系,企業能夠全面、準確地評估各團隊的治理成果,激發團隊的積極性與創造力,推動數據治理水平的不斷提升。
數據治理優化改進
企業的數據治理專項都要進行項目復盤,梳理分析治理過程中出現的各類問題,落實優化改進措施,并將新的改進優化運用到下一個管理周期中,避免重復出現相同問題,助于提升數據治理的效能。
數據治理工作的優化改進通常涵蓋以下六大核心領域:
- 治理策略優化
精細調控治理力度,確保數據治理規則既嚴格又高效。
實施精準定位,選擇TopN關鍵組織作為治理重點,縮小參與范圍以提高治理效率。
- 治理計劃精進
優先推進高價值、高ROI的治理專項,確保資源投入產出最大化。
緊密關聯業務目標,優化整體治理計劃,確保治理行動與業務戰略同頻共振。
- 治理規范革新
對現有制度性文件進行審視與修訂,確保規范性工作與時俱進。
將經過驗證的改善措施標準化、規范化,形成可復制、可推廣的治理模板。
- 團隊協作強化
深化團隊間的協作機制,優化流程,減少溝通障礙。
組織內部培訓與分享會,推廣數據治理優秀案例,提升團隊整體治理能力。
- 治理手段創新
推動治理手段從線下向線上轉移,實現治理過程的線上化、智能化。
實施源頭治理策略,通過預防機制減少同類問題的頻發。
- 治理工具升級
開展用戶調研,了解治理工具的實際需求與改進空間。
監控治理工具核心功能的UV/PV,確保治理工具的有效利用與持續優化。
對于長期存在的問題,制定針對性解決方案;對于反復出現的問題,通過制度修訂加以約束。提煉并固化好經驗,納入長效治理機制,同時廣泛征求建議,解決暫難問題。
針對長期懸而未決的問題,應深入研究并制定相應的解決策略與政策,以期從根本上予以解決。對于頻繁復發的問題,則需通過修訂和完善相關制度,強化約束力度,防止問題再次發生。
企業在實踐中證明行之有效的良好經驗和做法,應及時總結并納入長效管理機制中,以鞏固和擴大治理成果。面對暫時難以攻克的問題,我們應保持開放態度,廣泛征集各方面的意見和建議,集思廣益,尋求最佳解決方案。
此外,還要將本輪數據治理周期中的新改進和新優化成果,積極應用到下一個管理周期中,通過持續迭代和優化,不斷提升治理效能,確保相同問題不再重復出現。
數據治理迭代演進
數據治理運營工作不會一蹴而就,通常會經歷循序漸進的四個階段。在數據治理迭代過程中,應該采取“小步快跑、迭代優化、持續提升”的分步演進策略,并且在運營過程中持續優化。
所謂“治理急,線下先。累經驗,建工具。體系化,智能化。一站式,閉環式”。
數據治理的迭代演進歷程可劃分為以下四個階段:
- 線下手工初探階段
此階段以迅速輸出治理成果為核心目標。通過構建基礎的數據治理組織框架,確立相應的制度和標準流程,企業優先針對緊急且高ROI(投資回報率)的項目進行治理,以精準解決關鍵問題。在此過程中,初步培養了全員的數據治理意識,并勾勒出了未來產品工具的發展藍圖。
- 半工具化過渡階段
隨著數據治理意識的逐漸增強,企業啟動了第二輪治理項目。在這一階段,結合線下手工治理的豐富經驗,開始沉淀并提升工具化治理能力。治理工具逐步落地,實現了線上線下治理的協同并進,進一步提升了治理效率。
- 全工具化深化階段
當數據治理意識趨于成熟時,企業進入了全工具化治理的新階段。此時,企業致力于全面優化治理工具的功能和性能,以最大化提升治理效率。通過全面推進線上治理運營,成功擴大了治理的覆蓋面和影響力,取得了顯著的治理成效。
- 自驅智能成熟階段
最終,企業迎來了數據治理的自驅智能階段。在這一階段,企業形成了濃厚的數據文化,各部門能夠自發地發起和推動治理活動。創新技術被廣泛應用于治理工具中,推動了治理向智能化方向的邁進。團隊間實現了治理能力的共享和快速復制,確保了治理成果能夠在企業內得到廣泛傳播和應用,從而為企業提供了最優的數據治理保障。
常見問題及應對措施
數據治理的推廣確實面臨諸多挑戰,這是眾多企業數據治理工作者頻繁抱怨的難題,筆者對此也深有體會。其中,較為典型的問題包括團隊協作不暢、數據治理標準難以統一以及治理工具難以有效落地支撐等幾個方面。
- 團隊配合協作
數據治理涉及多個職能線和部門,每個職能線和部門都扮演著不同的角色和立場,往往以自身業務工作為優先,因此參與度也有所不同,各業務中心的參與度對于治理效果具有直接影響。
數據治理團隊要能起到牽頭、協調和培訓指導作用,與業務單元建立信任的關系,并真正幫助業務單元解決治理問題。
- 數據治理標準
起初是摸著石頭過河,在短期內完善數據治理規范是一項具有挑戰性的任務,治理項與多個業務、系統和數據相關聯,這三者之間存在復雜的上下游依賴關系,治理規則難以統一。
數據治理團隊需要充分調研業務中心和領域專家意見,結合行業和試點經驗,逐步形成全面、系統的標準化方案。按照內容輕重緩急進行分級分期治理,有標準依據的按標準治理,無統一標準的由專家組和業務方共同制定方案。
- 治理工具落地
由于缺乏統一參考依據,導致業界各主要對標產品在功能、性能和用戶體驗等方面存在差異較大的現象,一步到位形成標準化產品的難度較大。
數據治理團隊需要結合行業案例和治理運營過程中的用戶反饋,逐步完善產品功能和性能,并不斷優化用戶體驗。大部分企業采購成熟的數據治理服務商工具也是不錯的選擇,即使是成熟產品,往往定制化工作也少不了。很多央國企和頭部互聯網企業的數據治理工具,都是根據自身企業的特定需求量身建設,并在持續的項目迭代中不斷打磨和優化,可以說代表了業界的頂尖水平。
據悉,數據易(北京)信息技術有限公司是數據管理和流通領域的專業服務商,是中國電子信息行業聯合會成員、中國大數據標準化工作組成員單位,中國電子信息行業聯合會數據資產管理專委會秘書處單位。公司以促進數據的價值提升為目標,專注于數據管理人員培訓、DCMM能力提升、數據治理咨詢、數據可信流通等領域,致力于幫助客戶打造管用一體、內外結合的數據價值體系。
數據易已成功為電力、通信、金融、能源等多個行業客戶提供DCMM五級、四級和三級項目貫標咨詢服務,對數據質量、數據治理、數據管理能力成熟度評估等數據相關的領域有很深的研究和實踐。數據易推出的數據主人產品,通過精細化數據認責管理、綜合化考評激勵機制、一站式數據主人服務、閉環式運營保障能力,有效解決了企業在數據責任體系中遇到的諸多難題,幫助大型央國企有效夯實數據主人制底座能力,形成了業數協同、源頭治理的常態運轉機制,促進數據主人積極履行職責,并提升了數據治理工作的主動性和高效運營。
值得一提的是,數據易已成功助力眾多行業客戶實現了數據治理的轉型升級,通過其豐富的成功案例和客戶見證,證明了其在數據治理領域的深厚實力和卓越價值。如果您也希望在數據治理方面取得突破,不妨訪問數據易的官方網站(www.easydcmm.com),以獲得更多信息,了解如何借助數據易的力量,提升您的數據治理能力,為企業的數字化轉型和可持續發展注入新的活力。
后記
《數據治理“三字經”,賦能實踐路更明!》
謹以此篇,
致敬過往歲月;
致敬團隊的領導與同事們;
致敬數據治理領域的每一位同仁!
愿能激起思考漣漪,
點亮智慧之光,
為數據治理工作的推廣與普及略盡綿薄之力!
作者介紹
韋真,資深數據治理專家,長期致力于數據治理領域的深入研究與實踐,曾在世界500強企業擔任數據治理負責人,在數據治理領域有著豐富的產品規劃、產品建設和運營實踐成功經驗。著有《數據治理“三字經”》,并發表系列文章。
附:《數據治理“三字經”》全文
最后,筆者獻上精心創作的《數據治理“三字經”》,期望與各位同仁共同探討與交流。“路雖遠行則將至,事雖難做則必成”,數據治理領域的同仁們,一起加油!
詳見解讀版:
另附文字版全文,謝謝各位!
數據治理“三字經” 韋 真 數之初,量本小。猛增長,遇瓶頸。 缺管理,實難控。若不治,隨可崩。 若廣治,懼其繁。治之道,貴以專。 高層挺,強執行。定戰略,樹文化。 建制度,設流程。善組織,齊協作。 責權利,當清晰。凡標準,共遵循。 察現狀,診問題。能識別,準定位。 能優化,可評估。能審計,可回溯。 須考核,納監督。有獎懲,必晾曬。 采存融,管治用。全鏈路,環相扣。 元數據,乃基石。設規則,保質量。 厘血緣,識脈絡。快追蹤,知影響。 數地圖,為核心。呈全景,知分布。 顯流動,明趨勢。攤成本,指方向。 自目錄,至明細。易檢索,助分析。 保安全,促開放。若合規,應共享。 分等級,分類型。嚴授權,護隱私。 建服務,少跑數。棄保姆,來自助。 始源頭,控增量。理價值,降存量。 設周期,常清理。需壓縮,宜存檔。 視場景,擇引擎。去冗余,平峰谷。 治理急,線下先。累經驗,建工具。 體系化,智能化。一站式,閉環式。 工具易,運營難。若有方,皆可成。 |