01、寫在前面

熟悉筆者的朋友可能知道，筆者之前做的并非純數據相關工作(產品或項目)，筆者屬于半路出家的數據人，之前也幾乎沒有直接接觸過數據倉庫、數據中臺、數據平臺等產品或項目，與數據庫是一直打交道。要說真正與數據結緣，那得從16年8月起說起，當時因公司某些產品基于傳統關系型數據庫與一些開源數據倉庫產品(如InfoBright)跑一些功能遇到了瓶頸——實在是跑不動。

當年臨時從外地出差項目組抽調回北京公司總部，從0基礎開始研究開源Hadoop+Hive+Spark[-SQL]+ES集群環境的搭建，到與產品進行整合，最后就是用一些淘汰的PC服務器和精簡的Hadoop相關套件搭建起集群解決了當時跑不了、跑不動、跑不完等痛點，也算是小有成就。

期間，遇過不少難題，走過不少彎路，掉進過不少坑，感謝這次機會，讓筆者與數據結緣，之后所做之事就沒離開過數據，路雖難，行則至;事雖難，做則成!

02、現狀描述

早些年的數據項目大多數是以“XXX數據質量校驗”、“XXX數據分析平臺”、“XXX大數據項目”等常見的名稱進行立項，而近些年多以“XXX數據治理項目”進行立項，叫啥不重要，其實所做之事基本上與前面的差不多，無非就是數據采集、數據清洗、數據加工、數據質量、數據建模、數據挖掘、數據分析、數據共享、數據應用、數據展現(可視化、BI、報表、大屏)，幾乎都是短平快的項目，幾乎也都是基于理想化的前提下進行項目實施，而最具價值的交付成果往往是“大屏”，其實項目目標也是實現了的，也算是MVP，但從長遠角度考慮，還是遠遠不夠的，后續可能會有很多推倒重來的沖動，而又會顧慮前期的“工作成果”而不停妥協。

受限于資源與成本(預算)，很難有精力去考慮或沉下心規劃更高、更深層次的東西，諸如：數據管理戰略、數據管理框架、數據管理文化、數據管理組織、數據生命周期，及元數據管理、主數據管理、參考數據管理、數據安全管理等……學過DAMA-DMBOK2知識體系的都知道，萬變不離其宗，基本市面上絕大多數與數據治理相關的產品都是基于其知識體系所構思和設計研發的，但是上一套這類系統是否就能徹底解決數據治理相關的問題了呢?

DAMA-DMBOK2數據管理框架(DAMA車輪圖)

DAMA車輪圖演變

或許大家都有思考，但是基本上思考這些問題的人往往只有IT部門+外包服務廠商的人員，業務部門的人員參與較少，也缺乏強有力的“一把手”牽頭，部門墻、數據孤島、數據煙囪該存在還是存在。

03、現狀問題

一、從數據來源方面看

有數據標準卻很難執行，無數據標準則更是頭疼。

大部分數據來源于外部(下級機構、平行部門、其他第三方)，源頭不可控，源頭數據質量很難提前預判。

二、從數據處理方面看

缺乏數據處理基準、標準、原則和流程，摸著石頭過河，偶爾搬起石頭手滑也會砸到自己腳，這些都是常態。

數據處理過程中，通常很難提前知道數據質量的問題，大部分是做一點冒一點，發現一個反饋一個，發現問題的反饋路徑和流程過于繁瑣，或上游也很難在短期內改正，甚至改不了。

三、從數據使用方面看

按照既定需求提供的數據并不能達到預期的使用效果，不是數不對，就是數不準，問題根源很難找到并解決。

下游用數需求無法很好的確認，有的需求變更或新增需求的提出，現有數據無法滿足，需要從多方源頭重新找數。

四、從其他方面看

時間緊，任務重，相關方支持配合不到位，臟活累活很難被認可，能很快看到漂亮的成果(大屏)，但很難看到漂亮的結果(數據)。

工欲善其事必先利其器，而“器”不光指“工具”或“系統”，筆者認為，數據治理類項目，人最為重要。

04、解決思路

在筆者所處角色來看，以上很多問題是一個死結，一己之力根本解不開，但筆者堅信，隨著時間的沉淀，一定會有轉變的，數據治理的項目也會越來越“好做”。

化繁為簡，一開始不用投入那么多人員，而是組建一個小團隊，先把數據一點一點梳理清楚、探查明白，而不是學著別人先做什么組織上的變革，成立什么委員會、辦公室等新組織，大家都很忙，這種事情根本不現實。

實在不行，咱也學學別人，立個純咨詢項目，專業的事情交給專業的人去折騰，那么問題來了，外來的和尚真的更會念經?

從源頭抓起，有很多工作根本不需要通過數據治理工作去解決，絕大多數問題都是上游系統的設計不合理或BUG造成，如果是內部數據，可以嘗試從上游系統開始下手，該改設計改設計，該修BUG修BUG，總比在數據治理過程中處理要靠譜，治標不治本，成倍耗成本，畢竟上游系統肯定需要一直用，有問題也得改，倒不如前人栽樹后人乘涼，都是自己人，遇事好商量。

05、寫在最后

都說數據治理項目是“一把手工程”，是“永不交鑰匙工程”，一把手真的比門把手都忙，先想想：

咱真的需要進行數據治理嗎?

見過一些系統，還沒設計/開發呢，就要求出具針對該系統的數據治理方案，前瞻性有必要這么前瞻嗎?咱好好開發系統，后面直接來個簡單的數據抽取入倉進湖不是更好嗎?非得經過復雜的ETL過程才顯得數據更具價值?

• 咱該如何做好這類產品呢?
• 咱該如何做好這類咨詢項目呢?
• 咱該如何做好這類實施項目呢?
• ……

編者按：本文作者志明，IT&DT從業十余年，主要關注數據管理、數據治理、數字化轉型、項目管理等相關領域，擁有CDGP、CDGA、PMP、IPMP等認證。