平安人壽數據管理實踐與展望
隨著人工智能和大模型在金融行業不斷應用,傳統數據治理面臨著新的挑戰,建立高效的企業級數據管理體系,適應新的數據需求,全面展現數據治理工作的價值,成為金融行業和大型企業的熱點話題。我們特別邀請來自平安人壽的王勁松老師為我們分享《平安人壽數據管理實踐與期望》,王老師服務平安人壽 17 年,先后從事數據報表開發、IT 運維、數據管理、項目管理,目前主要負責公司數據治理工作,他將主要介紹平安人壽這一保險行業龍頭企業是如何開展數據管理。
一、平安人壽數據管理背景與挑戰
首先來介紹平安人壽推進數據管理的背景以及面臨的挑戰。
1. 數據管理的外部要求和內部訴求
平安人壽作為金融企業,需服從國家金融監督管理總局、人民銀行等部門的相關準則和監管規定,其中《銀行保險機構公司治理準則》關注董事會對公司的數據治理,《銀行業保險業數字化轉型的指導意見》指導銀行和保險業基于數據資產和數字化技術的金融創新,《銀行保險監管統計管理辦法》在銀行業執行的是 EAST 5.0 標準,保險業也已經是 EAST 2.0 標準,對數據質量和數據管理的要求非常高,監管通過 EAST 報送數據發現企業經營的問題,如果發現問題,會引發處罰。
與此同時,企業內部也需要數據質量更高、更可信的數據,業務部門對數據的時效性、數據報表的上線速度要求越來越高。在成立 30 多年的平安人壽,業務團隊更替頻繁,新加入的業務人員希望更快學習和了解公司的業務,這就需要更便捷和更易用的數據服務體系。
2. 企業數據管理面臨的問題
在數據應用和管理實踐中,由于我們積累了成百上千的報表,業務人員經常會遇到數據找不到、數據口徑不一致的情況,業務、技術的溝通成本相當高。在沒有建立成熟的數據管理體系之前,面對“有什么數據、有多少數據”這樣的問題,無法形成統一、有效的答案,我們往往只能回答一個量級(如 10 PB),或者覆蓋銷售渠道、保單、財務、人事、投資等領域。平安人壽的科技團隊包括業務系統開發、數據系統開發、AI 技術開發,這就需要明確團隊的邊界、職責和協作關系。數據具有流動的特點,可能在不同的系統中有著相同的拷貝,某一個環節出現問題時,經常不知道應該找誰來解決。
3. 數據治理與數據管理的關系
關于數據治理與數據管理的區別,可以通過如下關系圖來理解。數據開發是數據生產端,如個人 APP、保單承保系統,而數據應用則是數據消費端,包括大數據平臺、數據倉庫、BI 報表等。當應用發現原始數據質量有問題,或者要求源系統改進質量、提升效率,或者要求打通數據權限,這就需要通過數據管理機制打通開發到應用的鏈路,類似制造業的生產線管理、庫存管理、質量管理等。
當數據管理的機制無法推進,就需要通過數據治理的介入。數據治理的核心作用包括企業級建章建制、企業頂層設計、打通各部門壁壘、推動流程優化,從而建立公司的數據管理能力。
4. 數據治理面臨的挑戰
在 2020 年接手數據治理時,我們面臨諸多挑戰。
第一,系統和數據庫近千個,數據表十萬級,數據字段千萬級,我們需要進行全面的數據盤點,識別資產,明確質量、安全(分級分類)的要求,可以預見工作量巨大。
第二,面對增量數據問題,不管是業務還是開發,都會積極去彌補,而面對歷史數據問題,相關的責任方因為各種主客觀原因很難全力以赴。如果涉及監管報表的數據問題得不到及時解決,公司將面臨監管部門處罰,團隊壓力巨大。此外,隨著 AI、大模型技術發展,非結構化和半結構化數據相關的應用越來越多,對這部分數據的價值亟需啟動研究。
第三,面向業務交付,會涉及到很多干系人,我們發現問題,無論是通過點狀治理,還是通過典型問題推動全面的治理,都無法保證未來不再出現同類問題,治標不治本。
第四,數據治理和數據工具的工具相對而言是底層工具,在降本的壓力之下,難以得到預算支持。缺乏工具,推進治理工作將面臨非常大的阻力。
第五,意識問題是推動數據治理面臨的最大挑戰,如果崗位職責沒有約定,團隊普遍缺乏認領數據責任的勇氣和主動性。因為數據是技術開發、系統里產生,所以業務人員更容易形成的理解是數據應該由技術團隊負責。
下面,將全面介紹平安人壽的數據管理實踐。
二、平安人壽數據管理實踐
1. 數據管理框架
我們參考中國信通院編制的《數據資產管理實踐白皮書》6.0 版本、國標的 DCMM 數據管理能力成熟度評估模型、國際上通行的 DAMA 知識體系等三個理論建立了平安人壽的數據管理框架。數據管理實施規劃的目標是建立數據資產管理體系,提升數據管理能力,滿足公司數字化轉型和監管的要求,圍繞這個目標,我們開展多項工作,如大家熟悉的元數據、數據標準、數據質量等管理活動,并建立健全企業各項保障機制,共涉及 16 項活動。
在推進落實的過程中,我們數據治理團隊是常態化治理的主責單位,將治理融入業務和技術部門的日常工作中。同時,我們也會推進重點專項治理,以便迅速產出成果。
2. 數據管理活動分類
前面提到的 16 項管理活動,我們將其分為結果類(如數據質量、數據安全和數據價值)、過程類(元數據、數據標準等)和基礎類(保障類活動),這些活動的協同,可以讓數據工作開展起來更容易抓住重點、區分主次。
3. 數據管理組織架構
如果大家看過 DAMA,都知道數據治理是一把手工程,涉及部門眾多。我們在組織層面成立了數據治理委員會,將公司高層全部納入,整體工作向他們匯報,請他們指導。監管部門的要求則是要求董事會給予指導,那么在保險行業推動這個委員會的設立更加順理成章。
數據治理委員會下設數據治理工作組,總部業務團隊有五個中心(事業部),大約 60 多個部門,而科技有八個團隊,為了提高工作效率,由各部門出代表組建工作組,每個代表至少是團隊長級別或部門經理級別,借助他們的力量才能將相應工作往下推。執行團隊中業務和技術都要參與,每個部門至少配置一名資深員工和分組經理,總共 200 多名執行層成員。
4. 數據管理工作模式
組織建立后,要保障組織的運作,需要明確運作模式。DAMA 理論上提出了集中式、聯邦式(或網絡式)、混合式等,我們選擇了“網絡式”,這是因為監管要求我們業務、數據和安全都要落實到人,每個部門要承擔自己的數據管理工作。那么如何來保障這個虛擬組織的有效運作呢?我們通過會議或者督辦機制來推進,設立了面向高層領導的年度匯報、工作組執行的雙月匯報和不定期匯報的三級會議機制。
此外,需要注意的是,在保險公司有很多存在交叉的類似虛擬組織,如信息安全委員會、個人信息保護委員會、企業架構治理委員會等,我們需要將邊界和協作關系理順。
5. 數據管理角色
我們設計了三類角色來保障數據管理工作的有效推動:
- 運動員:各業務和技術部門就是“運動員”,負責提升本部門的數據管理能力;
- 教練員:研究行業最佳實踐,結合本公司特點,思考有效的實施方案和路徑,提出要求并指導“運動員”開展工作;
- 裁判員:監督各部門落實情況,針對各部門管理工作進行考核評價。
6. 數據管理制度
在保險這樣的傳統行業,特別是平安集團,對制度非常看重。沒有制度約束,部門就沒有執行的標準,各部門容易相互推諉。制度的建立也有助于新人學習和掌握公司的要求。我們建立了覆蓋六大域(基礎治理、數據質量、數據安全、數據開發、數據價值、監管報送)的四層管理制度體系,分別是:
- 政策:企業的頂層設計,類似憲法;
- 制度:分領域建立一些通用的要求和規則;
- 辦法:各領域或各部門根據自身管理要求,基于上層制度去制定的具體的實施流程和要求;
- 規范:類似開發規范、命名規范和操作指引這樣的實施指南。
7. 數據確權認責
前面我們提到意識問題,要解決這個問題,就需要將數據的責任分配給對應的業務和技術。在平安人壽,我們設計了一個認責三角形,分別是數據屬主、數據消費者和數據管家。這里八個經驗值得分享:
- 業務與科技角色:業務是屬主和消費者,科技是類似物業的管家。
- 業務和科技的協作角色:數據生產部門是屬主,而類似企劃這樣的分析部門就是消費者;一個部門分析出指標數據,他們是屬主,但是同時也是其他數據(如交易明細)的消費者;科技團隊之間也同樣存在這樣的協作關系,如源系統是屬主、下游是消費者。
- 歷史數據和增量數據認責:面對十萬級別的數據表,千萬級別的數據字段,針對歷史數據和增量數據,需要采取不同的方法。
- 統一認責原則與方法:建立統一的認責方法,然后快速處理,避免簡單要求執行部門去個性化判斷。
- 對數據進行分類。
- 統一識別、分步確認。
- 充分利用組織和高層,推動快速決策。
8. 元數據管理
成功的元數據管理關鍵在于理念,首先要實現集中管理,避免在元數據上出現“煙囪”。其次,要積極完善缺失的元數據,包括監管要求的分類分級信息,同時要考慮將元數據與主數據(產品、客戶等)、指標業務定義等拉通。在“用”這個環節,元數據對應用的支撐意義重大,特別是 ChatBI 這樣的 AI 應用,要將業務自然語言轉換為 SQL 去執行,很大程度上依賴于元數據是否準確。
9. 數據質量管理
質量管理的方法非常成熟,需要注意的是,改進質量的責任在源頭、在屬主,消費者是數據質量的受害者,同時也是數據質量的受益者。當屬主沒有動力去改進質量時,可以通過行政命令、制度約束等第三方監督來驅動,不僅要治標,還要關注治本,要推動責任部門將檢視機制完善,成為日常習慣。這個案例是通過一個專項來提升質量,可以聚焦重點、有價值的數據去保障質量,不是必須對所有的數據同等對待。
10. 數據安全管理
數據安全管理是一項基礎工作,平安人壽的這項工作是在平安的信息安全組織下來保障安全。我們將數據資產盤點出來,并做好分類分級,利用結果執行加密脫敏,最終在應用數據時,要能夠輔助業務和科技判斷數據的安全等級、控制策略。平安有個基本要求,就是敏感信息不出平安,這就是分類分級的一個標簽。
11. 數據能力體系
有效的數據管理,可以將所有數據都開發成企業的數據能力,最終賦能給業務。
12. 數據管理機制加工具
數據管理工作中,機制與工具都很重要。如果單有工具,沒有機制,沒有意識,效果不會很好,阻力也很大,數據管理成效無法凸顯。從科技團隊角度,技術很先進,但是在業務應用卻看不到效果,無法落實。在數據治理初期,機制比工具更重要,先把機制、管理職責、能力強化之后,再配套相應的工具。當大家都接受數據管理的理念后,再輔以工具提升效率,推進的阻力就沒有那么大。
13. 第三方評估
平安人壽從 2020 年開始先推進自我評級,通過幾年的建設,我們 2023 年通過第三方評估獲得 DCMM 4 認證,后續我們的目標是通過第 5 級。第三方能力評級有助于客觀檢驗我們的數據管理工作的優劣,發現短板并及時彌補。
14. 數據中臺專項治理
我們通過一些專項治理不斷提升數據中臺的能力,下圖是我們設計的評估指標。
我們用事前、事中、事后三個角色指導整體工作開展。
我們在大的框架下針對中臺去完善第三層辦法、第四層規范。
做好制度之后,我們秉承平安“制度建在流程上,流程建在工具上”這一文化,將制度和流程落實在工具上,要求大家執行。
最后,我們也會針對中臺的數據,使用 6V 模型進行質量評估,如發現部分質量有問題,會通過專項去提升諸如客戶信息、客戶標簽等公司最核心的指標的質量。
三、平安人壽數據管理展望
1. 非結構化/半結構化數據管理的持續探索
我們前面提到了大量的非結構化、半結構化數據,如何去管理,如何去用好,還需要持續探索。最近頭條上的大模型訓練數據被實習生“投毒”事件引發的損失據說很大,今后大模型應用的數據集如何去管理,需要我們高度重視,逐漸完善。
2. 數據資產化
國家已經提出了數據資產入表,目前我們還是在數據資源化到資產化的階段,未來要走到資本化,讓我們的數據變成企業的數據資產,這也是我們后面的目標。
3. 心得分享
最后分享一些心得。治理一定要先行,這是打基礎的工作,即便領導層目前看不到,我們也需要默默地做好,逐步在數據價值上體現,以質量更高、更準地數據促進企業地工作更有效。數據治理是個長期復雜的工程,建議大家高處著眼、做好規劃,細處用功、指導相關責任方尋找突破點,最后不惜代價解決問題、實處用力。
四、Q&A
Q1:如何形成方案來推動數據治理委員會的成立?
A1:我們去推動成立數據治理組織的時候,強調如下價值點,以便讓領導認為成立組織有必要性:
第一個是外部的要求,如我們金融保險行業有監管的要求,公司必須組建立健全數據治理體系;
第二個是尋找內部能讓領導有感覺的數據問題,如高層領導看到的指標,有業務領導認為指標口徑不一致。
Q2:認責或者認權的過程中,各部門包括戰略、企劃或者其他角色去配合,IT 部門和他們具體是如何配合的?
A2:雖然身在科技,但是我做的事情,但是實際上以公正、第三方的角度去做,不是純 IT 的思想。首先,確立統一的認責方法和原則,然后利用一些專家評判,如果覺得可以操作,就利用這個組織(如我提到的工作組)將要求下達執行。
Q3:處于創業階段的公司,暫時做不到從架構和制度上自上而下做一個頂層設計,目前是從需求和業務側去做一些點狀的治理,還是更適合從第三方去才買一個成熟的治理平臺來指引數據治理工作?
A3:首先關注科技和業務的配合程度、數據問題牽涉的廣度,如果只是一個科技和業務或者幾個業務溝通就可以解決,這就沒有必要使用復雜的平臺,但是如果已經成為普遍現象,就需要去考慮。
其次,完善相關機制,明確利益相關者,比如該監控的必須監控、源頭要做校驗、歷史數據修復策略等等。
此外,關于工具,取決于大家是否接受這個工具,如果你和業務配合很到位,很多問題可以直接快速處理,不一定非要使用復雜流程和工具。平安很大,我們有 50 多個部門,有 10 個開發團隊,且監管對流程要求也比較高,所以使用工具來運行流程、監督流程才有可能提高效率。