滴滴國際化出行場景指標體系建設
一、國際化出行的業務場景
首先分享一下滴滴國際化出行業務的背景。
1. 國際化出行的業務背景
國際化出行業務具有一些鮮明的特點,首先,其范圍覆蓋全球五大洲,包括亞洲、歐洲、美洲,大洋洲和非洲,橫跨全球 15 個時區。同時,受到各國國情的差異化、網約車競爭對手以及不同國家發展階段的影響,網約車業務變化非常迅速。業務側也適配了一些新的產品品類,來支持國際化市場的差異。
技術側采用中臺模式,建立了全球一套系統和一套數據源,同時公司運營遍布全球,各地均需要按當地時間看到數據,這是全球業務跟國內業務最大的差異點。因此,指標數據生產需根據不同的時區產出以便消費。
2. 國際化指標使用場景
數據側主要是通過指標來刻畫業務場景進行反向賦能。我們產出的指標大致可以分為三大類:
- 決策指標:
主要是公司層面和業務層面的戰略核心目標。主要用于指導戰略層對業務做出決策。
- 過程指標:
主要是對戰略指標的一系列拆解,幫助運營對業務監控,實現策略的快速調整,最終達成戰略指標的目標實現。
- 觀測指標:
主要是幫助分析師和業務人員進行業務洞見和發掘。精準判斷整個業務走勢拐點,從而支撐整體業務的后續發展方向。
還有特征標簽,為業務提供人群圈選能力,并為算法提供基礎數據支持。幫助運營制定快速投放策略,最終達成精細化運營目標。
二、國際化業務場景指標建設痛點
- 定義難
作為數據主要消費方的運營在海外,他們各自所處國家間的市場差異巨大,所需求的數據分析指標也千差萬別。各自對數據指標的理解也不一致,計算口徑非常多。因此,為數倉的指標生成帶來了較高的成本。
- 技術難
國家化場景需要數據指標按照各國當地時間產出,這凸顯了數據時區性要求,無形中也加大了數據產出的成本。
- 管理難
很多公司都有相對成熟的指標管理方法,但實際落地卻很難,究其原因是由于指標管理與模型建設相對割裂。大部分指標管理模型建設時期,容易出現時間周期或人員輪換影響指標的變化,又與模型迭代缺少聯動,最終難以保證指標口徑的一致性。另外,指標生產需求往往單點對接,單方驗收,極容易出現不同數據指標重復建設,也容易造成指標口徑的不一致。
- 評估難
主要體現在指標變更時,很難評估對下游數據使用的影響程度,導致指標口徑一旦發生變更,下游很難完全感知。
- 保障難
在跨國家多時區的業務背景下,對數據產出質量和產出積極性的保障成本異常高。
三、國際化業務場景的指標建設方案
指標建設解決方案重點從建立組織、建立流程、模型設計、指標工具和指標治理等 5 個維度闡述,基于當下的國際化業務場景實際,需要體系化地建立數據指標體系,從而有效解決以上痛點問題。
第一點建立組織,是要保障整個指標生產全鏈路的權責一致性,每個環節各司其職。第二點建立流程,目的是保證該組織上人員能快速出現,提升整體生產效率。第三點模型設計,重點解決模型建模方法論和多時區痛點,提升建模速度,支撐指標建設效率。第四點指標管理工具,是通過整體性串聯,搭建整個現代化指標體系,建立指標生產的標準化平臺。第五點指標治理,目的在于保證生產穩定性和產出成本。
1. 指標建設方案——建設組織
指標生產組織的主要成員包括數據分析師、數據產品、數據開發和數據平臺工程師。
數據分析師,主要通過業務理解定義全球的業務指標體系,確保同一個指標在全球的唯一性,同時通過指標去洞察業務表現,幫助業務進行相關的數據分析。
數據產品,著重對現有指標進行統一管理,并通過指標分析體系,最終根據業務場景形成符合需求的數據產品。
數據開發工程師,側重做數據模型設計和指標開發,并對指標生產成本、數據安全,進行統一治理和集中管控,如此保證數據質量的標準化落地。
數據平臺工程師,旨在建立標準化的一站式數據開發和指標管理平臺,提供實時、離線多業務場景的數據產出能力。
2. 指標建設方案——建設流程
如何將以上各生產環節有效串聯,需要一整套規范化的建設流程,主要包含指標轉化階段、指標開發階段和指標交付驗收階段。
(1)指標轉化階段
數據需求方主要來自于業務產品、運營、分析師和算法,他們都會有大量的指標訴求,通過指標來監控實際的業務行為表現。
需求轉入后,首先是數據分析師對訴求的指標口徑進行定義,判斷這個指標口徑是否符合已經建立的業務數據刻畫標準。隨之數據產品會借助指標管理平臺進行統一管理,判斷是否為已有指標還是新增指標,如是新增則需迭代指標管理版本。同時,指標管理工具會自動生成一個 PRD 方案交付開發,經評估后會產出整個指標交付排期。
(2)指標開發階段
指標開發階段著重指標數據產出,并進行整體監控配置,包括及時性、準確性。
(3)指標交付驗收階段
驗收分為分時驗收和指標產品驗收兩部分。前者是確認這個指標是否符合當前的業務場景特點,是否與業務階段吻合。后者,是保障產出的指標是否滿足看板訴求,由此形成整體的生產交付流程。
3. 指標建設方案——數據架構頂層設計
接下來介紹最核心的部分,數據指標模型的設計思路。它涉及模型頂層的架構設計,結合指標管理的方法論確保全局指標唯一性,同時兼顧指標管理拆解路徑,提升整體指標生產效率。
首先,需要區分業務板塊,劃清單個指標歸屬哪個業務線,這是整體概念的分割。具體板塊就是所屬數據域,例如出行項目,會按照出行的業務過程拆分多個域,有交易、財務、司機、乘客等,目的是為了確保單個指標在業務過程中的唯一歸屬。
其次,運用逐層拆解法,拆解出原子指標,派生指標。原子指標是根據具體業務過程,加上度量,生成原子指標,并在此基礎上加上修飾詞和時間周期形成基礎指標。
再者,是計算指標。通過對基礎指標進行計算生成計算指標。其中的核心概念點是指標歸屬劃分,它決定了指標是否重復建設問題。例如,某一指標同時在司機域和交易域生產,可能會導致指標名稱一樣而口徑不同。為避免這種情況,可利用一套生產原則,即業務原子指標,進行業務過程的數據域劃分歸屬。對于基礎指標,根據所分析的對象進行歸屬,對于計算指標,根據所在的數據運行劃分歸屬。實行這一套原則有利于指標在數倉建設中保持唯一性產出,不會出現重復性問題。
4. 指標建設方案——模型架構
指標模型的構建框架共分為 5 層。
第一層貼源層,主要是一些業務數據、后端日志和埋點數據。
第二層事實明細層,細分為數據清洗、業務過程還原、原子指標封裝、修飾詞封裝和度量標準化,重在保證生產的穩定性。
第三層核心指標加工層。針對最細顆粒度的分析實體,做指標的快速拼裝,靈活擴展成大量的基礎指標。
第四層主題分析層,旨在針對整體中間層的聚合,可以跨多個數據域形成系統性指標集。實現指標的多維度聚合,快速服務整體業務,建立多種業務場景的數據指標支撐。
第五層應用層,包含數據產品、數據看板和 API 接口、特征平臺等等。
下面通過一個實例來說明指標生產的底層組件化能力。
例如基于事實明細層,現有訂單事實表和司機審核事實表 2 個模型,主要以訂單為主鍵記錄了業務過程。基礎原子指標會封裝成當日是否完單、是否改派標識、計費距離和維度指標業務線。在司機審核事實表模型中記錄分析對象司機 ID 以及原子指標是否當日審核通過。在中間層會進行指標的快速拼接,增添修飾詞,封裝成基礎指標,如當日改派的完成訂單數(交易域),當日完成訂單審核通過的司機數(司機域)。由此加強了底層模型的復用性,達到指標層的多維聚合能力。
5. 指標建設方案——時區解決方案
下面著重介紹國際化多時區場景下,基于一套數據源支持所有國家的運營,并按照當地時間生產數據的解決方案,共分為三部分:模型分層,生產鏈路和模型設計。
(1)模型分層
模型分為應用層、主題分析層、指標加工層、事實明細層、貼原層和小時轉天層。其中小時轉天可以理解為由于數據源來自北京時間生產,計劃安排每個小時采集一次數據,通過國家組和時轉天工具將每個小時采集的數據轉化成適配 local 當地時區的數據,這是最核心的部分。
(2)數據生產鏈路
核心是基于一個 SDK 時區服務,記錄對應國家所在時區的北京時間拼表。同時 SDK時區服務,會生成對應國家時間的轉換函數,主要記錄當地時間和北京時間的轉換。基于這個時間函數實現了國家組和小時轉天的工具化,國家組是針對全球每隔經度15° 劃分成的 24 個時區,將臨近的 2 個時區編至同一國家組。例如有 4 個國家組,一個調度任務會按照國家組同時生成多個批次,全球使用一份腳本適配全球所有的批次,并根據時間函數判斷當地時區,決策當地國家對應時區幾點開始調度和執行。
小時轉天的處理原理是基于 ODS 數據源層每小時采集的數據,根據當地時間轉換為天,由此判斷出從幾點到幾點代表當地國家完整的一天24 小時。
通過以上工具轉化合成當地的新時間分區,最終形成一套針對于不同國家不同時區的生產鏈路能力。
(3)模型設計
ODS 數據源層按北京時間每小時采集,中間層部分所有表,全部按照local 當地天采集,進入雙分區體現為 country code 顯示對應分區是哪些國家,同時還會標記 2 個字段來標注各個國家的時間轉換。最終達成利用一套數據任務,可靈活支持全球多個時區的國家垂直數據產出。
6. 指標建設方案——指標管理工具
我們擁有整套指標管理工具,代表了指標體系建設的標準化能力。
左邊是指標需求的具體流程,包含指標需求、指標梳理、指標錄入、指標開發和指標上線。中間是指標加工生產的工序工具,主要解決兩點,一是實現指標管理現代化和標準化,二是打通指標生產全年度的血緣關系。
(1)指標管理具體落實點
首先需確定指標所對應的業務板塊,歸屬于哪個業務過程,哪個數據域。對應到模型中即為事實層,再加入一些修飾詞和維度屬性,即對應模型中的維度表,從而實現具體指標對應捆綁關系。通過錄入指標系統生成唯一指標 ID,再通過原子指標和修飾詞,進而組成一個基礎指標唯一 ID。這樣就能保證指標生產的整個力度完全打通。
(2)指標方法論跟模型設計的血緣串聯
保證指標用戶能快速找到指標源數據和口徑管理,以及指標對應的表和具體字段。
最后,整個指標管理工具再結合其他產品工具,例如數據開發工具、看板工具和數據建模工具等等,將指標生產全流程搬至線上,形成標準化指標生產體系。
7. 指標建設方案——指標治理
數據治理主要包含三大塊,準確性、及時性和歷史的完整性。
鑒于指標體系龐大的量級,如果所有的標準適配所有等級的指標,其保障成本高、人效也低,因此需要實施分等級的保障工作。
(1)對于 T1 級核心決策指標,主要支持公司戰略層,對于準確性進行強管控,包含指標掉 0 監控、指標波動監控和雙鏈路一致性監控。
- 第一,準確性。主要有指標掉 0 監控,通過強熔斷,電話報警方式進行監控。指標的波動監控,例如平時的完單量突然超過了 100%,會員翻倍了,那么此時采取人工記錄,判斷是否是指標加工問題還是業務發生變化所致。雙鏈路一致性監控,為了確保指標生產中間層準確,我們會按照模型分層加工核心指標,同時會在數據源 ODS 層另一條鏈路加工相同指標,由此確保兩個指標雙鏈路生產是完全一致對應的。
- 第二,及時性。提供了基線保障(SLA)、資源傾斜、運行時長監控。主要通過鏈路監控,電話報警的方式進行。
- 第三,歷史完整性。側重于指標生命周期永久性角度監測。
(2)對于 T2 級過程指標,最核心的是基線 SLA 保障,側重于過程監控。
- 第一,準確性。主要實行指標掉 0 監控、指標波動監控,通過弱監控,電話報警方式進行。
- 第二,及時性。實行基線保障(SLA),運行時長監控,主要通過鏈路監控,電話報警方式進行。
- 第三,歷史完整性。側重業務需要監測業務同去年同比狀態,保留了 1800 天。
(3)對于 T3 級觀測指標,主要幫助分析師做業務上的數據挖掘,對指標及時性要求較低,屬于長周期的挖掘事項。
- 第一,準確性。主要是指標掉 0 監控,主要通過弱監控,短信報警方式進行。
- 第二,及時性。主要是運行時長監控,主要通過定時監控,短信報警方式進行。
- 第三,歷史完整性。主要在指標使用熱度方面進行監控。
(4)對于標簽部分,側重于運營層面運用標簽實現快速投放提升整體運營投放質量。
- 第一,準確性。主要是指標掉 0 監控,降級方案監控。主要通過弱監控,電話報警方式進行。
- 第二,及時性。主要是進行運行時長監控,定時監控方式。主要通過定時監控,電話報警方式進行。
- 第三,歷史完整性。主要側重于對標簽使用熱度進行監控。