一、B 站的用數(shù)場(chǎng)景及數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)的概況介紹

B 站大數(shù)據(jù)開(kāi)發(fā)治理平臺(tái)歷經(jīng) 5 年建設(shè)，目前包含數(shù)據(jù)集成、數(shù)據(jù)開(kāi)發(fā)、數(shù)據(jù)治理、數(shù)據(jù)安全、數(shù)據(jù)分析等多個(gè)模塊，服務(wù)于公司各個(gè)業(yè)務(wù)部門。

B 站數(shù)據(jù)平臺(tái)的使用者覆蓋了 60% 的員工，其面向的用戶群體主要是技術(shù)開(kāi)發(fā)、產(chǎn)品、運(yùn)營(yíng)、算法工程師、分析師、數(shù)據(jù)開(kāi)發(fā)等。通過(guò)對(duì)用戶的數(shù)據(jù)能力進(jìn)行分層，我們可將數(shù)據(jù)平臺(tái)的用戶大致區(qū)分為高階開(kāi)發(fā)、中階用戶、數(shù)據(jù)小白等 3 個(gè)用戶群體。

基于用戶分群，我們提出了數(shù)據(jù)平臺(tái)的產(chǎn)品定位：專業(yè)，門檻，標(biāo)準(zhǔn)化，閉環(huán)。

• 專業(yè)：數(shù)據(jù)平臺(tái)需要滿足專業(yè)的數(shù)據(jù)開(kāi)發(fā)及分析訴求，提升數(shù)據(jù)供給效率。
• 門檻：數(shù)據(jù)平臺(tái)需要滿足產(chǎn)運(yùn)等用戶低門檻的建數(shù)、用數(shù)、取數(shù)要求。
• 標(biāo)準(zhǔn)化：數(shù)據(jù)平臺(tái)需要快速滿足多業(yè)務(wù)、各部門不同的數(shù)據(jù)訴求，功能既要通用，也要足夠靈活。
• 閉環(huán)：數(shù)據(jù)平臺(tái)在 B 站也是數(shù)據(jù)中臺(tái)，我們同時(shí)承擔(dān)了數(shù)據(jù)運(yùn)營(yíng)、成本治理、規(guī)范約束、質(zhì)量監(jiān)控等管理角色，因此平臺(tái)需要替業(yè)務(wù)完成數(shù)據(jù)從入倉(cāng)、生產(chǎn)、運(yùn)維、治理等流程的全閉環(huán)。

根據(jù)不用的業(yè)務(wù)場(chǎng)景和用數(shù)訴求，平臺(tái)主要包括數(shù)據(jù)生成、數(shù)據(jù)消費(fèi)、數(shù)據(jù)管理三大場(chǎng)景，分別提供相應(yīng)的數(shù)據(jù)服務(wù)。

本文將重點(diǎn)介紹數(shù)據(jù)地圖和數(shù)據(jù)治理產(chǎn)品的設(shè)計(jì)。

二、基于價(jià)值體系的數(shù)據(jù)地圖產(chǎn)品建設(shè)

1、數(shù)據(jù)運(yùn)營(yíng)的痛點(diǎn)

面向多業(yè)務(wù)的數(shù)據(jù)中臺(tái)團(tuán)隊(duì)或數(shù)倉(cāng)團(tuán)隊(duì)，當(dāng)模型基數(shù)較大時(shí)，往往會(huì)面臨數(shù)據(jù)運(yùn)營(yíng)難的痛點(diǎn)。如何通過(guò)數(shù)據(jù)平臺(tái)，結(jié)合數(shù)據(jù)內(nèi)容的建設(shè)，解決用戶找數(shù)用數(shù)痛點(diǎn)，是數(shù)據(jù)運(yùn)營(yíng)產(chǎn)品的核心目標(biāo)。隨著模型規(guī)模的快速增長(zhǎng)，我們從 20 年開(kāi)始，也逐漸面臨數(shù)據(jù)運(yùn)營(yíng)難的痛點(diǎn)。數(shù)據(jù)運(yùn)營(yíng)的痛點(diǎn)是分階段暴露的：

2、數(shù)據(jù)運(yùn)營(yíng)的解決方案

針對(duì)上述痛點(diǎn)，我們提出了一套解決方案：完善產(chǎn)品功能體系，推動(dòng)數(shù)據(jù)運(yùn)營(yíng)體系的建設(shè)，建設(shè)數(shù)據(jù)模型的評(píng)估能力。

3、數(shù)據(jù)地圖產(chǎn)品建設(shè)

數(shù)據(jù)地圖是一個(gè)基于元數(shù)據(jù)的數(shù)據(jù)門戶，它能夠幫助用戶更好地理解和管理數(shù)據(jù)資源。作為一個(gè)企業(yè)的數(shù)據(jù)中心，數(shù)據(jù)地圖具備多種功能，包括數(shù)據(jù)檢索、元數(shù)據(jù)詳情、數(shù)據(jù)預(yù)覽、數(shù)據(jù)血緣和數(shù)據(jù)管理等。這些功能的存在，有效地提升了用戶的找數(shù)效率，降低了數(shù)據(jù)理解難度，也降低了使用門檻。

通過(guò)完善洞察推薦、全文檢索、類目體系、數(shù)據(jù)畫(huà)像、UGC 及 API、數(shù)據(jù)專輯、數(shù)據(jù)血緣、影響分析等八大產(chǎn)品矩陣，能夠滿足用戶在找數(shù)、用數(shù)、數(shù)據(jù)理解、數(shù)據(jù)治理、數(shù)據(jù)推廣等不同場(chǎng)景下的使用訴求。

4、數(shù)據(jù)運(yùn)營(yíng)方法

基于數(shù)據(jù)地圖產(chǎn)品體系的迭代，沉淀了一些數(shù)據(jù)運(yùn)營(yíng)方法。

• 點(diǎn)(用戶)：1V1 標(biāo)準(zhǔn)化

采用線上和線下的 1v1 方案針對(duì)問(wèn)題進(jìn)行答疑和解惑，使用工具咨詢或者解決數(shù)倉(cāng)相關(guān)問(wèn)題。

• 線(業(yè)務(wù))：周期節(jié)點(diǎn)化

定期線下結(jié)合數(shù)據(jù)內(nèi)容對(duì)運(yùn)營(yíng)同學(xué)進(jìn)行培訓(xùn)、訪談以及工具的普及。

• 面(平臺(tái))：1VN 體系化

將點(diǎn)和面的問(wèn)題及解決方案進(jìn)行記錄，通過(guò)平臺(tái)進(jìn)行沉淀，并體系化地反饋給業(yè)務(wù)方。

通過(guò)點(diǎn)線面結(jié)合的運(yùn)營(yíng)方法，結(jié)合線上和線下的運(yùn)營(yíng)策略，形成了 B 站的數(shù)據(jù)運(yùn)營(yíng)方案，同時(shí)從數(shù)據(jù)價(jià)值、用戶指標(biāo)、用戶訪談、定期調(diào)研四個(gè)評(píng)估體系，能夠更有效的完成策略和效率提升。

5、評(píng)估數(shù)據(jù)價(jià)值

經(jīng)過(guò)產(chǎn)品功能迭代和運(yùn)營(yíng)體系化建設(shè)，已經(jīng)可以很好地引導(dǎo)用戶找數(shù)、用數(shù)，但是我們發(fā)現(xiàn)眾多的數(shù)據(jù)模型，仍無(wú)法讓業(yè)務(wù)有“模型建設(shè)得好”的感知，為了更好地衡量數(shù)據(jù)價(jià)值，對(duì)模型進(jìn)行 ROI 評(píng)估，驅(qū)動(dòng)良性的模型運(yùn)營(yíng)和數(shù)據(jù)建設(shè)，構(gòu)建了模型價(jià)值評(píng)估體系。通過(guò)衡量數(shù)據(jù)價(jià)值，能有效提升業(yè)務(wù)的數(shù)據(jù)認(rèn)可度，基于此可建設(shè)數(shù)據(jù)推薦策略、數(shù)據(jù)開(kāi)發(fā)價(jià)值評(píng)估、模型的管理策略和治理策略。

6、數(shù)據(jù)價(jià)值計(jì)算

根據(jù)數(shù)據(jù)價(jià)值，設(shè)計(jì)了模型價(jià)值分。數(shù)據(jù)應(yīng)用場(chǎng)景主要包括數(shù)據(jù)查詢熱度、ETL 引用情況、API 引用情況、BI報(bào)表熱度、數(shù)據(jù)應(yīng)用使用情況、出倉(cāng)業(yè)務(wù)場(chǎng)景熱度。價(jià)值元素主要包括內(nèi)部人效、外部基線等級(jí)、外部數(shù)據(jù)質(zhì)量、安全等級(jí)、數(shù)據(jù)新鮮度等方面，根據(jù)不同場(chǎng)景和不同因素進(jìn)行份子權(quán)重設(shè)定，并通過(guò)產(chǎn)品化方案，更有效地支持多業(yè)務(wù)自定義數(shù)據(jù)價(jià)值。

7、數(shù)據(jù)地圖效果展示

以下是具體場(chǎng)景下的產(chǎn)品功能展示：

• 找數(shù)場(chǎng)景

包括元數(shù)據(jù)展示、標(biāo)簽展示、用戶洞察、數(shù)據(jù)專輯功能等功能。

• 用數(shù)場(chǎng)景

主要集中在表詳情頁(yè)的功能，提供了豐富的應(yīng)用功能，包括基本信息、業(yè)務(wù)信息、存儲(chǔ)信息、標(biāo)簽等。

• 血緣&影響分析

基于血緣數(shù)據(jù)，沉淀了血緣地圖和歸因/影響分析兩個(gè)產(chǎn)品。血緣地圖提供手動(dòng)探查、可視化分析、鏈路分析的功能；歸因/影響分析功能提供基于血緣的向上和向下的數(shù)據(jù)聚合分析的功能，主要針對(duì)下游數(shù)據(jù)異動(dòng)快速定位問(wèn)題、口徑變更對(duì)基線的影響的問(wèn)題，提供批量血緣查詢、信息聚合、拉群和通知的功能。

產(chǎn)品功能、數(shù)據(jù)運(yùn)營(yíng)體系、以及數(shù)據(jù)價(jià)值評(píng)價(jià)三方面的建設(shè)，為數(shù)據(jù)運(yùn)營(yíng)帶來(lái)了顯著提升。經(jīng)過(guò)迭代，數(shù)據(jù)地圖滲透率從 30% 提升到 60% ;推薦表熱度提升 40%，用戶評(píng)價(jià)提升 33%。同時(shí)數(shù)據(jù)價(jià)值被業(yè)務(wù)認(rèn)可，價(jià)值分 Top 熱度提升 20%，用戶能找好數(shù)，用對(duì)數(shù)，數(shù)據(jù)建設(shè)價(jià)值可被衡量和評(píng)估。

三、基于抽象配置的數(shù)據(jù)治理產(chǎn)品建設(shè)

在 B 站，表和任務(wù)以每半年翻倍的速度進(jìn)行增長(zhǎng)。從 22 年開(kāi)始，我們關(guān)注到數(shù)據(jù)治理需要以更高效的方式進(jìn)行推進(jìn)和落地，因此提出了用 B 端產(chǎn)品化的思路針對(duì)數(shù)據(jù)治理方案提供的通用治理工具，以高效解決數(shù)據(jù)治理問(wèn)題。

1、建設(shè)背景及產(chǎn)品架構(gòu)

在業(yè)務(wù)快速發(fā)展期間，數(shù)據(jù)資產(chǎn)增長(zhǎng)較快、資產(chǎn)管理混亂，數(shù)據(jù)治理工作往往迫在眉睫。通常數(shù)據(jù)治理工作有如下痛點(diǎn)：

• 數(shù)據(jù)治理入手及落地難，操作和流程無(wú)法指導(dǎo)
• 運(yùn)動(dòng)式,治理工作不可持續(xù)
• 治理成效的可視化不足
• 治理不到人，權(quán)責(zé)不分明
• 運(yùn)營(yíng)成本高，消耗人力

從數(shù)據(jù)成本、數(shù)據(jù)規(guī)范、數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全四大方向入手進(jìn)行治理。治理中心的產(chǎn)品框架主要由管理運(yùn)營(yíng)、治理配置& 應(yīng)用、基礎(chǔ)數(shù)據(jù)模塊組成。以元數(shù)據(jù)為基礎(chǔ)數(shù)據(jù)，基于靈活配置，提升治理效果。

2、數(shù)據(jù)治理運(yùn)營(yíng)機(jī)制及工作流程

結(jié)合數(shù)據(jù)委員會(huì)、治理工具、運(yùn)營(yíng)機(jī)制三個(gè)方面，逐漸形成了一套持續(xù)可執(zhí)行的治理運(yùn)營(yíng)流程。治理工作推進(jìn)流程采用策略線上 POC->數(shù)據(jù)委員會(huì)發(fā)布->策略上線的新流程，對(duì)比之前流程有很大的改善。

3、B 站治理運(yùn)營(yíng)的推進(jìn)痛點(diǎn)和訴求

在 B 站，數(shù)據(jù)治理運(yùn)營(yíng)的痛點(diǎn)主要有三個(gè)方向：治理的資產(chǎn)對(duì)象多、資產(chǎn)的操作路徑特殊、存量問(wèn)題資產(chǎn)多，增量快。

4、治理工具的解決方案

通過(guò)豐富的元素和配置，可以實(shí)現(xiàn)用戶個(gè)性化訴求，解決不同業(yè)務(wù)、不同視角、不同用戶制定的形態(tài)各異的治理策略，比如：配置流程固定化、配置參數(shù)規(guī)范化、配置操作簡(jiǎn)單化。讓業(yè)務(wù)自主完成治理方案的制定、規(guī)則定義和工作推進(jìn)。

5、抽象：通過(guò)通用化配置實(shí)現(xiàn)個(gè)性化

以下是針對(duì)上述三個(gè)數(shù)據(jù)治理問(wèn)題，提供的通用化配置的產(chǎn)品功能。

• 抽象治理對(duì)象

將資產(chǎn)抽象為統(tǒng)一的元數(shù)據(jù)對(duì)象，每個(gè)治理對(duì)象有通用的屬性和自定義屬性，圍繞元數(shù)據(jù)進(jìn)行治理數(shù)據(jù)建模。每個(gè)對(duì)象的屬性，均可以通過(guò)動(dòng)態(tài)參數(shù)如{jobid} 的形式被獲取，形成全局變量。

• 抽象操作和處理方案

充分利用現(xiàn)有功能和接口，通過(guò)配置 url、接口入?yún)⒌龋焖龠_(dá)到治理動(dòng)作復(fù)用和上線，極大提升功能落地效率。

• 統(tǒng)一治理問(wèn)題的生成和處理流程

通過(guò)開(kāi)發(fā)數(shù)據(jù)策略、配置治理對(duì)象、配置操作流程、動(dòng)態(tài)參數(shù)及使用文案，可快速生成一個(gè)待辦問(wèn)題生成器；通過(guò)調(diào)度，每天自動(dòng)掃描文檔，生成待辦明細(xì)，推送用戶治理。

6、效果及收益

目前通過(guò)治理工具，B 站已上線了 62 個(gè)策略，每個(gè)策略平均開(kāi)發(fā)和上線時(shí)間 2-3 小時(shí)。累計(jì)生成治理問(wèn)題 8w+，累計(jì)處理治理問(wèn)題 2w+，累計(jì)治理金額超 500w，累計(jì)節(jié)約人效 100+ 人日。

四、核心工作及未來(lái)規(guī)劃

通過(guò)流程化管理，將線下 SOP 操作線上化，針對(duì)目前原子操作的產(chǎn)品弊端，解決數(shù)據(jù)治理流程長(zhǎng)、執(zhí)行進(jìn)度不可觀測(cè)的用戶問(wèn)題。同時(shí)能夠支持平臺(tái)諸多自動(dòng)化治理、推送流程的落地，提升開(kāi)發(fā)效率。