嘉賓 | 韓云飛

整理 | 云昭

字節(jié)跳動(dòng)內(nèi)部有著非常濃厚的數(shù)據(jù)文化和實(shí)驗(yàn)文化，數(shù)據(jù)中臺(tái)已經(jīng)成為研發(fā)流程中的新基建，A/B測(cè)試也基本上是整個(gè)研發(fā)鏈路上的必經(jīng)一環(huán)。那么如何將數(shù)據(jù)驅(qū)動(dòng)有效應(yīng)用在研發(fā)體系中呢？

日前，在51CTO主辦的WOT全球創(chuàng)新技術(shù)大會(huì)上，火山引擎DataTester技術(shù)負(fù)責(zé)人韓云飛從“研發(fā)流程中無(wú)處不在的數(shù)據(jù)驅(qū)動(dòng)”、“如何建立可持續(xù)的數(shù)據(jù)驅(qū)動(dòng)文化”、“數(shù)據(jù)驅(qū)動(dòng)的ROI”三個(gè)方面，帶來(lái)了以“構(gòu)建數(shù)據(jù)驅(qū)動(dòng)的新型研發(fā)體系”為主題的精彩分享。現(xiàn)整理如下，希望能對(duì)諸君有所啟發(fā)。

無(wú)處不在的數(shù)據(jù)驅(qū)動(dòng)

字節(jié)跳動(dòng)在整個(gè)研發(fā)流程中，數(shù)據(jù)驅(qū)動(dòng)無(wú)處不在。首先，以火山引擎的AB測(cè)試為例，探究研發(fā)流程中數(shù)據(jù)驅(qū)動(dòng)。

火山引擎A/B測(cè)試，由來(lái)已久。包括抖音、今日頭條的名字都做過(guò)A/B測(cè)試，今天再爆個(gè)料，西瓜視頻的名字也做過(guò)A/B 測(cè)試，我還有幸參與過(guò)這件事，當(dāng)時(shí)取的名字叫“咸蛋視頻”，如果沒(méi)有AB測(cè)試，也許現(xiàn)在用的就是“咸蛋視頻”這個(gè)名字。

平臺(tái)自建立之初至今，已經(jīng)承載著500+業(yè)務(wù)線、150W+實(shí)驗(yàn)總量的能力，日新增實(shí)驗(yàn)2000+，同時(shí)運(yùn)行試驗(yàn)3W+的。

AB測(cè)試，究竟是怎樣支撐這樣海量的實(shí)驗(yàn)和這么多的并行度的呢？

首先在數(shù)據(jù)層我們是有SDK來(lái)采集我們端上的埋點(diǎn)和服務(wù)端的埋點(diǎn)，還包括用戶進(jìn)組的信息。在數(shù)據(jù)集成上，其實(shí)我們會(huì)有大量用戶業(yè)務(wù)的數(shù)據(jù)和第三方的數(shù)據(jù)，我們通過(guò)數(shù)據(jù)集成的能力把它進(jìn)入到我們的系統(tǒng)。

在功能層，它又分成幾個(gè)模塊。首先是從整個(gè)實(shí)驗(yàn)的設(shè)計(jì)、實(shí)驗(yàn)的配置、調(diào)試、數(shù)據(jù)報(bào)告，包括這種出結(jié)論，以及上線發(fā)布，這些都?xì)w由實(shí)驗(yàn)管控的模塊來(lái)負(fù)責(zé)。

做實(shí)驗(yàn)最重要的是要來(lái)評(píng)估報(bào)告，所以我們?cè)趯?shí)驗(yàn)報(bào)告里面其實(shí)提供了包括執(zhí)行度的檢驗(yàn)、統(tǒng)計(jì)的分布，包括實(shí)驗(yàn)數(shù)據(jù)的趨勢(shì)，還有一些指標(biāo)的配置。還有更多的能力，這里不再贅述。

除此之外，我們還配套了一些比較好用的工具，包括比如說(shuō)實(shí)驗(yàn)受眾管理，因?yàn)槲覀冏鰧?shí)驗(yàn)其實(shí)有時(shí)候會(huì)針對(duì)于特定的用戶群體，比如我的新用戶，某個(gè)城市的用戶，甚至于說(shuō)它有一些用戶的畫像。

還有業(yè)務(wù)目標(biāo)管理，隨著接入的業(yè)務(wù)線越來(lái)越多，我們是想沉淀出可復(fù)制的經(jīng)驗(yàn)，可能用于提升留存，或者是其他的業(yè)務(wù)目標(biāo)，進(jìn)一步將它拆解成業(yè)務(wù)上有哪些事要做，最終通過(guò)指標(biāo)跟實(shí)驗(yàn)之間建立關(guān)聯(lián)，未來(lái)其他的業(yè)務(wù)線再做類似的事，或者同一個(gè)業(yè)務(wù)線到了第二年，可以考量之前針對(duì)這個(gè)指標(biāo)到底做了哪些實(shí)驗(yàn)。

除此之外，我們還提供了端到端的實(shí)驗(yàn)?zāi)０澹ū热缇幊虒?shí)驗(yàn)、多鏈接實(shí)驗(yàn)、可視化實(shí)驗(yàn)，還有針對(duì)于不同的場(chǎng)景，推送運(yùn)營(yíng)的實(shí)驗(yàn)等。

在接入層其實(shí)我們提供了SDK以及分流，來(lái)給各種業(yè)務(wù)系統(tǒng)包括會(huì)話層的服務(wù)端、客戶端，還有一些to B的其他的小程序做一些對(duì)接。

應(yīng)用層，我們提供了面向不同行業(yè)的解決方案，包括比如在泛互聯(lián)網(wǎng)，其實(shí)泛互聯(lián)網(wǎng)分得更細(xì)，有內(nèi)容、電商、社交、工具。金融其實(shí)包括銀行、證券、保險(xiǎn)，也都會(huì)用到這樣的能力。包括在大消費(fèi)的行業(yè)，比如包括家電、客戶、汽車行業(yè)等等。

接下來(lái)，我們一起看看研發(fā)流程中怎么使用數(shù)據(jù)驅(qū)動(dòng)。 

開(kāi)發(fā)新功能的正確姿勢(shì)是什么?

假設(shè)PM提了一個(gè)需求，如果要給抖音增加一個(gè)“熟人tab”，如果在數(shù)據(jù)驅(qū)動(dòng)情況下，我們是怎么做這件事呢？

我們?cè)诋a(chǎn)品評(píng)審的環(huán)節(jié)之后，會(huì)增加兩個(gè)東西，一個(gè)叫做埋點(diǎn)的設(shè)計(jì)，一個(gè)叫做AB方案的設(shè)計(jì)。其實(shí)從前面開(kāi)始，PRD的方案開(kāi)始，就可以猜出來(lái)，它可能是提供了不只一種方案。tab，到底是加在頂部，還是加在底部？策略到底應(yīng)該是什么樣的。這是一個(gè)不確定的事。

草率的決定可能會(huì)對(duì)整個(gè)抖音大的生態(tài)有很大的影響。所以其實(shí)是需要來(lái)試驗(yàn)，先小規(guī)模、小流量的來(lái)試驗(yàn)。

我們可能就有這樣一個(gè)方案。

比如我們有了V1組和V2組，把熟人tab加了進(jìn)去。這時(shí)候通過(guò)驗(yàn)證各自的流程時(shí)長(zhǎng)等指標(biāo)得到最終的實(shí)驗(yàn)結(jié)論，發(fā)現(xiàn)V2組是比較好的，對(duì)社交價(jià)值有更為顯著的提升，就把這個(gè)方案全量上線。 

怎樣才能做好一次復(fù)雜系統(tǒng)重構(gòu)?

今日頭條是一個(gè)通用信息平臺(tái)。頭條早期的信息流服務(wù)是用一個(gè)Python的單體服務(wù)。隨著業(yè)務(wù)發(fā)展迅猛，流量在爆發(fā)式增長(zhǎng)，業(yè)務(wù)工程上的復(fù)雜度也在急劇升高。為了更好地長(zhǎng)期支撐業(yè)務(wù)發(fā)展，信息流同學(xué)做了一次大規(guī)模的服務(wù)化重構(gòu)：

語(yǔ)言選型從Python切換到了golang，從單體服務(wù)架構(gòu)演變成了分層的微服務(wù)架構(gòu)。以往大家做重構(gòu)時(shí)更多關(guān)注質(zhì)量、性能等技術(shù)上的指標(biāo)，以為這樣就夠了，其實(shí)是對(duì)用戶體驗(yàn)和業(yè)務(wù)目標(biāo)的忽視。這樣一次大規(guī)模重構(gòu)，設(shè)計(jì)實(shí)現(xiàn)并沒(méi)有太久，但需要保障重構(gòu)的信息流服務(wù)在各種業(yè)務(wù)指標(biāo)上是不能有損的，這就花了大半年的實(shí)驗(yàn)去做AB測(cè)試，通過(guò)幾十次AB測(cè)試不斷的灰度，分析業(yè)務(wù)指標(biāo)影響，最終在大部分全局指標(biāo)幾乎沒(méi)有影響，甚至有些關(guān)鍵指標(biāo)正向的情況下完成了這個(gè)復(fù)雜系統(tǒng)大規(guī)模重構(gòu)上線。

Bugfix難道不是應(yīng)該修復(fù)完就上線?

這是一個(gè)我們直播的場(chǎng)景，整個(gè)直播的實(shí)驗(yàn)背景我介紹一下。在一個(gè)精排的模型里用到了抖音的Universal Embedding，用到了一些特征，我們?cè)谡倩仉A段也用一下這些特征，能夠讓召回的模型學(xué)習(xí)到更多信息，提前做一些召回符合用戶興趣的一些內(nèi)容，保持召回和精排在一致性的情況下，能夠提升一些指標(biāo)。

這個(gè)想法很好，但是由于配置的問(wèn)題，導(dǎo)致文章的一些內(nèi)容特征獲取是失敗的，這個(gè)功能沒(méi)有成功上線。現(xiàn)在對(duì)這個(gè)功能做了fix，那是不是fix完就能直接上線呢？其實(shí)是未必的。這個(gè)bug你會(huì)發(fā)現(xiàn)它很隱蔽，它不會(huì)造成用戶很明顯的感知，但是你的系統(tǒng)跟你設(shè)想的是不一致的。即使修了但是不是真的修了就是好的呢？我覺(jué)得也未必，因?yàn)檫@個(gè)系統(tǒng)本身太復(fù)雜了，加了這個(gè)特征，如果沒(méi)有用，但它讓系統(tǒng)變得更復(fù)雜了，也不是一件好事。更不用說(shuō)還有負(fù)向的風(fēng)險(xiǎn)。所以我們還是采用了AB測(cè)試。我們分了新用戶、老用戶分別去測(cè)，發(fā)現(xiàn)對(duì)于新用戶其實(shí)是沒(méi)有什么實(shí)質(zhì)性的影響，指標(biāo)就是在波動(dòng)。這是可以理解的，新用戶可能本身就沒(méi)有太多的特征可以用。對(duì)于老用戶實(shí)驗(yàn)，我們發(fā)現(xiàn)在他的人均的展現(xiàn)上和人均的閱讀上，都有0.3%左右的顯著提高。這個(gè)數(shù)字可能不高，但是對(duì)于抖音的體量，提升這么多，其實(shí)已經(jīng)是非常大的了。

上線發(fā)布如何更安全絲滑?

說(shuō)下上線發(fā)布的例子，比如整個(gè)微服務(wù)中，上游服務(wù)對(duì)下游服務(wù)的調(diào)用過(guò)程中，很多流量直接打到各個(gè)機(jī)器上。在一些場(chǎng)景上，這么做會(huì)有一些問(wèn)題。比如說(shuō)新模型上線，模型需要機(jī)器來(lái)承載，在測(cè)試階段的流量顯然是遠(yuǎn)遠(yuǎn)不及真實(shí)上線時(shí)那么大。那么上線時(shí)能不能讓流量直接打過(guò)來(lái)，以及上線過(guò)程中重啟機(jī)器等等是否會(huì)帶來(lái)一些不太好的影響，這都是需要做AB測(cè)試的。

所以我們針對(duì)于上線場(chǎng)景，把AB的能力開(kāi)放給基礎(chǔ)架構(gòu)部門。首先根據(jù)預(yù)先的配置對(duì)目標(biāo)服務(wù)進(jìn)行切分，切分成不同的集群，比如說(shuō)里面有AB的集群，還有基線版本的集群。集群切分之后，會(huì)調(diào)平臺(tái)的OpenAPI來(lái)開(kāi)啟實(shí)驗(yàn)，實(shí)驗(yàn)里面配了一些環(huán)境參數(shù)，比如叫env。上游服務(wù)會(huì)通過(guò)RPC框架跟我們AB之間有一個(gè)交互，能讀到環(huán)境參數(shù)具體是什么，然后它就能夠把它的流量正確的調(diào)度到下游相應(yīng)的集群。

這個(gè)過(guò)程中，需要多大流量，分配多少機(jī)器，開(kāi)發(fā)人員可以通過(guò)OpenAPI是能夠把這兩件事關(guān)聯(lián)起來(lái)的，可以得到恰當(dāng)?shù)奶幚怼＞€上的整個(gè)升級(jí)包括重啟機(jī)器等都可以非常平穩(wěn)、非常絲滑。 

SQL優(yōu)化讓人禿頭，怎么破?

再比如Spark SQL的優(yōu)化，首先想做好優(yōu)化，你需要知道m(xù)apper數(shù)、reducer數(shù)、excutor數(shù)等參數(shù)怎么設(shè)置，還要面料executor堆內(nèi)內(nèi)存不夠、driver堆外內(nèi)存不夠、序列化結(jié)果過(guò)大等讓人頭大的錯(cuò)誤。

其次，SQL運(yùn)維優(yōu)化會(huì)花費(fèi)大量的人力，隨著數(shù)據(jù)量的上升，隨著整個(gè)邏輯越來(lái)越復(fù)雜，包括其執(zhí)行的環(huán)境也會(huì)變化。一次好的優(yōu)化不一定永遠(yuǎn)都是對(duì)的，可能需要隨著數(shù)據(jù)量上漲、需要隨著環(huán)境的變化不停地去調(diào)，有可能未來(lái)也變得很差。我們有一些SQL專家是非常厲害的，他的SQL優(yōu)化經(jīng)驗(yàn)都可以寫成一本書了，寫的SQL也確實(shí)比平均水平好很多倍。但是讓每位同事都具備SQL優(yōu)化的能力，其實(shí)既不現(xiàn)實(shí)，也沒(méi)有太大的必要。

針對(duì)這件事怎么做更好呢？我們大數(shù)據(jù)的同學(xué)想到了AB測(cè)試。

在數(shù)據(jù)提交的階段引入AB測(cè)試，在開(kāi)啟任務(wù)的時(shí)候能夠開(kāi)啟一個(gè)優(yōu)化列表，這個(gè)過(guò)程中我們團(tuán)隊(duì)開(kāi)發(fā)了一個(gè)叫做DataOptimizer的優(yōu)化引擎，會(huì)根據(jù)任務(wù)來(lái)不斷優(yōu)化，比如它歷史跑的執(zhí)行情況，環(huán)境數(shù)據(jù)等，最終會(huì)讓你進(jìn)行一些調(diào)優(yōu)，調(diào)完之后看效果。最終我們發(fā)現(xiàn)，這套優(yōu)化系統(tǒng)會(huì)比專家經(jīng)驗(yàn)還要好5%。

AB測(cè)試作為研發(fā)全流程基礎(chǔ)設(shè)施

因此，把剛才的案例串聯(lián)起來(lái)，包括開(kāi)發(fā)、上線、BugFix、優(yōu)化、重構(gòu)。你會(huì)發(fā)現(xiàn)在整個(gè)研發(fā)流程中，其實(shí)AB測(cè)試是可以像存儲(chǔ)、計(jì)算、網(wǎng)絡(luò)一樣，作為一個(gè)基礎(chǔ)設(shè)施來(lái)服務(wù)于整個(gè)研發(fā)流程。通過(guò)剛才的例子，大家應(yīng)該會(huì)比較有體感，在我們整個(gè)研發(fā)的日常流程中，怎樣去把它用于我們的工作實(shí)踐，成為我們一個(gè)得力武器。

建立可持續(xù)的數(shù)據(jù)驅(qū)動(dòng)文化

第二部分介紹一下基于我們前面的大量的實(shí)踐，我們總結(jié)出來(lái)怎么樣能夠在一個(gè)公司內(nèi)去建立一個(gè)可持續(xù)的數(shù)據(jù)驅(qū)動(dòng)的文化。

前面說(shuō)了很多案例，其實(shí)就是想讓大家更深有體會(huì)，通過(guò)這樣大量的實(shí)踐，得出來(lái)一些小小的知識(shí)，就是怎么來(lái)建立可持續(xù)的數(shù)據(jù)驅(qū)動(dòng)的文化。

字節(jié)跳動(dòng)的數(shù)據(jù)驅(qū)動(dòng)的文化是怎么建立的？從我個(gè)人來(lái)看，我認(rèn)為有三件事是非常重要的。

價(jià)值觀：從企業(yè)基因上鼓勵(lì)數(shù)據(jù)驅(qū)動(dòng)

第一，價(jià)值觀。整個(gè)公司的價(jià)值觀是不是在引導(dǎo)數(shù)據(jù)驅(qū)動(dòng)這件事，我做數(shù)據(jù)驅(qū)動(dòng)是不是被鼓勵(lì)的、被允許的，不會(huì)是跟價(jià)值觀相違背的。

其次，我們會(huì)有一些平臺(tái)、工具來(lái)承載大家日常去做數(shù)據(jù)驅(qū)動(dòng)這件事。

再次，在機(jī)制流程上我們有一個(gè)叫做Launch Review的機(jī)制，它來(lái)確保大家在日常中不會(huì)被變形，是真的在做數(shù)據(jù)驅(qū)動(dòng)，而不是在做一個(gè)假的數(shù)據(jù)驅(qū)動(dòng)。

我分別介紹這三部分。

首先第一部分價(jià)值觀，要從整個(gè)企業(yè)的基因上去鼓勵(lì)大家去做數(shù)據(jù)驅(qū)動(dòng)，這里我截了幾個(gè)我們字節(jié)圈的截圖。這個(gè)例子是說(shuō)，上次去出差，遇到一個(gè)老大爺，非常關(guān)注互聯(lián)網(wǎng)，喜歡刷抖音。他說(shuō)了好多問(wèn)題。但是他又提到，競(jìng)品的自動(dòng)播放不用刷，但是冬天特別冷，可能沒(méi)有暖氣，可能會(huì)比較舒服。還有一些創(chuàng)作者也提出來(lái)這樣的功能，就是我們公司比較鼓勵(lì)大家提出想法，包括跟用戶去交流。

大家直接就說(shuō)，你其實(shí)可以做一個(gè)AB測(cè)試，或者我們把這個(gè)反饋給相關(guān)的抖音的業(yè)務(wù)部門，讓他們來(lái)做這樣一個(gè)嘗試，看是不是有收益的，或者能夠?qū)τ脩舴浅Ｓ押谩Ｋ晕覀兤鋵?shí)是鼓勵(lì)大家不同的想法去涌現(xiàn)的。

第二個(gè)例子，其實(shí)跟這個(gè)有點(diǎn)相似。抖音自動(dòng)播放完畢之后，上滑的功能，其實(shí)跟上面這個(gè)需求是非常相似的。其實(shí)已經(jīng)在做了，就有同學(xué)說(shuō)，我希望能夠加入到這個(gè)內(nèi)測(cè)，先體驗(yàn)體驗(yàn)。

還有兩個(gè)例子更生動(dòng)有趣的例子。

我們?cè)诒本┯泻芏喙^(qū)，有一個(gè)互金的工區(qū)，有一天行政把馬桶圈給換了，有同學(xué)就反饋說(shuō)，好像很尷尬，非常麻煩。我們行政的同學(xué)就在下面回復(fù)，其實(shí)這件事是我們?cè)谧鲆患嗀B測(cè)試，是非常小的流量，只不過(guò)這個(gè)同學(xué)比較倒霉，剛好可能命中了實(shí)驗(yàn)組。我們的行政同學(xué)就跟進(jìn)去解決。其實(shí)你會(huì)發(fā)現(xiàn)，到行政這樣離研發(fā)流程非常遠(yuǎn)的序列都在積極參與，已經(jīng)在嘗試把數(shù)據(jù)驅(qū)動(dòng)的理念用于他們的生產(chǎn)。我覺(jué)得我們做研發(fā)就更需要做了。

其次，還有大家已經(jīng)形成了很多段子，比如大家在內(nèi)網(wǎng)發(fā)“我要做可樂(lè)雞翅，到底是應(yīng)該放可口可樂(lè)還是放百事可樂(lè)”，其實(shí)這個(gè)問(wèn)題猛然問(wèn)到你，你可能也不一定能那么好的回答起來(lái)，到底哪個(gè)口味更好，這個(gè)就需要試，有同學(xué)就說(shuō)你需要自己在家AB測(cè)試一下。

數(shù)據(jù)平臺(tái)：從數(shù)據(jù)應(yīng)用把門檻降到最低

剛才講到價(jià)值觀和企業(yè)文化，接著我們講第二個(gè)，我們需要一個(gè)好的工具。前面的分享講了底層基建，怎么樣把數(shù)據(jù)弄進(jìn)來(lái)，大家直接可以看數(shù)據(jù)，怎么治理數(shù)據(jù)之類。到這里其實(shí)我們想強(qiáng)調(diào)的我們的特色我們是在數(shù)據(jù)應(yīng)用層做了比較多的工作，去降低大家的使用門檻。

我們拿三個(gè)我們的數(shù)據(jù)應(yīng)用層的工具舉例。比如我們的DataFinder，它其實(shí)是一個(gè)用戶行為分析的工具。它有兩個(gè)典型的功能就在降低門檻。一個(gè)叫做場(chǎng)景模板，它會(huì)根據(jù)大家不同的業(yè)務(wù)場(chǎng)景，甚至于不同行業(yè)的需求，可能有40多個(gè)模板，企業(yè)來(lái)了之后，也許可能一開(kāi)始不知道怎么樣把看板搭起來(lái)，這個(gè)模板就給你參考，告訴你要做運(yùn)營(yíng)該怎么做，我要做支付轉(zhuǎn)化該怎么建看板。其次我們還提供了看板的洞察，就是背后我們其實(shí)用了一些AI的能力，這個(gè)數(shù)據(jù)假設(shè)有一些波動(dòng)，我們告訴你它可能真的是波動(dòng)了，雖然每天都在波動(dòng)，有一些集群點(diǎn)的偏離，發(fā)現(xiàn)它也許有一些有意思的地方，我們會(huì)把這個(gè)東西告訴你，我們幫你分析出來(lái)這個(gè)點(diǎn)，也許它不一定是完全對(duì)的，但可能我們會(huì)有一個(gè)概率的保證。但它就相當(dāng)于代替了一部分大家原來(lái)手動(dòng)分析的功能。

我們的DataTester就是AB測(cè)試的工具，里面也提供了可視化編輯的能力，我們把SDK接入之后，我們的一些PM、運(yùn)營(yíng)同學(xué)可能直接就在網(wǎng)站上比如改變一下它的Slogan、改變一下它按鈕的文案、甚至一些顏色，能做一些所見(jiàn)即所得的AB測(cè)試。在運(yùn)營(yíng)觸達(dá)上也是，我們接通了很多通道，運(yùn)營(yíng)、增長(zhǎng)的同學(xué)來(lái)到我們平臺(tái)上，可以直接測(cè)試一下不同的推送時(shí)機(jī)、不同的推送文案、不同的頻次，想到的都可以去試。

還有一個(gè)DataWind，它是一個(gè)BI的工具，它提供的其實(shí)就是可視化的拖拉拽分析，在有這個(gè)平臺(tái)之前原來(lái)是寫SQL非常多，但仍然還是會(huì)有更多人不會(huì)寫SQL。我們通過(guò)把想要的數(shù)據(jù)，比如它的一些指標(biāo)、維度通過(guò)拖拽建立一個(gè)數(shù)據(jù)集，直接就能去使用。這里面也提供了一些比較偏智能化的能力，比如自動(dòng)歸因，來(lái)幫你發(fā)現(xiàn)整個(gè)數(shù)據(jù)集、數(shù)據(jù)看板中的一些增長(zhǎng)/下降是什么維度上的變化引起的。

總之，這些能力都是在幫助大家降低門檻。

Launch Review：業(yè)務(wù)一號(hào)位的科學(xué)決策流程

Launch Review是字節(jié)的一個(gè)傳統(tǒng)，公司業(yè)務(wù)線負(fù)責(zé)人會(huì)對(duì)大家做的事情進(jìn)行科學(xué)決策，具體的流程流程如下。

每一周或雙周，我們部門都會(huì)主持這樣一個(gè)例會(huì)，大家會(huì)對(duì)做的一些算法迭代的實(shí)驗(yàn)或者產(chǎn)品的實(shí)驗(yàn)，來(lái)做一個(gè)總結(jié)分析。中間會(huì)有包括部門的負(fù)責(zé)人、業(yè)務(wù)方、peers等很多人來(lái)聽(tīng)，大家會(huì)進(jìn)行提問(wèn)和互動(dòng)。但最終是要部門的一號(hào)位來(lái)做出決策，確定是不是能上線。

有時(shí)候?qū)嶒?yàn)做得正向了，并不一定能上。如果只是在某些指標(biāo)正向了，但是在一些更重要的地方?jīng)]有做出改進(jìn)，甚至可能讓整個(gè)系統(tǒng)變得更復(fù)雜了，但收益提升卻不足夠，這樣也上不了，這樣要去考慮更好的方案。有時(shí)候你會(huì)發(fā)現(xiàn)它負(fù)向了，也能上，為什么也能上？大家會(huì)判斷，它可能損失了一些時(shí)長(zhǎng)，甚至影響一部分廣告收入，但是用戶體驗(yàn)變得更好了，或者對(duì)產(chǎn)品這個(gè)階段是非常重要的，也許這個(gè)事情是可以上的，這都需要部門的領(lǐng)導(dǎo)業(yè)務(wù)一號(hào)位來(lái)做好平衡。

總結(jié)一下，這個(gè)流程體現(xiàn)了下面幾個(gè)點(diǎn)。

復(fù)盤的文化：復(fù)盤是需要天天做，日常每天都要做的，我做這件事到底它的價(jià)值是什么，SWOT分別是什么。

保持信息透明：我要上線了，這件事是怎么做的，為什么做，5W1H到底是什么，大家要始終保持信息透明的。比如推薦系統(tǒng)有那么多工程師在改進(jìn)，現(xiàn)在就是一個(gè)非常黑盒的系統(tǒng)，但是對(duì)于部門的一號(hào)位或者非常核心的負(fù)責(zé)人來(lái)說(shuō)，他還是要非常清楚里面的一些關(guān)鍵的東西到底是怎么work的。

全局視角：其實(shí)通過(guò)這個(gè)機(jī)制，就能保證大家每次上新的東西的時(shí)候，他們會(huì)思考這個(gè)東西對(duì)我既有的系統(tǒng)加上去之后，整個(gè)系統(tǒng)是長(zhǎng)什么樣子，這樣能夠幫助業(yè)務(wù)一號(hào)位總攬全局，這樣在新的改進(jìn)加進(jìn)來(lái)之后，才能做出更趨全局最優(yōu)的決策。

經(jīng)驗(yàn)沉淀：我們通過(guò)這種比較開(kāi)放的會(huì)議，鼓勵(lì)讓大家都能參與進(jìn)來(lái)，互相借鑒，也許抖音做了一件什么改進(jìn)，頭條的人說(shuō)我也可以拿去試試，這樣大家的想法收益就能夠無(wú)限的放大。

數(shù)據(jù)驅(qū)動(dòng)VS信仰判斷：正向的不一定能上，負(fù)向的也許可以上。數(shù)據(jù)驅(qū)動(dòng)不是唯一，數(shù)據(jù)驅(qū)動(dòng)是你要在業(yè)務(wù)價(jià)值信仰之間跟數(shù)據(jù)驅(qū)動(dòng)之間做一個(gè)平衡和判斷，它是來(lái)輔助人的科學(xué)決策。

數(shù)據(jù)驅(qū)動(dòng)的ROI

前面講了怎么建立數(shù)據(jù)驅(qū)動(dòng)的文化，但是在降本增效的大背景下，如果要落地?cái)?shù)據(jù)驅(qū)動(dòng)，它的ROI應(yīng)該是什么樣的，是不是值得大家去做呢？

數(shù)據(jù)驅(qū)動(dòng)的成本

我們先講成本。首先有這樣三件事：

第一，我們需要在企業(yè)文化上進(jìn)行數(shù)智化轉(zhuǎn)型，這里我用了智能的“智”，而不是數(shù)字的“字”。這是有區(qū)別的，我們不能光是有數(shù)據(jù)的，還需要數(shù)據(jù)要真正驅(qū)動(dòng)業(yè)務(wù)。數(shù)據(jù)如何跟業(yè)務(wù)結(jié)合，來(lái)輔助進(jìn)行決策。

第二，我們需要在整個(gè)研發(fā)流程上做數(shù)智化轉(zhuǎn)型。因?yàn)楹芏嗷ヂ?lián)網(wǎng)企業(yè)、科技企業(yè)很重要的流程就是在做產(chǎn)品的研發(fā)、業(yè)務(wù)的研發(fā)，最終在最核心的流程中是否能夠讓數(shù)據(jù)被驅(qū)動(dòng)，而不是讓大家在一個(gè)錯(cuò)誤的方向上越走越遠(yuǎn)，這也是非常重要的。

第三，為了完成以上兩點(diǎn)的落地，需要搭建一個(gè)以數(shù)據(jù)驅(qū)動(dòng)的基礎(chǔ)設(shè)施，這里有兩種方法，一個(gè)是自建，可以根據(jù)自身的實(shí)際情況來(lái)進(jìn)行，再一個(gè)是外采，最終要能幫助業(yè)務(wù)來(lái)實(shí)現(xiàn)價(jià)值。

總結(jié)成一句話，你需要讓整個(gè)企業(yè)變成一家數(shù)字原生的企業(yè)，這就是付出的成本。

當(dāng)企業(yè)變得數(shù)智化原生，意味著企業(yè)進(jìn)化得更好了，這本身也是一種收益。

這里再分享個(gè)小故事。我們之前有個(gè)用戶，后來(lái)他從A公司離職了，去創(chuàng)業(yè)了，去到B公司，他剛到B公司又采購(gòu)了我們的產(chǎn)品。后來(lái)我們就經(jīng)常會(huì)跟他交流，你為什么那么快就想到用我們的產(chǎn)品呢？他說(shuō)他們對(duì)工具還是非常挑剔的，企業(yè)辦公用Lark、產(chǎn)品設(shè)計(jì)用Figma、AB測(cè)試就用DataTester。他解釋說(shuō)，除了好用，還能間接幫助他們?nèi)谫Y。對(duì)工具的挑剔給投資人留下了深刻的印象，最終體現(xiàn)出團(tuán)隊(duì)品味、能力和前景。

數(shù)據(jù)驅(qū)動(dòng)的收益

講完成本，我們來(lái)看下收益。數(shù)據(jù)驅(qū)動(dòng)的收益，一言以蔽之，“幫助業(yè)務(wù)團(tuán)隊(duì)低損耗地朝正確方向持續(xù)小跑！”

第一，它能激發(fā)創(chuàng)新，提升收益。只有大家對(duì)業(yè)務(wù)比較有Owner意識(shí)，才能去貢獻(xiàn)自己的想法，才能激活這個(gè)企業(yè)的發(fā)展，大家才會(huì)有更多的創(chuàng)新涌現(xiàn)出來(lái)。

其次，我們能夠低成本低去試錯(cuò)，就是試錯(cuò)成本會(huì)降低，人效是提高的。比如通過(guò)AB測(cè)試要搞兩個(gè)版本，好像聽(tīng)起來(lái)成本是增加的，其實(shí)是未必的。也許你拍的那個(gè)版本壓根兒沒(méi)有用，甚至帶來(lái)了比較大的負(fù)向，這個(gè)損失是更大的。我們通過(guò)在非常小的范圍去做這樣的驗(yàn)證，反而是降低成本，提高人效的。這個(gè)對(duì)應(yīng)的，可能有一定的損耗，它的損耗對(duì)應(yīng)的收益是，你能持續(xù)一直做正確的決策，你也不用做AB測(cè)試，但是誰(shuí)能保證你一直對(duì)呢？所以數(shù)據(jù)驅(qū)動(dòng)是有損耗的，但它的損耗是可接受的必要成本。

再次，通過(guò)數(shù)據(jù)驅(qū)動(dòng)是能夠積累大家的經(jīng)驗(yàn)的，最終提升整個(gè)團(tuán)隊(duì)的決策力。我們剛才講的Launch Review，它其實(shí)是讓整個(gè)團(tuán)隊(duì)共同決策個(gè)通過(guò)數(shù)據(jù)驅(qū)動(dòng)最終實(shí)現(xiàn)了一個(gè)決策的平民化和公平化。

最后，我們整個(gè)研發(fā)流程做的大部分事情，收益是可以被量化的，這樣就知道什么改進(jìn)對(duì)業(yè)務(wù)幫助更大，最終就能賦能給我們公司的管理團(tuán)隊(duì)，讓大家在管理上有更好的科學(xué)的輔助。

這就是我想講的整個(gè)數(shù)據(jù)驅(qū)動(dòng)的收益。

嘉賓介紹

韓云飛 火山引擎DataTester技術(shù)負(fù)責(zé)人

火山引擎DataTester技術(shù)負(fù)責(zé)人韓云飛。負(fù)責(zé)火山引擎企業(yè)級(jí)實(shí)驗(yàn)平臺(tái)團(tuán)隊(duì)，致力于打造業(yè)界最先進(jìn)好用的實(shí)驗(yàn)平臺(tái)，把A/B測(cè)試變成驅(qū)動(dòng)業(yè)務(wù)增長(zhǎng)的新基建。從0到1參與搭建了字節(jié)跳動(dòng)內(nèi)實(shí)驗(yàn)中臺(tái)Libra，服務(wù)于抖音、今日頭條等500多個(gè)業(yè)務(wù)線；對(duì)外發(fā)布火山引擎A/B測(cè)試DataTester等產(chǎn)品。