?1.AB實驗的定義

AB實驗又稱為受控實驗（Controlled Experiment）或者對照實驗。AB實驗的概念來自生物醫(yī)學(xué)的雙盲測試，雙盲測試中病人被隨機分成兩組，在不知情的情況下分別給予安慰劑和測試用藥，經(jīng)過一段時間的實驗后，比較這兩組病人的表現(xiàn)是否具有顯著的差異，從而確定測試用藥是否有效。

2000年，Google工程師將這一方法應(yīng)用在互聯(lián)網(wǎng)產(chǎn)品測試中，此后AB實驗變得越來越重要，逐漸成為互聯(lián)網(wǎng)產(chǎn)品運營迭代科學(xué)化、數(shù)據(jù)驅(qū)動增長的重要手段。

從國外的Apple、Airbnb、Amazon、Facebook、Google、LinkedIn、Microsoft、Uber等公司，到國內(nèi)的百度、阿里、騰訊、滴滴、字節(jié)跳動、美團等公司，在各種終端（網(wǎng)站、PC應(yīng)用程序、移動應(yīng)用程序、電子郵件等）上運行著大量的AB實驗。

這些公司每年進行數(shù)千到數(shù)萬次實驗，涉及上億的用戶，測試內(nèi)容涵蓋了絕大多數(shù)產(chǎn)品特征的優(yōu)化，包括用戶體驗（顏色、字體和交互等）、算法優(yōu)化（搜索、廣告、個性化、推薦等）、產(chǎn)品性能（響應(yīng)速度、吞吐量、穩(wěn)定性、延遲）、內(nèi)容（商品、資訊、服務(wù)）生態(tài)管理系統(tǒng)、商業(yè)化收入等。

因為AB實驗被引入互聯(lián)網(wǎng)公司后，應(yīng)用場景主要是大規(guī)模的在線測試，所以也被稱作在線AB實驗或者在線對照實驗（Online Controlled Experiment，OCE）。

常見的在線AB實驗中，用戶被隨機、均勻地分為不同的組，同一組內(nèi)的用戶在實驗期間使用相同的策略，不同組的用戶使用相同或不同的策略。

同時，日志系統(tǒng)根據(jù)實驗系統(tǒng)為用戶打標(biāo)記，用于記錄用戶的行為，然后數(shù)據(jù)計算系統(tǒng)根據(jù)帶有實驗標(biāo)記的日志計算用戶的各種實驗數(shù)據(jù)指標(biāo)。實驗者通過這些指標(biāo)去理解和分析不同的策略對用戶起了什么樣的作用，是否符合實驗預(yù)先的假設(shè)。如圖1-1所示，圖中流程概括了AB實驗的經(jīng)典模式。

▲圖1-1 AB實驗流程

將圖1-1所示的流程應(yīng)用到產(chǎn)品迭代中，就是將具有不同功能、不同策略的產(chǎn)品版本，在同一時間，分別讓兩個或多個用戶組訪問。這些參與實驗的用戶組是從總體用戶中隨機抽樣出來的，一般只占總體用戶的一小部分，而且不同組用戶的屬性、構(gòu)成成分是相同或相似的。

先通過日志系統(tǒng)、業(yè)務(wù)系統(tǒng)收集各組用戶的行為數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，然后基于這些數(shù)據(jù)指標(biāo)分析、評估出相比之下更好的產(chǎn)品版本，最后推廣到全部用戶。

以圖1-2為例，我們試圖通過AB實驗找出哪個顏色的橫幅位點擊率更高：A組保持淺色橫幅不變，B組采用深色的橫幅，分析哪個顏色更能引起用戶的關(guān)注，提升用戶的點擊率。如果通過實驗發(fā)現(xiàn)深色橫幅的點擊率更高，就將深色橫幅位推廣到全部用戶。

當(dāng)然，在實際應(yīng)用中，AB實驗的效果評估一般沒有這么簡單，比如除了點擊率之外，還需要綜合考慮其他的指標(biāo)。

▲圖1-2 AB實驗測試哪個顏色橫幅位點擊率更高

2.AB實驗的類型

從不同分類視角來看，AB實驗有著不同的類型。

• 從實驗實施的產(chǎn)品形態(tài)來看，AB實驗可以分為App類型、PC類型、網(wǎng)頁頁面類型等。
• 從實驗代碼運行的機制來看，AB實驗可以分為前端頁面類型、后端服務(wù)類型等。
• 從實驗分流的對象來看，AB實驗可以分為用戶類型、會話類型、頁面類型、元素類型等。
• 從實驗服務(wù)調(diào)用的方式來看，AB實驗可以分為SDK類型、接口服務(wù)類型等。
• 從實驗內(nèi)容來看，AB實驗可以分為交互類、算法類、內(nèi)容類、工程性能類等。

這些是AB實驗常見的分類方式。當(dāng)然，AB實驗的分類不局限于以上分類，可以根據(jù)實際情況，采用不同的分類方式。不管何種類型的AB實驗，都應(yīng)符合分流→實驗→數(shù)據(jù)分析→決策的基本流程。

本文摘編自《AB實驗：科學(xué)歸因與增長的利器》（ISBN：978-7-111-70713-4），經(jīng)出版方授權(quán)發(fā)布。?