導(dǎo)讀

在數(shù)據(jù)驅(qū)動(dòng)時(shí)代，不管是在產(chǎn)品功能迭代還是策略決策時(shí)都需要數(shù)據(jù)的支撐。那么，當(dāng)我們準(zhǔn)備上線一個(gè)新功能或者策略時(shí)，如何評(píng)估新老版本優(yōu)劣，即數(shù)據(jù)的可量化就成了問題。這個(gè)時(shí)候就需要引入 A/B Test 了。

一、A/B Test 是什么？

A/B Test 的概念來源于生物醫(yī)學(xué)的雙盲測試，雙盲測試中病人被隨機(jī)分成兩組，在不知情的情況下分別給予安慰劑和測試用藥，經(jīng)過一段時(shí)間的實(shí)驗(yàn)后再來比較這兩組病人的表現(xiàn)是否具有顯著的差異，從而決定測試用藥是否有效。

在互聯(lián)網(wǎng)行業(yè)中，在產(chǎn)品正式迭代發(fā)版之前，將 Web 或 App 界面或流程以同一個(gè)目的制定兩個(gè)或多個(gè)方案，在同一時(shí)間維度，將流量對(duì)應(yīng)分成若干個(gè)組，在保證每組用戶特征相同（相似）的前提下，展示給用戶不同的設(shè)計(jì)方案，收集各組的用戶體驗(yàn)數(shù)據(jù)和業(yè)務(wù)數(shù)據(jù)，最后分析評(píng)估出最好版本，科學(xué)的進(jìn)行決策。

二、AB 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)

2.1 系統(tǒng)介紹

轉(zhuǎn)轉(zhuǎn) AB Test 系統(tǒng)的核心功能主要包含五個(gè)部分：

• 實(shí)驗(yàn)管理：實(shí)驗(yàn)配置、上下線等操作。
• 指標(biāo)管理：分業(yè)務(wù)線創(chuàng)建與管理數(shù)據(jù)指標(biāo)，數(shù)據(jù)指標(biāo)分為「事件指標(biāo)」和「復(fù)合指標(biāo)」。
• 白名單管理：各種分流標(biāo)識(shí)的白名單創(chuàng)建與管理。
• 數(shù)據(jù)報(bào)告：總實(shí)驗(yàn)用戶數(shù)、流量概覽、關(guān)注指標(biāo)圖表和實(shí)驗(yàn)結(jié)論數(shù)據(jù)。
• 分流服務(wù)：供業(yè)務(wù)方調(diào)用獲取實(shí)驗(yàn)分組結(jié)果的 RPC 服務(wù)。

2.2 系統(tǒng)架構(gòu)

2.3 系統(tǒng)實(shí)現(xiàn)

2.3.1 實(shí)驗(yàn)管理

• 實(shí)驗(yàn)列表：是所有實(shí)驗(yàn)的集合，整個(gè)實(shí)驗(yàn)列表分為三個(gè)區(qū)域「篩選/查詢區(qū)域」、「新建實(shí)驗(yàn)」、「列表區(qū)域」。

• 新建實(shí)驗(yàn)：要求填三個(gè)部分信息基礎(chǔ)信息、實(shí)驗(yàn)配置信息、實(shí)驗(yàn)策略配置，狀態(tài)默認(rèn)為測試中。

實(shí)驗(yàn)基本信息

實(shí)驗(yàn)配置信息

實(shí)驗(yàn)策略配置

2.3.2 指標(biāo)管理

指標(biāo)分為「事件指標(biāo)」和「復(fù)合指標(biāo)」兩種類型。事件指標(biāo)通過埋點(diǎn)事件配置統(tǒng)計(jì)，復(fù)合指標(biāo)通過基礎(chǔ)的事件指標(biāo)進(jìn)行四則運(yùn)算生成。

2.3.3 白名單管理

白名單功能提供統(tǒng)一的白名單創(chuàng)建與管理，用于實(shí)驗(yàn)配置時(shí)給相關(guān)實(shí)驗(yàn)組添加白名單，作用與分流服務(wù)，方便業(yè)務(wù)實(shí)驗(yàn)開發(fā)測試時(shí)通過配置白名單直接進(jìn)入相應(yīng)的實(shí)驗(yàn)組。

2.3.4 數(shù)據(jù)報(bào)告

實(shí)驗(yàn)報(bào)告是針對(duì)單個(gè)實(shí)驗(yàn)，配置的核心指標(biāo)以及相關(guān)指標(biāo)一個(gè)統(tǒng)計(jì)性的數(shù)據(jù)報(bào)告說明。

• 基本信息

實(shí)驗(yàn)ID：該實(shí)驗(yàn)的實(shí)驗(yàn)ID。

實(shí)驗(yàn)名稱：該實(shí)驗(yàn)的實(shí)驗(yàn)名稱。

開始時(shí)間：該實(shí)驗(yàn)正式上線的時(shí)間。

運(yùn)行天數(shù)：該實(shí)驗(yàn)從上線至今/結(jié)束前的運(yùn)行天數(shù)。

操作記錄：記錄這個(gè)實(shí)驗(yàn)的操作變化記錄，包含流量分配、核心指標(biāo)修改、實(shí)驗(yàn)暫停/上線等。

查看配置：查看這個(gè)實(shí)驗(yàn)的配置信息。

• 核心數(shù)據(jù)

整體-總實(shí)驗(yàn)用戶數(shù)：實(shí)驗(yàn)上線至今/結(jié)束前共參與實(shí)驗(yàn)的用戶數(shù)，按照分流標(biāo)識(shí)進(jìn)行統(tǒng)計(jì)。

分組-總實(shí)驗(yàn)用戶數(shù)：各個(gè)分組實(shí)驗(yàn)上線至今/結(jié)束前共參與實(shí)驗(yàn)的用戶數(shù)，按照分流標(biāo)識(shí)進(jìn)行統(tǒng)計(jì)。

總實(shí)驗(yàn)用戶占比：「分組-總實(shí)驗(yàn)用戶數(shù)」 / 「整體 - 總實(shí)驗(yàn)用戶數(shù)」* 100%。

流量分配：創(chuàng)建實(shí)驗(yàn)時(shí)，流量的分配比例。

核心指標(biāo)值：創(chuàng)建實(shí)驗(yàn)時(shí)，配置的「核心指標(biāo)」對(duì)應(yīng)的數(shù)值，這里會(huì)根據(jù)【指標(biāo)管理】中配置的數(shù)值方式與小數(shù)位數(shù)進(jìn)行顯示。

統(tǒng)計(jì)學(xué)校驗(yàn)：用于描述試驗(yàn)組指標(biāo)相比于對(duì)照組的提升范圍。隨著參與試驗(yàn)的樣本量逐漸增加，數(shù)據(jù)指標(biāo)波動(dòng)趨于穩(wěn)定，置信區(qū)間會(huì)逐漸收窄。一般來說，置信區(qū)間選擇 95%。

統(tǒng)計(jì)功效：統(tǒng)計(jì)功效用于描述通過試驗(yàn)?zāi)軝z測出試驗(yàn)結(jié)果真實(shí)可靠的概率；一般用于衡量實(shí)驗(yàn)不顯著時(shí)，是否需要繼續(xù)擴(kuò)大樣本繼續(xù)實(shí)驗(yàn)。一般當(dāng)差異不顯著時(shí)，統(tǒng)計(jì)功效小于 80%，需要繼續(xù)做實(shí)驗(yàn)，當(dāng)差異不顯著是，統(tǒng)計(jì)功效大于 80%，說明基本對(duì)照組與實(shí)驗(yàn)組沒有差異。

實(shí)驗(yàn)結(jié)論：實(shí)驗(yàn)結(jié)論根據(jù)「核心指標(biāo)」與「統(tǒng)計(jì)功效」得出實(shí)驗(yàn)結(jié)論。

• 流量概覽

主要目的衡量流量分配是否均勻，指標(biāo)為「新進(jìn)組用戶數(shù)」：當(dāng)天第一次參與實(shí)驗(yàn)的用戶數(shù)。

• 關(guān)注指標(biāo)（包含核心指標(biāo)）

實(shí)驗(yàn)UV：同「分組-總實(shí)驗(yàn)用戶數(shù)」，各個(gè)分組實(shí)驗(yàn)上線至今/結(jié)束前共參與實(shí)驗(yàn)的用戶數(shù)，按照分流標(biāo)識(shí)進(jìn)行統(tǒng)計(jì)。

指標(biāo)名稱：所選的指標(biāo)對(duì)應(yīng)的名稱。

差異絕對(duì)值：該分組對(duì)應(yīng)對(duì)照組在該指標(biāo)上的差異的值，舉例：如對(duì)照組訂單數(shù)為 50，實(shí)驗(yàn)組為 100， 這里的差異絕對(duì)值為 100 - 50 = 50。

差異相對(duì)值：該分組對(duì)應(yīng)對(duì)照組在該指標(biāo)上的差異的百分比，舉例：如對(duì)照組訂單數(shù)為 50，實(shí)驗(yàn)組為 100， 這里的差異絕對(duì)值為（100 - 50）/ 50 = 100%。

置信區(qū)間：核心指標(biāo)通過實(shí)驗(yàn)配置的置信水平統(tǒng)計(jì)計(jì)算。

2.3.5 分流服務(wù)

• 分流邏輯

分流服務(wù)實(shí)時(shí)同步已上線運(yùn)行的實(shí)驗(yàn)配置，業(yè)務(wù)調(diào)用方通過實(shí)驗(yàn)ID+分流標(biāo)識(shí)獲取實(shí)驗(yàn)的分組結(jié)果，具體實(shí)現(xiàn)邏輯如下:

if (白名單判斷) {
    return "白名單組";
}
if (實(shí)驗(yàn)下線判斷) {
    return "決策組";
}
if (進(jìn)組不出組) {
    if (緩存結(jié)果判斷) {
        return "緩存結(jié)果組";
    }
}
// 分桶分組，用實(shí)驗(yàn)id + 分流標(biāo)識(shí)進(jìn)行hash取模100得到桶號(hào)，同一用戶在不同實(shí)驗(yàn)中的桶號(hào)不完全一樣，確保實(shí)驗(yàn)之間的獨(dú)立性
int bucketNum = BucketNumUtil.getBucketNum(testId + "_" +tokenId);
// 根據(jù)桶號(hào)獲取對(duì)應(yīng)的實(shí)驗(yàn)組
String groupName = getGroupName(test, bucketNum);
if (進(jìn)組不出組) {
    redisCache.set(testId, tokenId, groupName, exAt);
}
return groupName;

• 分流方案

結(jié)合轉(zhuǎn)轉(zhuǎn)業(yè)務(wù)的特點(diǎn)，使用了無層方案。所謂無層，就是每個(gè)實(shí)驗(yàn)都是單獨(dú)一層，使用實(shí)驗(yàn) id 作為種子將 1-100 的桶號(hào)進(jìn)行洗牌打亂，具體實(shí)現(xiàn)方法如下：

// 生成1-100的桶號(hào)，并使用testId作為種子洗牌打亂(相同的種子洗牌結(jié)果一樣，從而保證同一ABTest的桶號(hào)List不變，且可根據(jù)testId預(yù)測，不同實(shí)驗(yàn)的桶號(hào)分布的隨機(jī)性，確保實(shí)驗(yàn)之間的獨(dú)立性)
List<Integer> list = Stream.iterate(1, item -> item + 1).limit(100).collect(Collectors.toList());
Random rnd = new Random(testId);
Collections.shuffle(list, rnd);

// 根據(jù)組流量比例將桶號(hào)分配到各組
for (int i = 0; i < groups.size(); i++) {
    // TODO 按照流量占比分配相同數(shù)量的桶號(hào)
}

如此一來確保了每個(gè)實(shí)驗(yàn)都單獨(dú)占有所有流量，可以取任意組的流量進(jìn)行實(shí)驗(yàn)，但是又引進(jìn)了新的問題，無層會(huì)導(dǎo)致同一個(gè)用戶命中多個(gè)實(shí)驗(yàn)，即使這些實(shí)驗(yàn)是互斥的。

為了解決實(shí)驗(yàn)需要互斥的需求，后期將引入互斥實(shí)驗(yàn)組的概念，將互斥實(shí)驗(yàn)放在同一個(gè)組中，共享所有流量。具體實(shí)現(xiàn)邏輯如下：

新分流邏輯

if (白名單判斷) {
    return "白名單組";
}
if (實(shí)驗(yàn)下線判斷) {
    return "決策組";
}
int groupBucketNum = BucketNumUtil.getBucketNum(groupId + "_" +tokenId);
if (!互斥組流量判斷(groupInfo, groupBucketNum)) {
    // 不在互斥組流量中實(shí)驗(yàn)時(shí)，返回對(duì)照組
    return "對(duì)照組";
}
if (進(jìn)組不出組) {
    if (緩存結(jié)果判斷) {
        return "緩存結(jié)果組";
    }
}
// 分桶分組，用實(shí)驗(yàn)id + 分流標(biāo)識(shí)進(jìn)行hash取模100得到桶號(hào)，同一用戶在不同實(shí)驗(yàn)中的桶號(hào)不完全一樣，確保實(shí)驗(yàn)之間的獨(dú)立性
int bucketNum = BucketNumUtil.getBucketNum(testId + "_" +tokenId);
// 根據(jù)桶號(hào)獲取對(duì)應(yīng)的實(shí)驗(yàn)組
String groupName = getGroupName(testInfo, bucketNum);
if (進(jìn)組不出組) {
    redisCache.set(testId, tokenId, groupName, exAt);
}
return groupName;

新分流方案

// 互斥組內(nèi)流量分配
List<Integer> groupBucketNumList = Stream.iterate(1, item -> item + 1).limit(100).collect(Collectors.toList());
Random rnd = new Random(groupId);
Collections.shuffle(groupBucketNumList, rnd);
// 根據(jù)互斥組流量比例將桶號(hào)分配到各實(shí)驗(yàn)
for (int i = 0; i < groups.size(); i++) {
    // TODO 按照流量占比分配相同數(shù)量的桶號(hào)
}

// 實(shí)驗(yàn)內(nèi)部實(shí)驗(yàn)組桶號(hào)生成分配邏輯不變
List<Integer> testBucketNumList = Stream.iterate(1, item -> item + 1).limit(100).collect(Collectors.toList());
Random rnd = new Random(testId);
Collections.shuffle(testBucketNumList, rnd);

// 根據(jù)組流量比例將桶號(hào)分配到各組
for (int i = 0; i < groups.size(); i++) {
    // TODO 按照流量占比分配相同數(shù)量的桶號(hào)
}

三、A/B Test 實(shí)施指南

實(shí)驗(yàn)的每個(gè)流程與節(jié)點(diǎn)都至關(guān)重要，拒絕為做實(shí)驗(yàn)而做實(shí)驗(yàn)，用心用科學(xué)來做實(shí)驗(yàn)，整體實(shí)驗(yàn)實(shí)施流程圖如下圖。

3.1 實(shí)驗(yàn)設(shè)計(jì)

3.1.1 實(shí)驗(yàn)設(shè)計(jì)初衷

對(duì)于互聯(lián)網(wǎng)產(chǎn)品而言，每次上線新版本都尤為慎重，為了衡量與判斷「新上線的版本」/「現(xiàn)有版本」哪個(gè)版本的策略更優(yōu)，通過事實(shí)的數(shù)據(jù)結(jié)合統(tǒng)計(jì)學(xué)原理進(jìn)行科學(xué)、合理的進(jìn)行決策。

實(shí)驗(yàn)的設(shè)計(jì)是實(shí)驗(yàn)最重要的一環(huán)，實(shí)驗(yàn)設(shè)計(jì)的好壞決定了最終實(shí)驗(yàn)的成功與否。

3.1.2 實(shí)驗(yàn)設(shè)計(jì)模板

3.1.3 實(shí)驗(yàn)設(shè)計(jì)的結(jié)構(gòu)

整體實(shí)驗(yàn)的設(shè)計(jì)分為四個(gè)部分：

實(shí)驗(yàn)基本信息

• 業(yè)務(wù)線歸屬，可分為「B2C」、「C2B」、「C2C」，根據(jù)具體業(yè)務(wù)進(jìn)行選擇即可。（為什么要區(qū)分業(yè)務(wù)線？不同業(yè)務(wù)線進(jìn)行指標(biāo)隔離，提升實(shí)驗(yàn)人員更好更快進(jìn)行指標(biāo)選擇，底層數(shù)據(jù)處理效率與指標(biāo)也更高效，數(shù)據(jù)響應(yīng)更快。）
• 實(shí)驗(yàn)名稱，實(shí)驗(yàn)具體的名稱。
• 實(shí)驗(yàn)編號(hào)，在具體「AB Test 平臺(tái)」在創(chuàng)建實(shí)驗(yàn)后即可獲得，唯一標(biāo)識(shí)了一個(gè)實(shí)驗(yàn)。
• 實(shí)驗(yàn)?zāi)繕?biāo)，在實(shí)驗(yàn)設(shè)計(jì)的初期，上線新版本的目的是什么，希望您能用「核心指標(biāo)」的提升程度來衡量；如：新版本「優(yōu)化下單流程」，核心指標(biāo)「訂單轉(zhuǎn)化率」希望提升 0.8%。

實(shí)驗(yàn)配置信息

• 實(shí)驗(yàn)類型，目前包含了「編程實(shí)驗(yàn)」，「策略實(shí)驗(yàn)」。
• 預(yù)期上線時(shí)間，預(yù)期的實(shí)驗(yàn)上線的時(shí)間。
• 預(yù)期上線天數(shù)，根據(jù)實(shí)驗(yàn)受眾群體的樣本數(shù)量，簡單估測上線的時(shí)長，單位天。業(yè)界的實(shí)驗(yàn)時(shí)長一般是 2-3 周，最短時(shí)長建議不要少于 7 天。因?yàn)椴煌掌诨钴S的用戶群體可能不一樣，所以最好要覆蓋一個(gè)周期，如 7 天、14 天、21 天。那實(shí)驗(yàn)時(shí)長是不是越長越好呢，也不是的，實(shí)驗(yàn)時(shí)間過長會(huì)把各版本的區(qū)別拉平了，不同時(shí)期用戶對(duì)不同策略的反應(yīng)不一樣，一般不超過 30 天。
• 實(shí)驗(yàn)指標(biāo)，通?？杀唤y(tǒng)計(jì)學(xué)檢驗(yàn)的指標(biāo)分為以下三類：人均類指標(biāo)、次均類指標(biāo)、轉(zhuǎn)化率類指標(biāo)。

• 核心指標(biāo)（人均類指標(biāo)、次均類指標(biāo)、轉(zhuǎn)化率類指標(biāo)）：實(shí)驗(yàn)?zāi)繕?biāo)直接相關(guān)，且決定實(shí)驗(yàn)結(jié)果的關(guān)鍵指標(biāo)。
• 相關(guān)指標(biāo)：該實(shí)驗(yàn)需要關(guān)注的其他指標(biāo)，用于輔助試驗(yàn)結(jié)果的解讀。
• 護(hù)欄指標(biāo)：實(shí)際上是相關(guān)指標(biāo)比較特殊的一種，通常是能反映用戶體驗(yàn)受到傷害的指標(biāo)，常常擁有“一票否決權(quán)”，幫助我們平衡實(shí)驗(yàn)決策。

注意：

• 對(duì)于少部分比較重要的相關(guān)指標(biāo)/護(hù)欄指標(biāo)來說，他們是有“一票否決權(quán)”的，他們也需要符合可被統(tǒng)計(jì)學(xué)檢驗(yàn)的要求（判斷這些數(shù)值差異到底是出自偶然，還是有確鑿的判定把握）。
• 對(duì)于核心指標(biāo)，必須是可以直接關(guān)聯(lián)到實(shí)驗(yàn)中的變量，否則無法推測實(shí)驗(yàn)整體的差異性（即實(shí)驗(yàn)有差異性，但是通過數(shù)據(jù)無法觀測出來）。
• 用戶分流標(biāo)識(shí)，目前分為 token/deviceId 與 uid，用于埋點(diǎn)上報(bào)和數(shù)據(jù)統(tǒng)計(jì)的區(qū)分。
• 受眾群體，與用戶畫像進(jìn)行打通，針對(duì)圈定用戶人群的部分用戶開展精準(zhǔn)實(shí)驗(yàn)。

實(shí)驗(yàn)策略設(shè)計(jì)

• 實(shí)驗(yàn)分組，默認(rèn)按照字母順序來， A/B/C/D/E...
• 版本描述，各個(gè)版本的描述性文字，描述清晰各個(gè)版本的情況。
• 流量分配，最多分配 100% 流量，最細(xì)粒度為 1%。

實(shí)驗(yàn)結(jié)論

• 決策分組，最終實(shí)驗(yàn)下線的決策分組。
• 統(tǒng)計(jì)數(shù)據(jù)，各個(gè)版本之前的核心數(shù)據(jù)（核心指標(biāo)_均值，置信區(qū)間，統(tǒng)計(jì)功效）。
• 實(shí)驗(yàn)結(jié)論描述，整體實(shí)驗(yàn)結(jié)果描述。

3.2 實(shí)驗(yàn)埋點(diǎn)上報(bào)規(guī)范

"實(shí)驗(yàn)ID"：實(shí)驗(yàn)的id標(biāo)識(shí)，用于實(shí)驗(yàn)數(shù)據(jù)統(tǒng)計(jì)。

"實(shí)驗(yàn)分組"：實(shí)驗(yàn)分組結(jié)果，用于實(shí)驗(yàn)版本展示的標(biāo)識(shí)。

"分流用戶類型" ：用于實(shí)驗(yàn)分流的標(biāo)識(shí)類型，便于精準(zhǔn)統(tǒng)計(jì) UV 類指標(biāo)數(shù)據(jù)。

埋點(diǎn)上報(bào)格式舉例：

{
    "埋點(diǎn)事件名":"ab",
    "埋點(diǎn)內(nèi)容":{
        "實(shí)驗(yàn)頁面":"XXXX",
        "實(shí)驗(yàn)id":"XXXX",
        "實(shí)驗(yàn)分組":"XXXC",
        "分流用戶類型":"XXXX"
    }
}

3.3 實(shí)驗(yàn)決策指南

3.3.1 實(shí)驗(yàn)決策流程

當(dāng)我們的實(shí)驗(yàn)在線上已經(jīng)運(yùn)行了一段時(shí)間之后，我們需要衡量實(shí)驗(yàn)整體的效果，整體實(shí)驗(yàn)決策的流程如下圖。

實(shí)驗(yàn)報(bào)告：包含了整體實(shí)驗(yàn)總用戶在每個(gè)實(shí)驗(yàn)組的流量分配情況以及「核心指標(biāo)」、「相關(guān)指標(biāo)」的統(tǒng)計(jì)學(xué)檢驗(yàn)結(jié)果，根據(jù)實(shí)驗(yàn)組的核心指標(biāo)相對(duì)于對(duì)照組的核心指標(biāo)變化率情況、置信區(qū)間及統(tǒng)計(jì)功效來評(píng)估試驗(yàn)效果。

「核心指標(biāo)」的提升/下降決定了整體實(shí)驗(yàn)的效果，一般我們用置信區(qū)間和統(tǒng)計(jì)功效來整體判斷實(shí)驗(yàn)的結(jié)果。

注意：對(duì)于少部分比較重要的相關(guān)指標(biāo)/護(hù)欄指標(biāo)來說，他們是有“一票否決權(quán)”的，需要進(jìn)行整體評(píng)估，平衡試驗(yàn)決策。

3.3.2 置信區(qū)間&統(tǒng)計(jì)功效計(jì)算

什么是置信區(qū)間？

置信區(qū)間是一種常用的區(qū)間估計(jì)方法，所謂置信區(qū)間就是分別以統(tǒng)計(jì)量的置信上限和置信下限為上下界構(gòu)成的區(qū)間 。對(duì)于一組給定的樣本數(shù)據(jù)，其平均值為 μ，標(biāo)準(zhǔn)偏差為 σ，則其整體數(shù)據(jù)的平均值的 100(1 - α)% 置信區(qū)間為 (μ - Ζα/2σ, μ + Ζα / 2σ) ，其中 α 為非置信水平在正態(tài)分布內(nèi)的覆蓋面積 ，Ζα / 2 即為對(duì)應(yīng)的標(biāo)準(zhǔn)分?jǐn)?shù)。

為什么要計(jì)算置信區(qū)間？

在「A/B測試」的場景下，主要通過某個(gè)指標(biāo)或留存的實(shí)驗(yàn)版本均值變化值以及置信區(qū)間來判斷，在當(dāng)前指標(biāo)或用戶留存上，實(shí)驗(yàn)版本是否比對(duì)照版本表現(xiàn)得更好。

置信水平，也稱置信水平、置信系數(shù)、統(tǒng)計(jì)顯著性，指實(shí)驗(yàn)組與對(duì)照組之間存在真正性能差異的概率，實(shí)驗(yàn)組和對(duì)照組之間衡量目標(biāo)（即配置的指標(biāo)）的差異不是因?yàn)殡S機(jī)而引起的概率。置信度使我們能夠理解結(jié)果什么時(shí)候是正確的，對(duì)于大多數(shù)企業(yè)而言，一般來說，置信度高于 95％ 都可以理解為實(shí)驗(yàn)結(jié)果是正確的。因此，默認(rèn)情況下，「A/B測試」將置信區(qū)間參數(shù)值設(shè)置為 95％。

• 如果置信區(qū)間上下限均為正值，則表明試驗(yàn)結(jié)果為正向顯著。
• 如果置信區(qū)間上下限均為負(fù)值，則表明試驗(yàn)結(jié)果為負(fù)向顯著。
• 如果置信區(qū)間一正一負(fù)，則表明試驗(yàn)結(jié)果差異不顯著。

計(jì)算邏輯

• 均值類

舉例：實(shí)驗(yàn)核心指標(biāo)是「人均支付金額」，需要計(jì)算 2022-06-01~2022-06-10；區(qū)間內(nèi)「實(shí)驗(yàn)組」相對(duì)「對(duì)照組」置信區(qū)間范圍，數(shù)據(jù)如下所示：

對(duì)照組：參與實(shí)驗(yàn)用戶 239 個(gè)，累積支付金額 121392 元。

實(shí)驗(yàn)組：參與實(shí)驗(yàn)用戶 640 個(gè)，累積支付金額 504795 元。

• 比率類

例如：某個(gè)區(qū)間內(nèi)

3.4 實(shí)驗(yàn)到期下線

實(shí)驗(yàn)到期下線分為兩種情況：未到期決策下線、到期自動(dòng)下線。

• 未到期決策下線，核心指標(biāo)的統(tǒng)計(jì)功效已經(jīng)很明顯，可以直接分出實(shí)驗(yàn)各組的效果，則可以直接以優(yōu)勝組進(jìn)行決策下線，全量決策組，后期業(yè)務(wù)代碼邏輯進(jìn)行下線，落地實(shí)驗(yàn)結(jié)果。
• 到期自動(dòng)下線，當(dāng)實(shí)驗(yàn)設(shè)定的實(shí)驗(yàn)周期已結(jié)束，實(shí)驗(yàn)各組的核心指標(biāo)的統(tǒng)計(jì)功效不明顯，則自動(dòng)以對(duì)照組下線，全量對(duì)照組，后期業(yè)務(wù)代碼邏輯進(jìn)行下線，落地實(shí)驗(yàn)結(jié)果。

四、未來規(guī)劃與展望

• 實(shí)驗(yàn)類型多樣化。提供更多、更豐富的實(shí)驗(yàn)類型，根據(jù)業(yè)務(wù)場景選擇最合適的實(shí)驗(yàn)類型，更科學(xué)有效的進(jìn)行實(shí)驗(yàn)。
• 數(shù)據(jù)報(bào)告豐富化。目前只有單指標(biāo)維度的看數(shù)圖表，留存分析、漏斗分析和歸因分析將是后期的功能迭代點(diǎn)。
• 數(shù)據(jù)與監(jiān)控告警實(shí)時(shí)化。目前的數(shù)據(jù)是離線數(shù)倉 T + 1 清洗打?qū)?，有待提高?shù)據(jù)的實(shí)時(shí)性，能快速發(fā)現(xiàn)問題，調(diào)整實(shí)驗(yàn)方案。

五、總結(jié)

本文主要分享了：

• A/B Test 是什么？
• AB 系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)
• A/B Test 實(shí)施指南
• 未來規(guī)劃與展望

從了解 AB、如何開發(fā) AB 平臺(tái)、如何實(shí)施 AB 實(shí)驗(yàn)和未來的規(guī)劃迭代四個(gè)方面介紹了 A/B Test 在轉(zhuǎn)轉(zhuǎn)的落地與應(yīng)用。在互聯(lián)網(wǎng)產(chǎn)品玲瑯滿目下，如何吸引新用戶，留住老用戶以及試錯(cuò)成本越來越高的場景下，如何通過 A/B Test 小流量、多方案，快速迭代、決策、優(yōu)化產(chǎn)品變得越來越重要。AB 平臺(tái)的建設(shè)還有很長的路要走。

未來轉(zhuǎn)轉(zhuǎn)會(huì)針對(duì)痛點(diǎn)與不足進(jìn)行持續(xù)優(yōu)化，輸出更多的技術(shù)實(shí)踐給大家，一起進(jìn)步成長。