作者 ｜ vivo 互聯網數據分析團隊-Dong Chenwei，vivo 互聯網大數據團隊-Qin Cancan、Zeng Kun

本文介紹了vivo游戲中心在灰度數據分析體系上的實踐經驗，從“實驗思想-數學方法-數據模型-產品方案”四個層面提供了一套較為完整的智能灰度數據解決方案，以保障版本評估的科學性、項目進度以及灰度驗證環節的快速閉環。該方案的亮點在于，指標異動根因分析方法的引入和全流程自動化產品方案的設計。

一、引言

游戲業務的用戶規模體量大，業務鏈路長，數據邏輯繁雜。游戲中心作為游戲業務平臺端的核心用戶產品，版本迭代非常頻繁，每次版本上線前都必須進行小量級的灰度驗證。2021年以來，平均每1~2周都會有重要版本開始灰度，而且線上有時會同時有多個版本在灰度測試。

灰度的整個過程在數據層面主要涉及3個問題：

• 如何確保版本灰度評估的科學性？
• 如何提升灰度數據的產出效率，保障項目進度？
• 當灰度版本出現指標異常問題時，如何快速定位問題完成閉環？

近兩年來，我們逐步將灰度評估方法體系化地落地到敏捷BI等數據產品上，目前灰度數據體系已經較好地解決了這3個問題。本文首先以版本灰度數據體系的基本概念和發展歷程為鋪墊，接著以“方法論+解決方案”為主線闡述游戲中心在灰度數據體系上的實踐，并展望未來。

二、灰度數據體系的發展

2.1 什么是灰度發版

當游戲中心開發了全新的首頁界面，應該如何驗證新的首頁是否被用戶所接受，并且功能是否完善、性能是否穩定？

答：灰度發版。就是在新版本推送給全量用戶使用之前，按照一定策略選取部分用戶，讓他們先行體驗新版首頁，以獲得他們關于“新的首頁好用或不好用”以及“如果不好用，是哪里出了問題”的使用反饋。如果出現重大問題，則及時回滾舊版本；反之則根據反饋結果進行查漏補缺，并適時繼續放大新版本投放范圍直至全量升級。

2.2 灰度評估方案發展階段

判斷灰度發版是否科學的關鍵在于控制變量，這一問題的解決過程，也是灰度評估方案迭代和發展的過程。

階段一：確保了對比的時間相同，但升級速度差異意味著優先升級的用戶和未升級的用戶非同質用戶，未能規避樣本差異對數據結果差異的影響。

階段二：確保了對比的人群相同，但用戶行為可能隨時間而變化，無法剔除前后時間因素的差異。

階段三：同時確保了時間和人群相同，有以下三方面優勢：

• 將舊版本打包為對比包，與新版本的灰度包一起，分別對兩批同質用戶發布，保證了灰度包和對比包的樣本屬性、時間因素一致；
• 依據產品目標計算合理的樣本量，避免樣本過少導致結果不可信、過多導致資源浪費；
• 依托靜默安裝功能快速升級，縮短灰度驗證階段的時間。

2.3 灰度數據體系內容    

灰度數據體系通常涉及前期流量策略和后期數據檢驗2個部分。

前者包括樣本量計算和灰度時長控制，后者包括新老版本核心指標對比、產品優化處的指標變化或新增功能的數據表現。在常規的灰度評估之外，引入根因分析的方法可以提升灰度結果的解釋性。

2.4 vivo游戲中心的做法

我們搭建了“游戲中心智能灰度數據體系”，并通過三版迭代逐步解決了本文開頭提到的3個問題。數據體系由指標檢驗結果、維度下鉆解讀、用戶屬性校驗、指標異常診斷等主題看板以及自動化推送的灰度結論報告組成。

完整方案部署上線后，基本實現了灰度評估階段的自動化數據生產、效果檢驗、數據解讀和決策建議的閉環，極大地釋放了人力。

三、灰度數據體系中的方法論

在介紹數據方案設計前，先介紹一下灰度數據體系中涉及的背景知識和方法論，幫助大家更好地理解本文。

3.1 灰度實驗

灰度實驗包括抽樣和效果檢驗兩個部分，對應的是假設檢驗的思想以及樣本歷史差異性驗證。

3.1.1 假設檢驗

假設檢驗是先對總體參數提出一個假設值，然后利用樣本表現判斷這一假設是否成立。

3.1.2 樣本歷史差異性驗證

雖然灰度前事先已通過hash算法進行抽樣，但由于抽樣的隨機性，一般會在統計檢驗和效果檢驗的同時，對樣本的歷史差異性進行驗證，剔除樣本本身差異帶來的指標波動。灰度周期通常為7天，我們采用了7天滑動窗口取樣的方法。

3.2 根因分析

灰度指標往往與多維屬性（如用戶屬性、渠道來源、頁面模塊等）存在關聯，當指標的檢驗結果發生異常的顯著差異時，想要解除異常，定位出其根因所在是關鍵一步。然而，這一步常常是充滿挑戰的，尤其當根因是多個維度屬性值的組合時。

為了解決這一問題，我們引入了根因分析的方法，以彌補了灰度檢驗結果解釋性不足的問題。我們結合了指標邏輯分析法和Adtributor算法2種方法，以確保分析結果的可靠性。

3.2.1 指標邏輯分析法

由于灰度實驗中構建的指標體系基本都是率值類指標或均值類指標，這兩類指標都可以通過指標公式拆解為分子和分母兩個因子，而指標的分子和分母均是由各個維度下的維度值相加得到。因此提出了指標邏輯分析法，基于一定的拆解方法，從指標因子和指標維度2個層次對指標值進行邏輯拆解。

3.2.2 Adtributor算法

除了根因分析比較常見的維度下鉆方法以外，我們引入了Adtributor算法，以更好地應對多維度組合影響指標的情況，并通過兩種方法的交叉驗證來確保分析結果的可靠性。

Adtributor算法是微軟研究院于2014年提出的一種多維時間序列異常根因分析方法，在多維度復雜根因的場景下具有良好的可靠性。算法完整過程包括數據預處理、異常檢測、根因分析和仿真可視化4個步驟，我們主要借鑒了根因分析環節的方法。

四、灰度智能解決方案

4.1 整體框架 

版本灰度可以分為灰度前-灰度中-灰度后3個階段，產品化整體框架如下：

4.2 流程設計

基于以上框架，我們是如何設計實現的？

以下是描述整個過程的流程圖：

4.3 方案核心內容

4.3.1 樣本量預估方案

看板提供：在多套置信水平跟檢驗效能標準下（默認顯示95%置信度、80%檢驗效能），根據指標最近表現，預估出指標在不同預期變化幅度下能被檢測出顯著與否的最低樣本量。

 該方案具有3大特點：

• 輸出多套標準，靈活調整預期幅度；
• 自動選取最近一個全量版本的數據作為數據輸入；
• 均值類指標和率值類指標采用差異化的計算邏輯。

4.3.2 效果指標顯著性檢驗方案

指標顯著性檢驗模型需要回答的問題是：灰度版本相較對比版本，指標變化在統計意義上是置信的還是不置信的。

目前，實現了三種置信水平下灰度版本與對比版本在20個業務指標上的顯著性判斷。

實現過程如下：

率值類指標

... ...
# 已得以下指標數據
    variation_visitors  # 灰度版本指標分母
    control_visitors  # 對比版本指標分母
    variation_p  # 灰度版本指標值
    control_p  # 對比版本指標值
    z  # 不同置信水平(90%/95%/99%)下的z值，業務上主要關注95%置信水平下的顯著檢驗結果
# 計算指標標準差
    variation_se = math.sqrt(variation_p * (1 - variation_p))
    control_se = math.sqrt(control_p * (1 - control_p))
# 計算指標變化值和變化率   
    gap = variation_p - control_p
    rate = variation_p / control_p - 1
# 計算置信區間
    gap_interval_sdown = gap - z * math.sqrt(math.pow(control_se, 2) / control_visitors + math.pow(variation_se, 2) / variation_visitors)  # 變化值置信區間下界
    gap_interval_sup = gap + z * math.sqrt(math.pow(control_se, 2) / control_visitors + math.pow(variation_se, 2) / variation_visitors)  # 變化值置信區間上界
    confidence_interval_sdown = gap_interval_sdown / control_p  # 變化率置信區間下界
    confidence_interval_sup = gap_interval_sup / control_p  # 變化值置信區間上界
# 顯著性判斷
    if (confidence_interval_sdown > 0 and confidence_interval_sup > 0) or (confidence_interval_sdown < 0 and confidence_interval_sup < 0):
       print("顯著")
    elif (confidence_interval_sdown > 0 and confidence_interval_sup < 0) or (confidence_interval_sdown < 0 and confidence_interval_sup > 0):
       print("不顯著")
... ...

均值類指標

... ...
# 已得以下指標數據
    variation_visitors  # 灰度版本指標分母
    control_visitors  # 對比版本指標分母
    variation_p  # 灰度版本指標值
    control_p  # 對比版本指標值
    variation_x  # 灰度版本單用戶指標值
    control_x  # 對比版本單用戶指標值
    z  # 不同置信水平(90%/95%/99%)下的z值，業務上主要關注95%置信水平下的顯著檢驗結果
# 計算指標標準差
    variation_se = np.std(variation_x, ddof = 1)
    control_se = np.std(control_x, ddof = 1)
# 計算指標變化值和變化率   
    gap = variation_p - control_p
    rate = variation_p / control_p - 1
# 計算置信區間
    gap_interval_sdown = gap - z * math.sqrt(math.pow(control_se, 2) / control_visitors + math.pow(variation_se, 2) / variation_visitors)  # 變化值置信區間下界
    gap_interval_sup = gap + z * math.sqrt(math.pow(control_se, 2) / control_visitors + math.pow(variation_se, 2) / variation_visitors)  # 變化值置信區間上界
    confidence_interval_sdown = gap_interval_sdown / control_p  # 變化率置信區間下界
    confidence_interval_sup = gap_interval_sup / control_p  # 變化值置信區間上界
# 顯著性判斷
    if (confidence_interval_sdown > 0 and confidence_interval_sup > 0) or (confidence_interval_sdown < 0 and confidence_interval_sup < 0):
       print("顯著")
    elif (confidence_interval_sdown > 0 and confidence_interval_sup < 0) or (confidence_interval_sdown < 0 and confidence_interval_sup > 0):
       print("不顯著")
... ...

看板展示如下：

4.3.3 負向指標自動根因分析方案

灰度場景的負向指標自動化根因分析方案包括異動檢測、樣本歷史差異性驗證、指標邏輯拆解和Adtributor自動根因分析4個步驟。

其中，Adtributor自動根因分析能計算出同一層級的維度中對指標異動貢獻最大的那個因素，我們通過對指標維度進行分層和設置相互關系來適應具體的指標業務場景，構建起多層級歸因算法邏輯模型，從而實現業務層面根因結論的自動化輸出。

看板展示如下：

4.3.4 灰度報告智能拼接推送方案

版本信息內容的自動獲取：

通過打通發版平臺獲取版本號、實際在裝量、發版累計天數以及版本相關內容，作為灰度報告的開頭。

結論呈現：

根據指標是否全正向/部分負向/全負向、是否樣本不均勻等各種統計結果自動組合對應到預設的結論文案中，一共預設了10多種結論模版。  

核心指標顯著性檢驗解讀（根據灰度階段不同，解讀不同類型指標）：

• T+1～T+2：性能類指標、活躍率指標

• T+3～T+6：活躍表現指標、分發表現指標、下載安裝過程轉化指標
• T+7：活躍表現指標、分發表現指標、下載安裝過程轉化指標、后項轉化類指標

下鉆一級模塊維度歸因解讀：

如果灰度版本前期已明確輸入具體到某個一級模塊的改動點，會自動進行該模塊的解讀，以及輸出其他有指標差異的模塊的數據；如果灰度版本沒有輸入模塊層面的改動點，就輸出指標效果顯著（正向顯著、負向顯著）的一級模塊的解讀結論。

樣本量均勻性解讀：

業務類指標，通過顯著性檢驗判斷是否分布均勻；非業務類指標，通過分布差異來判斷。

負向診斷解讀：

根據多層級自動化根因模型輸出的結果，按照不同維度類型映射的修飾詞、維度數量定位（單維度/多維度）以及樣本歷史差異性驗證結論，對應不同的模版，最終拼接出負向診斷文案。

五、寫在最后

對于業務灰度發版中科學評估和快速決策的要求，我們結合了多種方法，從“實驗思想-數學方法-數據模型-產品方案”四個層面提供了一套較為完整的智能灰度數據體系解決方案。

本文希望能為業務中的灰度數據體系建設提供參考，但仍應結合各業務自身的特點進行合理設計。方案中涉及的數據模型設計在這里不詳細介紹，感興趣的同學歡迎和筆者一起探討學習。

此外，灰度數據體系仍有待改進之處，這里先拋出來，有一些也已經在研究解決中：

• 在灰度流量分組的時候，通常采用隨機分組的方式。但是由于完全隨機的不確定性，分完組后，2組樣本在某些指標特性上可能天然就分布不均。相較于后置的樣本均勻性驗證的方法，也可考慮分層抽樣的方式來避免這一問題；
• 在灰度指標分析的流程中，自動多維根因分析模型還存在提升的空間，目前模型非常依賴于本身數據源中維度的全面性，且只能檢測出定量部分的原因。后續希望把定量的根因模型，結合定性因素進行更全面更準確的解讀；
• 游戲中心目前整個灰度的解決方案本質上還是基于2 sample-test的檢驗模型，但該模型需要根據灰度版本相較于對比版本在核心指標上的預期提升，來提前估算最小樣本量，實際灰度過程中可能會出現核心指標未達如預期的情況。未來可嘗試mSPRT等檢驗方法，削弱最小樣本量對顯著性結果的限制。

參考文獻：

1. 茆詩松, 王靜龍, 濮曉龍. 《高等數理統計（第二版）》
2. 是老李沒錯了. 《五分鐘掌握AB實驗和樣本量計算原理》. CSDN博客
3. Ranjita Bhagwan, Rahul Kumar, Ramachandran Ramjee, et al. 《Adtributor: Revenue Debugging in Advertising Systems》