1、引言

雙11期間上線某功能/活動，用戶開通后參與能給大盤帶來交易增量嗎？

業務第一反應大概率是說“會！”。那么，某活動/功能上線與大盤交易提升之間確實存在因果關系嗎？如果真實存在，具體增量是多少？

2、分析過程

為了判斷之間的具體聯系，可以從5個步驟、2種常見判斷方法進行分析。

2.1 明確原因是什么

從前文可知，雙11期間業務上線了某活動/功能。

2.2 明確結果是什么

給大盤帶來了更多交易用戶/訂單/gmv。

2.3 確認3個要點

• 是否純屬巧合？不好評價，從趨勢上來看，該活動上線之后大盤支付人數確實同期在提高；但正值大促，即使不做活動大盤交易大概率也會增長。

• 是否存在同時影響原因和結果的第三變量？一個參與了活動的用戶，比起沒有參加活動的用戶，本身活躍度或成熟度更高，而平臺活躍和交易成熟對是否產生購買是很關鍵的因素。所以，存在第三變量。
• 是否存在逆向因果關系？到底是活動刺激使更多用戶下單？還是高概率下單的用戶更有意愿參與這項活動？

2.4 制造反事實

如果雙11期間沒有上線這個活動，大盤交易量會不會減少？

2.5 調整到可比較狀態

很明顯，如果將大促期間參與了活動和不參與活動的人分成兩組，因為參與活動的用戶更活躍更成熟，而不參與活動的用戶質量相對較差，這種明顯選擇性偏差的存在，導致直接對比是不公平的，不存在可比性。必須把兩組數據調整到可以比較的狀態，分組用戶上要真正體現出“隨機”性。常見的有2種判斷方法，包括隨機對照試驗、雙重查分法?？筛鶕嶋H背景條件選擇使用。

• 隨機對照試驗，即通常所說的AB測試。假設大促期間采用了ab實驗，活動上線時將大盤所有用戶隨機分成的兩組，一組能夠參加活動（干預組），另一組不能參加活動（對照組），然后通過觀察兩組用戶在大促期間的交易表現，對比得出最后的結論。
• 雙重差分法，適用于沒有做實際隨機對照的場景，例如大促期間全量上線了該活動。第三部分會重點介紹該方法的使用。

3、雙重差分法

3.1 基本思想

在沒有隨機實驗的情況下去模擬一種隨機分配實驗。鎖定目標用戶，模擬實驗分組，然后跟蹤不同用戶組在受活動干預前后的大盤交易表現。

前提假設

• 始終不開通參與的用戶 VS 有開通/參與的用戶的場域效應相同，即目標指標的趨勢平行；
• 受到干預期間，沒有出現影響目標值的“其他變化”。

圖示

3.2 計算邏輯

3.3 具體步驟

3.3.1 分組

將全部的樣本數據分為兩大組，分組邏輯是根據是否受到營銷活動干預。

• 實驗組：受到營銷活動的干預影響，根據影響程度又可以分為「平銷已開通」影響復購動支，「平銷未開通->大促新開通」 影響開通和動支。
• 對照組：沒有受到同一活動的干預影響，表現為用戶「始終未開通」。

3.3.2 目標選定

確定觀測的目標指標，大盤動支率、戶均大盤gmv。

3.3.3 驗證分組合理性

隨機圈選平銷期（10.10為例）用戶，觀察不同分組在10.10-11.11期間的戶均gmv變化趨勢是否一致。

• 10.10日新開通用戶、10.11-11.10期間中途新開通用戶在臨近10.10日階段與波動較大，與其他分組差異較大，不作為后續分析可用分組。
• 始終未開通、始終開通、雙11當天新開通三個分組的用戶，在10.10-11.10期間變化趨勢一致、差異基本保持穩定?？勺鳛楹罄m分析可用分組。

3.3.4 差分

驗證完滿足假設前提后進行兩次差分，第一次差分得出干預前后總差異，第二次差分得到干預凈效應。

• 第1次差分：分別對在干預前后進行兩次差分（相減）得到兩組差值，代表實驗組與對照組在干預前后分別的相對關系；
• 第2次差分：對兩組差值進行第二次差分，從而消除實驗組與對照組原生的差異，最終得到干預帶來的凈效應。

3.3.5 方法小結

• 優點：較為客觀的去除場域影響，剝離出由營銷活動干預下帶來的大盤增量。能基本解決“大促期做的營銷活動對于大盤的影響”。
• 不足：

（1）大盤收益，同一時間段多個活動共同干預時，無法剝離單個活動效益大小。如，11.11當天，針對新客既做了活動1，又做了活動2，則無法分別評估活動1、活動2的效果。

（2）無法涵蓋“所有”增量。如平銷期與大促期之間新增用戶、中途開通的用戶表現。