一、因果推斷的研究范式

研究范式目前主要有兩個主要的研究方向：

• Judea Pearl Structure Model 
• 潛在的輸出框架 

在Judea Pearl 《The Book of Why – The New Science of Cause and Effect》這本書中，將認知階梯定位為三層：

• 第一層-關聯：通過關聯的方式找出規律，可以直接觀察；
• 第二層-干預：如果改變現狀，應當實施什么樣的行動，得出什么樣的結論，可以通過實驗觀察；
• 第三層-反事實：由于法律法規等問題無法直接實驗觀察，通過反事實假設，如果實施了行動，會發生什么，如何評估ATE和CATE，是較為困難的一個問題。

首先闡述下產生相關關系的四種方式：

1. 因果關聯：原因和結果之間有可靠的，可追溯的，能夠正向依賴的關系，比如煙霧與煙霧報警器具有因果關聯；

2. 混淆關聯：含有未能直接觀測的混淆變量，比如身高和閱讀能力是否能夠關聯起來，需要控制年齡這個變量相似，從而得出有效的結論；

3. 選擇偏差：本質上是伯克森悖論，比如探究外貌和才華的關系，如果只在明星群體中觀察，可能會得出結論：長相和才華不可兼得。如果在全部人類里觀察，長相與才華沒有因果關系。

4. 逆向因果關系：即因果倒置，比如統計顯示人類結婚時間越長，壽命就越長。但是反過來，我們不能說：如果想獲取更長的壽命，就要早早結婚。

混淆因子如何影響觀測結果，這里有兩個case可以說明：

上面圖片描述了運動量與膽固醇水平的關系。從左圖可得出結論：運動量越大，膽固醇水平越高。但是加入年齡分層來看，相同年齡分層下，運動量越大，膽固醇水平越低。此外，隨著年齡增長，膽固醇水平逐漸升高，這個結論才符合我們的認知。

第二個例子為信貸場景。從歷史統計數據中可以看出，給定的額度（能借到的錢款數）越高，逾期率越低。但是金融領域，會首先根據借款人的A卡判斷其信用資質，如果信用資質越好，則平臺賦予額度越高，整體逾期率也很低。但是根據局部隨機實驗表明，相同信用資質人群，會有一部分人其額度風險遷移曲線變化比較緩慢，也會有一部分人其額度遷移風險較高，即額度提升后，帶來的風險增量較大。

上面兩個case說明，如果建模中忽略混淆因子，可能會得到錯誤，甚至相反的結論。

如何從RCT隨機樣本過渡到觀測樣本因果建模？

對于RCT樣本的情況，如果希望評估ATE指標，可以通過分組相減或DID(difference in difference)。如果希望評估CATE指標，可以通過uplift 建模。常見的方法比如有meta-learner，double machine learning，causal forest等等。這里需要注意必要的三大假設：SUTVA，Unconfoundedness和Positivity。最核心的假設為：不存在未觀測混淆因子。

對于僅有觀測樣本的情況，無法直接獲取treatment->outcome的因果關系，我們需要借助必要的手段切斷covariates到treatment的后門路徑。常見方法是工具變量法和反事實表示學習。工具變量法需要對具體業務抽絲剝繭，繪制業務變量中因果圖。反事實表示學習則依靠成熟的機器學習，匹配covariates相似的樣本做因果評估。

二、、因果推斷的框架演進

1、從隨機數據到觀測數據

接下來介紹因果推斷的框架演進，是如何一步步過度到因果表示學習的。

常見Uplift Model有：Slearner, Tlearner, Xlearner。

其中Slearner將干預變量視為一維特征。需要注意，在常見的樹模型里，treatment容易被淹沒，導致treatment effect估計偏小。

Tlearner將treatment離散化，對干預變量分組建模，每一個treatment建立預測模型，再作差。需要注意，較少的樣本量會帶來較高的估計方差。

Xlearner分組交叉建模，將實驗組和對照組分別進行交叉計算訓練。該方法綜合了S/T-learner的優點，其缺點是引入了更高的模型結構誤差，提高了調參難度。

三種model比較：

在上圖中，橫軸是復雜的因果效應，MSE的的估計誤差，縱軸是簡單的因果效應，橫軸縱軸分別表示兩份數據。綠色表示Slearner的誤差分布，褐色表示Tlearner的誤差分布，藍色表示Xlearner的誤差分布。

在隨機樣本條件下，Xlearner對于復雜的因果效應估計和簡單的因果效應估計均更優；Slearner對于復雜因果效應預估表現相對較差，對簡單因果效應估計更優；Tlearner則與Slearner相反。

如果有隨機樣本，X到T的箭頭可以去掉。過渡到觀測建模后X到T的箭頭去不掉，treatment和outcome會同時受到confounders的影響，這時可以進行一些消偏處理。比如DML（Double Machine Learning)的方式，進行兩階段建模。在第一階段中，這里的X是用戶自身的表征特征，比如年齡、性別等。混淆變量會包括比如歷史中對篩選特定人群的操作。在第二階段中，對上一階段計算結果的誤差進行建模，這里的即是對CATE的估計。

從隨機數據到觀測數據有三種處理方式：

（1）做隨機試驗，但業務成本較高；

（2）尋找工具變量，一般比較困難；

（3）假設觀測到所有的混淆因子，利用DML、表示學習等方法匹配相似樣本。

2、因果表示學習

反事實學習的核心思想就是平衡不同treatment下的特征分布。

核心問題有兩個：

1. 如何調整訓練樣本的權重？ 

2. 如何在表示空間中，使變換后的樣本在實驗組和對照組分布更加均衡？

本質思想是在變換映射后，為每個樣本尋找它的反事實“雙胞胎”。映射之后treatment組和control組X的分布比較相似。

比較有代表性的工作是發表在TKDE 2022上面的一篇論文，介紹了DeR-CFR的一些工作，這部分其實是DR-CRF模型的迭代，采用model-free的方式分離觀測變量。

將X變量分成三塊：調節變量A，工具變量I和混淆變量C。之后再通過I，C，A來調節不同treatment下X的權重，達到在觀測數據上進行因果建模的目的。

這種方法的優勢是可以分離混淆因子，減少估計偏差。缺點是難以處理連續型干預。

這個網絡的核心就是如何分離A/I/C三類變量。調節變量A只與Y有關，需要保證A與T正交，并且A對Y的經驗誤差較小；工具變量I只與T有關，需要滿足I與Y關于T條件獨立，并且I對T的經驗誤差較小；混淆變量C與T和Y都相關，w是網絡的權重，給了網絡權重后，需要保證C與T關于w條件獨立。這里的正交性可以通過一般的距離公式實現，比如logloss或者mse歐氏距離等約束。

如何處理連續型干預，這塊也是有一些新的論文研究，發表在ICLR2021上的VCNet，提供了連續型干預的估計方法。缺點是難以直接應用在觀測數據上（CFR場景）。

將X映射到Z上，Z主要包含之前提到的X分解中的I變量和C變量，即將對treatment比較有貢獻的變量從X中提取出來了。這里將連續treatment劃分為B個分段/預測頭，每個連續函數轉化成分段的線性函數，最下化經驗誤差log-loss，用來學習

之后再用學完的Z和θ(t)去學習。

即outcome。這里的θ(t)是可以處理連續型treatment的關鍵，是一個變系數的模型，但是這個模型只處理了連續性treatment，如果是觀測數據，無法保證每一個B分段數據同質。

三、反事實額度模型 Mono-CFR

最后來介紹一下度小滿的反事實額度模型，這里主要解決的是在觀測數據上對連續型Treatment的反事實估計問題。

核心問題是，如何給用戶設計（可借）額度，使得平臺盈利最大化？這里的先驗知識是，額度越高，用戶借款越多，違約風險越高。反之同理。 

• 第一步，定義盈利公式。盈利=額度收入-額度風險。公式看起來簡單，但實際上會有很多細節的調整。這樣，問題就轉化為了在觀測數據上建模額度與風險(壞賬)、額度與收入的因果關系。 
• 第二步，估計用戶在各個額度檔位上的預估收入和壞賬，確定最大盈利額度。

我們期望對每個用戶有如上圖所示的一個盈利曲線，在不同的額度檔位上，對收益值做反事實預估。

如果在觀測數據上看到額度越高風險越低，本質上是由于混淆因子的存在。我們場景里的混淆因子是信用資質。信用資質比較好的人，平臺會賦予更高的額度，反之則賦予較低額度。優信用資質人群的絕對風險仍舊明顯低于低信用資質人群。若拉齊信用資質，會看到額度的提升將帶來風險的提升，高額度突破了用戶自身的償債能力。

我們開始介紹反事實額度模型的框架。在可觀測變量X中，存在之前提到的三種變量，其中大多數是混淆變量C，小部分是策略未考慮到的是調節變量A，還有一部分是僅僅跟干預有關系的工具變量I。 

• 工具變量I：如政策、需求等，會影響歷史的定額策略，但不會影響逾期概率。 
• 混淆變量C：如信用、收入與負債等，同時影響對額度的調整，和這個人的逾期概率。 
• 調節變量A：如環境、社會地位等，會影響逾期率。

模型思想：給定期望額度μ(T|X)，學習?T與Y的單調性關系（Dose-Response Curve）。期望額度可以理解為模型學習到的連續性傾向額度，使得混淆變量C和額度T之間的關系能夠斷開，轉換成?T與Y的因果關系學習，從而對?T下Y的分布進行較好的刻畫。

這里進一步細化上述抽象的框架：將?T轉化成變系數模型，再接入IntegrandNN網絡，訓練誤差分成兩部分：

這里的α是衡量風險重要程度的超參數。

Mono-CFR由兩大部分組成： 

• 額度傾向網絡：預測策略傾向額度，使X⊥?T。

作用一：蒸餾出X中與T最相關的變量，最小化經驗誤差。 

作用二：錨定歷史策略上的近似樣本。

• 風險單調網絡：約束?T與Y的理論單調關系。 

作用一：對弱系數變量施加獨立單調約束。

作用二：減少估計偏差。

問題轉化為： 

• 額度傾向網絡：驗證輸出?T與Y 的關系。 
• 風險單調網絡：如何約束?T與Y的單調性？

實際額度傾向網絡輸入如下：

橫軸是A卡評分定義出的人群，可以看出，不同傾向額度μ(T|X)下，額度差?T與逾期率Y呈現單調遞增關系，越劣質人群的額度差?T變化曲線越陡峭，實際逾期率變化曲線也越陡峭，整個曲線斜率更大。此處的結論完全是通過歷史的數據學習得出的。

從X和?T分布圖中可以看出：不同資質人群（圖中通過不同顏色區分）的額度差?T均勻分布在相似的區間之中，這是從實際角度說明。

從理論角度，亦可被嚴格證明。

第二部分是風險單調網絡的實現：

這里的ELU+1函數數學表達式為：

?T和逾期率呈現單調遞增的變化趨勢，通過ELU+1函數的導數總是大于等于0來保證。

接下來說明風險單調網絡如何對弱系數變量學的更加準確：

假設有這樣一個公式：

可以看出這里的x₁即為弱系數變量，當對x₁施加單調性約束后，對響應Y的估計更加準確。如果沒有這樣的單獨約束，x₁的重要性會被x₂淹沒，導致模型偏差增大。

如何離線評估額度的風險的估計曲線？

分成兩部分：

• 第一部分：可解釋驗證

不同資質人群下，去繪制如上圖所示的額度風險變化曲線，模型可以學出不同資質人群（圖中不同顏色標識）不同檔位實際額度和逾期率的區分度。

• 第二部分：利用小流量實驗驗證，不同提額幅度下的風險偏差，可以通過uplift分箱得出。

線上實驗結論： 

在額度上漲30%條件下，用戶逾期金額下降20%以上， 借款提升30%，盈利性提升 30%以上。

未來模型預期：

以model-free形式將工具變量與調節變量更清晰地分開，使模型在劣質人群上的風險遷移表現更佳。

在實際業務場景中，度小滿的模型演進迭代流程如下：

第一步，觀測建模，不斷滾動歷史觀測數據，去做反事實因果學習，不斷拉新訓練窗口，補充外部數據源。

第二步，模型迭代，依據小流量隨機樣本進行效果驗證，支持有效的模型迭代。

第三步，業務決策，業務根據模型輸出進行實驗決策，驗證模型效果提升，拿到業務收益。