本工作被人工智能頂級(jí)會(huì)議 NeurIPS 2024 接收。在諸如推薦系統(tǒng)、展示廣告等多數(shù)實(shí)際應(yīng)用中，所收集的數(shù)據(jù)往往包含缺失值，并且這些缺失值通常并非隨機(jī)缺失，這會(huì)使模型的預(yù)測(cè)性能變差。一些現(xiàn)有的估計(jì)量和正則化器試圖實(shí)現(xiàn)無(wú)偏估計(jì)以提升模型的預(yù)測(cè)性能。然而，當(dāng)傾向得分趨于零時(shí)，這些方法的方差和泛化誤差界通常是無(wú)界的，從而損害了它們的穩(wěn)定性和魯棒性。在本文中，我們首先從理論上揭示了正則化技術(shù)的局限性。此外，我們進(jìn)一步闡明，對(duì)于廣義形式的估計(jì)器，其無(wú)偏性必然會(huì)導(dǎo)致方差和泛化誤差無(wú)界。這些一般性規(guī)律啟示我們，預(yù)估模型的設(shè)計(jì)并非僅僅關(guān)乎消除偏差、減小方差或者簡(jiǎn)單地實(shí)現(xiàn)偏差-方差的權(quán)衡。我們基于這些理論發(fā)現(xiàn)，從一個(gè)全新的視角重新審視對(duì)于非隨機(jī)缺失數(shù)據(jù)預(yù)估建模的本質(zhì)——偏差和方差的定量聯(lián)合優(yōu)化。網(wǎng)商銀行智能營(yíng)銷團(tuán)隊(duì)提出細(xì)粒度動(dòng)態(tài)學(xué)習(xí)框架來(lái)聯(lián)合優(yōu)化偏差和方差，該框架能夠依據(jù)預(yù)先定義的目標(biāo)函數(shù)為每個(gè)用戶-商品對(duì)自適應(yīng)地選擇合適的估計(jì)器。通過(guò)這種操作，模型的泛化誤差界和方差降低并從理論層面保證了預(yù)估模型方差和泛化誤差有界，進(jìn)一步提高模型在隨機(jī)缺失數(shù)據(jù)上的泛化能力。

論文題目：Fine-Grained Dynamic Framework for Bias-Variance Joint Optimization on Data Missing Not at Random

論文連接：https://openreview.net/forum?id=gLoe70Tn8V&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3DNeurIPS.cc%2F2024%2FConference%2FAuthors%23your-submissions)

一、糾偏推薦背景介紹

在幾乎所有的實(shí)際應(yīng)用場(chǎng)景中，我們所收集的數(shù)據(jù)存在一定概率的部分缺失情況。具有相同缺失概率的特殊情形被稱為隨機(jī)缺失（MAR）。然而，在在線推薦、搜索和展示廣告領(lǐng)域，存在大量非隨機(jī)缺失（MNAR）的點(diǎn)擊、轉(zhuǎn)化和評(píng)級(jí)記錄，樣本缺失的概率各不相同，即存在傾向性。例如，在推薦系統(tǒng)中，用戶通常會(huì)點(diǎn)擊他們可能購(gòu)買(mǎi)的物品，而對(duì)購(gòu)買(mǎi)意愿較低的其他物品則予以忽略。因此，所觀察到的點(diǎn)擊和轉(zhuǎn)化數(shù)據(jù)屬于 MNAR 類型，并非代表性樣本。當(dāng)使用 MNAR 數(shù)據(jù)來(lái)訓(xùn)練模型時(shí)，該模型在 MAR 數(shù)據(jù)上的預(yù)測(cè)表現(xiàn)通常難以令人接受。這是因?yàn)?MNAR 數(shù)據(jù)給預(yù)測(cè)模型引入了樣本選擇偏差。

為了消除樣本選擇偏差，研究人員提出了許多偏差校正的估計(jì)器（如基于誤差插補(bǔ)的（EIB）方法、逆傾向加權(quán)（IPW/IPS）技術(shù)、雙重魯棒（DR）方法等）。然而，在幾乎所有的偏差校正方法中，較小的傾向性導(dǎo)致了高方差和泛化誤差界。因此，研究者提出了各種方法來(lái)降低估計(jì)方差并提高模型穩(wěn)定性。盡管如此，當(dāng)傾向性趨于零時(shí)，它們?nèi)匀痪哂袩o(wú)窮的方差和泛化邊誤差界，這對(duì)于模型的泛化性能會(huì)產(chǎn)生較大的影響。對(duì)于由小傾向性引起的高方差和泛化邊界，一些方法通過(guò)犧牲無(wú)偏性而采用歸一化技術(shù)，例如，歸一化 IPS（SNIPS），穩(wěn)定 DR（SDR）。此外，之前的大多數(shù)工作只關(guān)注通過(guò)設(shè)計(jì)估計(jì)器或正則化器來(lái)減少方差或消除偏差，而忽視了估計(jì)器設(shè)計(jì)中偏差-方差的關(guān)系和本質(zhì)。

二、正則化技術(shù)和目前糾偏估計(jì)器的局限性

非隨機(jī)缺失數(shù)據(jù)

定義用戶集合和商品集合為 U={u_1,u_2,?,u_M }和 I={i_1,i_2,?,i_N }。所有用戶-商品對(duì)的集合表示為 D=U×I，標(biāo)簽矩陣和預(yù)估矩陣表示為 Y∈R^(M×N)和 Y ?∈R^(M×N)，其中預(yù)測(cè)任務(wù)包含用戶評(píng)分預(yù)估，點(diǎn)擊率（CTR）預(yù)估，轉(zhuǎn)化率（CVR）預(yù)估等。Y 和 Y ? 中的每個(gè)元素〖y?u,i〗和 y ?_(u,i)為用戶 u 對(duì)商品 i 真實(shí)標(biāo)簽和預(yù)測(cè)輸出。一般情況下，標(biāo)簽矩陣 Y 不可能被全部觀測(cè)到。樣本被觀測(cè)的變量表示為 o_(u,i)∈{0,1}，考慮到無(wú)缺失樣本的情況，則的預(yù)測(cè)不準(zhǔn)確度定義為：

其中，e_(u,i) 為預(yù)測(cè)誤差。預(yù)測(cè)問(wèn)題的目標(biāo)是最小化上述預(yù)測(cè)不準(zhǔn)確度 L_real。事實(shí)上，只有觀測(cè)標(biāo)簽集合 Y^O 能被用于建模。樸素預(yù)估方法通過(guò)建立模型最小化如下所示的預(yù)測(cè)不準(zhǔn)確度。

如果每個(gè)樣本缺失的概率相同，那么上述的樸素預(yù)估方法是無(wú)偏的。但是，如果使用的樣本是 MNAR 的，那么上述估計(jì)器是有偏的。

考慮到 MNAR 數(shù)據(jù)帶來(lái)的樣本選擇偏差問(wèn)題，研究人員提出各種無(wú)偏估計(jì)方法來(lái)克服這個(gè)問(wèn)題，如：EIB，IPS/IPW，DR，以及它們的各種變體。EIB、IPS、DR 估計(jì)器的損失函數(shù)如下所示：

其中，為缺失數(shù)據(jù)的 MAE 插補(bǔ)誤差，為缺失數(shù)據(jù)的MSE插補(bǔ)誤差，w 和 γ 為超參數(shù)。p ?_(u,i) ?(0,1) 為傾向性分?jǐn)?shù)。對(duì)于樸素估計(jì)器、EIB、IPW/IPS、DR 方法的偏差和方差公式由下表給出。

其中，，。

通常來(lái)說(shuō)，插補(bǔ)誤差預(yù)估模型的學(xué)習(xí)也涉及到 MNAR 問(wèn)題。一些聯(lián)合學(xué)習(xí)算法，如 DR-JL 等，使用傾向模型來(lái)克服這個(gè)問(wèn)題。因此，傾向性估計(jì)在無(wú)偏性和穩(wěn)健性方面具有關(guān)鍵作用。此外，很難準(zhǔn)確估計(jì)所有用戶-物品對(duì)的插補(bǔ)誤差，因此很難實(shí)現(xiàn) EIB 估計(jì)器的無(wú)偏性。如果傾向性估計(jì) p ?_(u,i) 是準(zhǔn)確的，即 p ?_(u,i)=p_(u,i)，那么 IPS 和 DR 估計(jì)器是無(wú)偏的。實(shí)際應(yīng)用中，對(duì)于一個(gè)新的數(shù)據(jù)集，我們無(wú)法事先知道該數(shù)據(jù)集中傾向概率的范圍。因此，一個(gè)新的數(shù)據(jù)集可能會(huì)引入極小的傾向概率導(dǎo)致 IPS 和 DR 的方差非常大，這將破壞估計(jì)器預(yù)估性能的穩(wěn)定性，尤其是對(duì)于較大的數(shù)據(jù)集。這對(duì)于實(shí)際工業(yè)場(chǎng)景是不可接受的。根據(jù)表格中給出的各個(gè)估計(jì)器偏差方差的表達(dá)式，傾向性越小，方差越大。當(dāng)傾向性分?jǐn)?shù)趨于零時(shí)，方差趨于無(wú)窮大。同樣，其他基于 IPS 和 DR 的無(wú)偏估計(jì)方法的方差也是無(wú)界的。另一方面，雖然在預(yù)測(cè)誤差 e_(u,i) 是有界時(shí)，樸素方法和 EIB 方法的方差是有界的，但要實(shí)現(xiàn)無(wú)偏估計(jì)卻很困難，甚至是不可能的。

正則化技術(shù)和靜態(tài)估計(jì)器的局限性

定義具有正則化的估計(jì)器的一般形式為：

其中，函數(shù) f(?,?)≠0 滿足 f(0,p ?_(u,i) )=0，g(?,?) 和 h(?,?) 是關(guān)于 o 和 p ?_(u,i) 的函數(shù)。〖L?Est〗和 L_Reg 分別是估計(jì)器和正則化器的預(yù)測(cè)不準(zhǔn)確性，對(duì)于所有的用戶-商品對(duì)，它們滿足和。λ>0 為標(biāo)量權(quán)重。上述表達(dá)式給出的估計(jì)器的一般形式 L_Est 涵蓋了現(xiàn)有的大部分估計(jì)器，涉及 EIB、IPS、DR、MRDR、TDR、MIS、IPS/DR-SV 以及其他基于 IPS 和 DR 方法的估計(jì)器。另一方面，幾乎所有現(xiàn)有的正則化設(shè)計(jì)，包括 SV、MIS、BMSE 等正則化方法，都可以轉(zhuǎn)化為 L_Reg 給出的一般形式。在以前的工作中，正則化技術(shù)在一定程度上降低了估計(jì)器的方差并改善了泛化性能。然而，它仍然有一些不可避免的局限性（相關(guān)理論細(xì)節(jié)及其證明，參見(jiàn)原論文 3.1 節(jié)）：

• 對(duì)于具有正則化項(xiàng)的一般估計(jì)器 L_(Est+Reg)，在不犧牲無(wú)偏性的同時(shí)減少方差是不可能的。
• 正則化方法 L_Reg 無(wú)法保證估計(jì)器方差和泛化誤差是有界的。

根據(jù)之前的研究工作和本工作得到的理論結(jié)果，正則化技術(shù)在一定程度上可以減少方差，但不能使估計(jì)器具有有界方差和泛化誤差界。或者說(shuō)，正則化技術(shù)對(duì)改善模型預(yù)測(cè)和泛化性能的影響是有限的。

對(duì)于估計(jì)器 L_Est，大量的方法追求無(wú)偏估計(jì)或者追求估計(jì)方差的減少，再或者通過(guò)手動(dòng)設(shè)計(jì)估計(jì)器來(lái)實(shí)現(xiàn)偏差和方差的簡(jiǎn)單折衷。本工作我們發(fā)現(xiàn)一般形式的估計(jì)器存在如下的局限性：

• 對(duì)于一般形式的估計(jì)器 L_Est，估計(jì)器的無(wú)偏性將不可避免地導(dǎo)致無(wú)界方差和泛化誤差界。

這說(shuō)明，對(duì)于廣義形式的估計(jì)器來(lái)說(shuō)，無(wú)偏性和有界方差、泛化誤差不可兼得。因此我們認(rèn)為估計(jì)器設(shè)計(jì)的核心目標(biāo)不僅僅是消除偏差、減少方差或僅僅實(shí)現(xiàn)偏差-方差的簡(jiǎn)單折衷，而是關(guān)于偏差和方差之間的定量聯(lián)合優(yōu)化，有必要開(kāi)發(fā)一個(gè)動(dòng)態(tài)估計(jì)框架來(lái)實(shí)現(xiàn)定量聯(lián)合優(yōu)化，動(dòng)態(tài)估計(jì)器能夠從用戶-商品對(duì)的維度選擇合適的估計(jì)器來(lái)實(shí)現(xiàn)最小化泛化誤差的目的。

三、細(xì)粒度動(dòng)態(tài)框架及估計(jì)器設(shè)計(jì)準(zhǔn)則

基于 IPS 和基于 DR 的動(dòng)態(tài)學(xué)習(xí)框架設(shè)計(jì)如下：

其中，f(?) 為需要設(shè)計(jì)的函數(shù)，α_(u,i)∈[0,1] 為可優(yōu)化的參數(shù)。當(dāng) f(p ?_(u,i) )=p ?_(u,i)  且 ?α_(u,i)=1，D-IPS 和 D-DR 分別等價(jià)于原始的 IPS 和 DR 估計(jì)器，它們具有無(wú)偏性。當(dāng) f(p ?_(u,i) )=p ?_(u,i)  且 ?α_(u,i)=0，D-IPS 和 D-DR 分別等價(jià) |O|/D L_naive 和 EIB 方法，它們具有有界方差和泛化誤差界。函數(shù) f(p ?_(u,i) ) 實(shí)際上是一個(gè)關(guān)于傾向性分?jǐn)?shù)的映射，f(p ?_(u,i) ) 的設(shè)計(jì)準(zhǔn)則總結(jié)如下

• （保序性）f(p ?_(u,i) )>p ?_(u,i) 單調(diào)遞增且滿足 f(0)=0，f(1)=1。
• （同階性）lim┬(p ?_(u,i)→0)?〖p ?_(u,i)/f(p ?_(u,i) ) 〗=C，其中 C>0 為正常數(shù)。

符合上述設(shè)計(jì)原則的一些具體函數(shù)表達(dá)式總結(jié)如下表所示。

D-IPS 和 D-DR 估計(jì)器的偏差和方差表達(dá)式如下所示：

偏差表達(dá)式：

其中，

方差表達(dá)式：

其中，

泛化誤差界表達(dá)式：

其中，

函數(shù) h_B^Est 和 h_V^Est 分別決定了偏差和方差的大小，我們稱函數(shù) h_B^Est 和 h_V^Est 為偏差和方差的決定因子，函數(shù) h_B^Est 和 h_V^Est 曲面如下圖所示，可以看到，h_B^Est 隨著 α_(u,i) 的增大單調(diào)遞減；h_V^Est 隨著 α_(u,i) 的增大單調(diào)遞增。

四、偏差-方差定量聯(lián)合優(yōu)化

根據(jù)函數(shù) h_B^Est 和 h_V^Est 的單調(diào)性，偏差-方差的折衷問(wèn)題可以被定量形式化為如下的聯(lián)合優(yōu)化問(wèn)題：

其中，w_1 和 w_2 為偏差和方差的權(quán)重。考慮到偏差和方差的決定因子，上述偏差-方差的聯(lián)合優(yōu)化問(wèn)題可以被轉(zhuǎn)換為如下所示的優(yōu)化問(wèn)題。

因?yàn)?f(p ?_(u,i) ) 的設(shè)計(jì)準(zhǔn)則，所以有 h_B^Est≥0 和 h_V^Est>0。因此，優(yōu)化問(wèn)題可以被進(jìn)一步簡(jiǎn)化為：

有了這一步的簡(jiǎn)化，我們就可以直接得到最優(yōu)參數(shù)的解析解，最優(yōu)參數(shù)的表達(dá)式如下所示：

我們通過(guò)優(yōu)化操作可以在不增加計(jì)算復(fù)雜度的基礎(chǔ)上實(shí)現(xiàn)偏差和方差的定量?jī)?yōu)化，同時(shí)從理論層面保證方差和泛化誤差的有界性。

方差和泛化誤差有界性結(jié)論

• 如果動(dòng)態(tài)估計(jì)器采用 α_(u,i)^opt 作為參數(shù)，則對(duì)應(yīng)的方差和泛化誤差是有界的。

五、實(shí)驗(yàn)結(jié)果

性能比較

實(shí)驗(yàn)使用了三個(gè)具有 MNAR 和 MAR 樣本的現(xiàn)實(shí)數(shù)據(jù)集，分別是 COAT，包含 290 名用戶對(duì) 300 件外套的 4,640 個(gè) MAR 和 6,960 個(gè) MNAR 評(píng)分；YAHOO! R3，包含 15,400 名用戶對(duì) 1,000 首歌曲的 54,000 個(gè) MAR 和 311,704 個(gè) MNAR 評(píng)分；以及 KUAIREC，包含 1,411 名用戶對(duì) 3,327 個(gè)視頻的 4,676,570 條觀看比率記錄。COAT 和 YAHOO! R3 中的評(píng)分分?jǐn)?shù)在大于 3 時(shí)被二值化為 1，否則為 0。對(duì)于 KUAIREC 數(shù)據(jù)集，觀看率在小于 2 時(shí)被二值化為 0，否則為 1。提出的動(dòng)態(tài)估計(jì)器和 SOTA 方法的性能對(duì)比結(jié)果如下表所示。

消融實(shí)驗(yàn)

我們通過(guò)實(shí)驗(yàn)研究不同權(quán)重和函數(shù)對(duì)動(dòng)態(tài)估計(jì)器的影響。我們給出了四個(gè)具體的函數(shù)表達(dá)式。我們將這四個(gè)動(dòng)態(tài)估計(jì)器的權(quán)重設(shè)置為 w1=1 和 w2=[0.02, 0.04, 0.06, 0.08, 1]，以研究權(quán)重對(duì)性能和方差的影響。從最優(yōu)參數(shù)方程可知，最優(yōu)參數(shù)由權(quán)重比 w2/w1 決定。因此，我們只關(guān)注權(quán)重比對(duì)估計(jì)器性能和方差的影響，不同函數(shù)下，不同的權(quán)重比的模型性能由下圖給出。

(a)p ?_(u,i)^α; (b) (sin(p ?_(u,i) )/sin?2 )^α; (c) (log?(p ?_(u,i)+1)/log?2 )^α; (d) (tanh?(p ?_(u,i) )/sin?2 )^α

從上圖可以看出，對(duì)于 D-IPS、D-IPS-AT、D-DR、D-DR-JL 和 D-MRDR-JL 方法，性能隨著權(quán)重比的增加先增加后減小。同時(shí)，方差似乎在泛化性能達(dá)到最高值時(shí)達(dá)到最小值。由于權(quán)重比越小，動(dòng)態(tài)估計(jì)器的偏差越小，上圖中的實(shí)驗(yàn)結(jié)果表明，估計(jì)器的無(wú)偏性并不完全等價(jià)于模型性能。實(shí)際上，從給出的泛化誤差表達(dá)式來(lái)看，偏差-方差聯(lián)合優(yōu)化可以最小化估計(jì)器的泛化誤差界，從而進(jìn)一步提高模型的泛化性能。對(duì)于 SNIPS，方差減少的特性可能會(huì)導(dǎo)致非直觀的性能和方差趨勢(shì)。

在相同的權(quán)重比 w2/w1=0.1 下，我們進(jìn)一步討論不同函數(shù)對(duì)模型性能和方差的效果。從下表可以看出幾乎所有具有不同函數(shù)表達(dá)式的動(dòng)態(tài)估計(jì)器性能都優(yōu)于相應(yīng)的原始糾偏方法。這進(jìn)一步證明了所提出的動(dòng)態(tài)學(xué)習(xí)機(jī)制可以極大地提高原始估計(jì)器的性能。

六、結(jié)語(yǔ)

據(jù)我們所知，這是第一個(gè)揭示估計(jì)器設(shè)計(jì)本質(zhì)的工作。該工作指出，估計(jì)器設(shè)計(jì)的本質(zhì)不僅僅是消除偏差、降低方差或?qū)崿F(xiàn)簡(jiǎn)單的偏差-方差權(quán)衡，而是同時(shí)定量?jī)?yōu)化偏差和方差。此外，該工作還闡述了通用正則化技術(shù)和靜態(tài)估計(jì)器的局限性。基于偏差和方差之間關(guān)系的一般規(guī)律，我們提出了一種系統(tǒng)的動(dòng)態(tài)學(xué)習(xí)框架，通過(guò)細(xì)粒度的偏差-方差聯(lián)合優(yōu)化方案，保證了方差和泛化誤差界的有界性。大量的實(shí)驗(yàn)結(jié)果驗(yàn)證了該工作的理論結(jié)果和當(dāng)前動(dòng)態(tài)估計(jì)器的性能。在動(dòng)態(tài)估計(jì)框架中，對(duì)目標(biāo)函數(shù)中權(quán)重的搜索以及函數(shù)的搜索仍然是一個(gè)開(kāi)放問(wèn)題，值得進(jìn)一步探索。