論文題目：

Attention Is Not the Only Choice: Counterfactual Reasoning for Path-Based Explainable Recommendation

論文鏈接：

????https://arxiv.org/pdf/2401.05744??

近日，悉尼科技大學(xué)徐貫東教授團(tuán)隊(duì)，聯(lián)合香港中文大學(xué)、昆士蘭大學(xué)、香港理工大學(xué)、以及新加坡南洋理工大學(xué)等多家單位，發(fā)布了基于路徑反事實(shí)推理的推薦系統(tǒng)解釋新方法，并提出了一系列全新的定性和定量的解釋性評(píng)價(jià)標(biāo)準(zhǔn)，引發(fā)同行廣泛關(guān)注。

01 反事實(shí)推理的解釋的背景

近年來，由知識(shí)圖驅(qū)動(dòng)的推薦系統(tǒng)利用各種圖神經(jīng)網(wǎng)絡(luò)建模取得了不錯(cuò)的效果。然而，與傳統(tǒng)模型相比，比如協(xié)同過濾等，圖上豐富的信息使數(shù)據(jù)結(jié)構(gòu)變得更加復(fù)雜，這給模型的可解釋性帶來了巨大的挑戰(zhàn)。

為了得到推薦的解釋，許多相關(guān)研究先用圖建模和圖神經(jīng)網(wǎng)絡(luò)進(jìn)行推薦，然后用連接到目標(biāo)結(jié)果的路徑來解釋推薦的結(jié)果，因?yàn)檫@些連接到目標(biāo)結(jié)果的路徑可以反映它和相近項(xiàng)目的關(guān)系。

然而，在推薦圖中通常有大量的候選路徑，如何從中選擇有意義的路徑作為解釋，成為一個(gè)值得研究的問題。一些工作將注意力機(jī)制集成到模型中，通過注意力機(jī)制學(xué)習(xí)路徑的權(quán)重作為路徑的重要性進(jìn)行解釋。這些權(quán)重通常學(xué)習(xí)了一跳鄰居項(xiàng)目之間的關(guān)系、用戶的購(gòu)買記錄之間的關(guān)系和輔助信息的重要性，這些解釋都可以通過可視化案例進(jìn)行評(píng)估。

▲ 通過 3 次獨(dú)立訓(xùn)練對(duì) 16 條路徑進(jìn)行注意力權(quán)重。每個(gè)方塊代表一條路徑，深橙色意味著更高的權(quán)重。

然而，越來越多的工作對(duì)基于注意力機(jī)制的解釋提出了一些擔(dān)憂，具體總結(jié)為以下兩點(diǎn)：首先，因?yàn)樵S多研究發(fā)現(xiàn)通過注意力機(jī)制得到的結(jié)果的可靠性較弱，因此對(duì)于它是否能用來解釋這一點(diǎn)有廣泛質(zhì)疑。

如圖所示，在推薦圖上，我們用注意力模型在 16 條路徑上獨(dú)立地運(yùn)行三次，并用熱圖繪制了 16 條路徑的注意力權(quán)重，其中每個(gè)色塊表示一個(gè)路徑的權(quán)重大小，較深的橙色意味著更高的注意力權(quán)重。

我們可以看到，基于注意力的模型在三次獨(dú)立運(yùn)行后，無法保證穩(wěn)定的權(quán)重分布，這種不穩(wěn)定的結(jié)果無法作為推薦的解釋。其次，圖中使用的注意力機(jī)制也傾向于為那些頻繁出現(xiàn)的路徑分配更高的權(quán)重，這些路徑通常包含更普遍、廣泛、大范圍且模糊的信息，而那些有特定解釋語義信息的路徑?jīng)]有被分配了較低的權(quán)重。

02 反事實(shí)推理：初露鋒芒

克服上述問題的一個(gè)初露鋒芒的方向是反事實(shí)推理。一般來說，反事實(shí)推理遵循“假設(shè)”思維：如果某個(gè)條件不再成立，結(jié)果會(huì)發(fā)生什么。尤其是，導(dǎo)致最終結(jié)果發(fā)生巨大變化的條件會(huì)被視為重要的原因。

受此啟發(fā)，在推薦場(chǎng)景中，我們可以嘗試通過對(duì)候選路徑添加一些輕微的擾動(dòng)來尋找重要的可解釋路徑，看是哪一個(gè)或者哪一些路徑的擾動(dòng)導(dǎo)致了推薦分?jǐn)?shù)的變化。如果路徑的輕微干擾導(dǎo)致結(jié)果項(xiàng)目的推薦分?jǐn)?shù)大幅下降，則認(rèn)為當(dāng)前路徑是重要的路徑，小幅下降則表示不太重要。

這種基于反事實(shí)推理的解釋的新方向可能會(huì)給我們帶來以下好處：首先，反事實(shí)推理主要關(guān)心模型的輸入和輸出，與模型內(nèi)部的參數(shù)無關(guān)，這非常適合與模型無關(guān)的解釋。這意味著我們可以在多個(gè)推薦模型上使用相同的反事實(shí)推理方法來查看哪一個(gè)更值得信賴。

另外，反事實(shí)機(jī)制對(duì)于那些信息豐富的路徑更有效，因?yàn)榘訌V泛信息的路徑通常具有較低的不確定性，因此它們更難以受到小的干擾來翻轉(zhuǎn)推薦分?jǐn)?shù)。這有望克服目前基于注意力的解釋存在的諸多問題。

最近的研究已經(jīng)開始探索反事實(shí)推理在生成推薦的解釋的可行性。然而，他們中的大多數(shù)只關(guān)注項(xiàng)目、項(xiàng)目的特征或用戶特征。它們都沒有關(guān)注圖中豐富的信息，比如路徑，而基于路徑的解釋是推薦圖中最有說服力、包含信息量最大的解釋方式。盡管有工作探索了知識(shí)圖譜上的反事實(shí)推理，但他們學(xué)習(xí)的可解釋權(quán)重是針對(duì)其模型的，并不能用于不同的推薦模型。

03 論文的研究貢獻(xiàn)

為了填補(bǔ)反事實(shí)推理和基于路徑的可解釋推薦模型之間的空白，我們提出了反事實(shí)的基于路徑的可解釋推薦（簡(jiǎn)稱 CPER）。我們?cè)O(shè)計(jì)了兩種有效的反事實(shí)推理方法，從路徑向量表示和路徑拓?fù)浣Y(jié)構(gòu)兩個(gè)角度尋找可解釋的路徑。具體地，我們提出了一個(gè)優(yōu)化框架來學(xué)習(xí)路徑表示的擾動(dòng)因素。另外，我們還提出了通過強(qiáng)化學(xué)習(xí)驅(qū)動(dòng)的路徑替換策略，對(duì)路徑的拓?fù)浣Y(jié)構(gòu)進(jìn)行反事實(shí)推理。

此外，除了傳統(tǒng)的基于案例研究的可解釋性評(píng)估，我們還提出了一套包括定量和定性的可解釋評(píng)估方案。我們?cè)谒膫€(gè)數(shù)據(jù)集上評(píng)估了我們的可解釋方法，驗(yàn)證了其顯著優(yōu)勢(shì)。

綜上，這篇論文有以下貢獻(xiàn)：

• 我們通過對(duì)路徑向量表示和路徑拓?fù)浣Y(jié)構(gòu)進(jìn)行反事實(shí)推理，提出了一種新穎的可解釋框架用于基于路徑的推薦。對(duì)于基于路徑拓?fù)浣Y(jié)構(gòu)的反事實(shí)推理，我們?cè)O(shè)計(jì)了一種強(qiáng)化學(xué)習(xí)方法來學(xué)習(xí)反事實(shí)學(xué)習(xí)中擾動(dòng)的路徑替換策略。
• 我們提出了一套解決方案來評(píng)估基于可解釋路徑的可解釋性質(zhì)量。與傳統(tǒng)的基于案例研究的可解釋性評(píng)估不同，我們提出的評(píng)估方法包括定量和定性的方法，可廣泛用于評(píng)估各種基于路徑的解釋方法。
• 在四個(gè)現(xiàn)實(shí)世界數(shù)據(jù)集上進(jìn)行了實(shí)驗(yàn)，進(jìn)一步驗(yàn)證了我們框架的有效性。將我們的解釋與基于注意力的解釋進(jìn)行比較，結(jié)果表明我們的解釋方法具有更高的穩(wěn)定性、有效性和置信度。

04 文章核心看點(diǎn)

為了避免基于注意力的可解釋路徑權(quán)重帶來的不可靠性問題，我們通過反事實(shí)學(xué)習(xí)來學(xué)習(xí)可解釋路徑權(quán)重來代替?zhèn)鹘y(tǒng)的注意力權(quán)重。主要思想是，一旦對(duì)每個(gè)可解釋路徑或路徑集合進(jìn)行擾動(dòng)，推薦預(yù)測(cè)分?jǐn)?shù)的降低值就可以視為該路徑或路徑集合的可解釋權(quán)重。

為了實(shí)現(xiàn)這一目標(biāo)，我們從路徑向量表示和路徑拓?fù)浣Y(jié)構(gòu)兩個(gè)擾動(dòng)角度進(jìn)行反事實(shí)推理。具體來說，我們通過學(xué)習(xí)路徑嵌入上的擾動(dòng)因子來對(duì)路徑表示進(jìn)行反事實(shí)推理，并通過基于強(qiáng)化學(xué)習(xí)的策略來替換一些路徑頂點(diǎn)來替換原有路徑，并對(duì)路徑拓?fù)浣Y(jié)構(gòu)進(jìn)行反事實(shí)推理。除此之外，我們還提出了一系列定量和定性的可解釋評(píng)估方法用于評(píng)估得到的可解釋路徑的優(yōu)勢(shì)。

看點(diǎn)1：路徑表征上的反事實(shí)推理方法。與傳統(tǒng)的基于注意力的解釋通過注意力權(quán)重來衡量路徑重要性不同，我們從兩個(gè)方面評(píng)估路徑的重要性：擾動(dòng)的大小和對(duì)推薦結(jié)果的影響。如果對(duì)路徑上的擾動(dòng)非常輕微，但導(dǎo)致推薦的分?jǐn)?shù)急劇下降，則相應(yīng)的路徑應(yīng)該非常重要。為此，本方法旨在學(xué)習(xí)輕微的擾動(dòng)因素，同時(shí)找到受該擾動(dòng)影響的可解釋路徑。

看點(diǎn)2：路徑拓?fù)浣Y(jié)構(gòu)上的反事實(shí)推理。具體來說，我們利用強(qiáng)化學(xué)習(xí)強(qiáng)大的搜索功能，設(shè)計(jì)了一種路徑替換策略，對(duì)路徑的集合進(jìn)行擾動(dòng)，即對(duì)路徑中頂點(diǎn)進(jìn)行替換，推薦預(yù)測(cè)分?jǐn)?shù)的降低值就可以視為路徑集合的可解釋權(quán)重。

看點(diǎn)3：基于路徑的推薦的可解釋性評(píng)估。評(píng)估解釋是否可信是非常主觀的。據(jù)我們所知，很少有一種被廣泛接受的衡量標(biāo)準(zhǔn)來評(píng)估基于路徑的可解釋性。在本文中，我們希望通過提出并總結(jié)定性和定量方法來推動(dòng)這一領(lǐng)域的發(fā)展。

定量評(píng)估：

• 置信度（confidence）：我們將每個(gè)可解釋路徑的置信度定義為其不確定性，又名熵，其計(jì)算方式是受信息論啟發(fā)的。直觀上，更好的解釋模型往往會(huì)更自信地探索可解釋的路徑，并使路徑不確定性相對(duì)較低。
• 信息量（informativeness）：我們將學(xué)習(xí)到的可解釋路徑反饋給推薦后端，以查看學(xué)習(xí)到的可解釋路徑對(duì)推薦性能的貢獻(xiàn)有多大。與所有其余路徑相比，越接近原始結(jié)果，學(xué)習(xí)到的可解釋路徑的信息越多。
• 保真度（fidelity）：它測(cè)量從輸入可解釋路徑中刪除不同比例的可解釋路徑時(shí)預(yù)測(cè)分?jǐn)?shù)的下降。保真度值越大，表明反事實(shí)權(quán)重越強(qiáng)，可解釋性也越好。

定性評(píng)估：

• 穩(wěn)定性（stability）：我們通過多次獨(dú)立重復(fù)推薦模型學(xué)習(xí)并查看可解釋路徑分布是否一致來評(píng)估可解釋方法的穩(wěn)定性。可解釋分布越穩(wěn)定，可解釋方法越可靠。
• 有效性（effectiveness）：我們隨機(jī)向路徑集中添加一條不相關(guān)的路徑，以查看解釋框架學(xué)習(xí)的權(quán)重。直觀上，不相關(guān)路徑的可解釋權(quán)重應(yīng)該盡可能小才能有意義。否則，可解釋的權(quán)重是不可靠的。

本文轉(zhuǎn)自 PaperWeekly ，作者：李逸聰

原文鏈接:??https://mp.weixin.qq.com/s/kIhvTi7lGOsm9NFDth_Saw??