中科院深圳先進院:全新知識增強圖神經網絡實現可解釋性推薦
近年來,以大數據和深度學習為基礎的人工智能展示了卓越的計算能力和學習能力。但深度學習模型通常包含深度嵌套的非線性結構,很難確定具體哪些因素使它做出這樣的決定,缺乏決策的可解釋性和透明度。
與此同時,由于可解釋的建議不僅提高了推薦系統的透明度、可解釋性和可信度,而且還提高了用戶滿意度,可解釋性推薦任務受到越來越多研究人員的關注[1]。
而隨著深度學習方法和語言處理技術的發展,在提供個性化推薦時,很多方法利用自然語言生成技術生成自然文本解釋[2-3]。但是由于數據稀疏性,難以生成高質量的文本解釋,可讀性差。
另外,因為知識圖可以包含更多的事實和聯系,一些研究人員利用知識圖進行推薦,并通過圖推理路徑增強推薦的可解釋性[4-5]。但基于圖路徑的方法需要一些前提條件或定義,例如預先定義路徑或數據集存在多種類型的關聯,同時知識圖譜可能包含冗余實體,從而導致同質化推薦結果。
論文鏈接:https://ieeexplore.ieee.org/abstract/document/9681226
為此,作者提出了一種新的知識增強圖神經網絡(KEGNN)實現可解釋性推薦。
KEGNN利用外部知識庫中的語義知識,從用戶、商品和用戶-商品交互三個方面學習知識增強語義嵌入。
從用戶-商品交互的角度出發,構造用戶行為圖,并利用知識增強的語義嵌入對用戶行為圖進行初始化。
然后提出基于圖神經網絡的用戶行為學習和推理模型,該模型通過傳遞用戶的偏好信息,對用戶行為圖進行多跳推理,從而全面理解用戶行為。
最后設計了層次化協同過濾層進行推薦預測,并將拷貝機制與GRU的生成器相結合,生成高質量、人類可讀的語義解釋。作者已經在三個真實數據集上進行了廣泛的實驗。實驗結果表明,KGNN優于現有方法。
方法
作者提出了知識增強的圖神經網絡實現可解釋性,所提出的方法的體系結構如圖1所示。
它主要包括四個模塊:知識增強語義表示學習、基于圖形神經網絡的用戶行為學習與推理、層次化協同過濾和文本解釋生成。
模塊1:為了學習用戶、商品和用戶-商品交互的語義表示學習,作者按照時間順序池化聚集了用戶和商品評論文檔,形成三種類型的文本文檔,分別表示為用戶、商品和用戶-商品交互。
對三種文檔進行了進一步的知識增強語義表示學習,圖2給出了知識增強語義表示學習模塊的結構。
首先,上下文表示部分中先學習詞級嵌入表示和語義上下文表示,利用BiLSTM對詞級嵌入的頂層進行全局化捕捉,得到層次化語義表示。其次在知識感知中作者利用知識庫來增強語義表征學習。
此外,作者用one-hot代表用戶/商品編碼,采用全連接層映射將稀疏的one-hot表示轉換為密集表示作為用戶/商品的固有表示,最后,采用多頭注意力進一步融合知識感知表示和用戶/商品的固有表示輸出知識增強的用戶/商品/用戶-商品交互表示。
模塊2:為了全面了解用戶偏好,作者設計了一個基于圖神經網絡的用戶行為學習和推理模塊,包括用戶行為圖構建、信息傳播層和多跳推理三個步驟,如圖3所示。
首先,從用戶-商品交互關系,作者構造用戶行為圖,并且利用知識增強的語義表示初始化用戶行為圖的節點表示和邊表示。
其次,基于圖神經網絡的架構,作者設計了基于GNN信息傳播層捕捉用戶行為間的一階鄰接網絡(ego-network)的信息傳播及信息融合。
最后,采用遞歸方式利用多跳(multi-hop)推理對圖結構的高階連接信息進行建模。
模塊3:作者基于神經協同過濾框架設計層次化神經協同過濾算法,如圖4(a)所示,主要包括三層神經協同過濾層實現用戶-商品交互預測。
在第一個神經協同層是全連接層,用戶行為圖學習和推理中獲得的用戶表示商品表示拼接起來作為輸入,輸出第一層用戶-商品交互表示,如公式1:
(公式1)
在第二層,我們設計了一個關系感知神經網絡層,融合用戶-商品關系表示和第一層的輸出。
采用兩種融合方式,分別為阿達瑪乘積(如公式2)和全連接層非線性融合(如公式3),分別輸出關系感知的用戶-商品交互表示和高層次交互表示:
(公式2)
(公式3)
第三層采用關系感知用戶-商品交互表示和高層次交互表示作為輸入,實現評分預測,如公式4所示:
(公式4)
模塊4:結合生成模型和拷貝機制(生成模式和拷貝模式),作者設計一個新穎的文本解釋生成模塊,生成高質量的人類可讀解釋。
圖4的右側部分演示了此模塊的詳細信息。應用循環神經網絡GRU作為解釋生成器;另外引入拷貝機制從用戶原有評論中抽取信息,結合兩種模式(生成模式和拷貝模式)生成直觀文本解釋(詞序列),易于用戶閱讀理解。
實驗
數據集選擇
本文使用Amazon5 core的三個數據集,分別是電子、家庭-廚房以及音樂-設備。評級范圍為[0,5]。對于所有數據集,作者隨機選擇每個數據集中80%的用戶-商品交互作為訓練集,10%的用戶-商品交互作為測試集,剩余的10%的用戶-商品交互被視為驗證集。
評分預測性能
方法對比中,作者將KEGNN與CTR、PMF、NARRE、NRT、GCMC、LightGCN、RippleNet進行對比(計算各個方法的RMSE和MAE),如圖所示。
從結果可以看出,對于所有數據集,作者的方法KEGNN在MAE和RMSE上都優于所有比較方法。
解釋生成質量
從結果中可以看出,作者方法在精度和F1指標上有著最好的表現,但是召回率卻不如CTR或者NARRE。質量評估結果表明,作者生成的文本解釋類似于與處理行為相關的基本事實評論,并揭示了處理行為背后的隱含用戶意圖。作者還在接下來在案例分析中對可解釋性進行了進一步調查。
案例分析
作者選擇一些案例展示生成解釋的可解釋性,所選案例均來自測試集,因此,在解釋生成過程中隱藏了真實文本,三個數據集的典型案例如上表格所示,Ground表示用戶給出的真實評論。
從案例研究中,我們可以看到作者的方法生成的解釋說明了用戶對評級商品的選擇和購買原因。可解釋的概念和方面以粗體斜體突出顯示,表示用戶行為的潛在意圖,并展示推薦結果的可解釋性。
結論
本文提出了一種基于知識增強圖神經網絡(KEGNN)的可解釋推薦方法,該方法利用外部知識庫中的語義知識來增強用戶、商品和用戶-商品交互三方面的表示學習。
作者構造了一個用戶行為圖,并設計了一個基于圖神經網絡的用戶行為學習和推理模塊,用于全面理解用戶行為。
最后,利用GRU生成器和拷貝機制相結合生成語義文本解釋,利用層次化神經協同過濾實現精準推薦。詳細內容請參見論文細節。