基于知識的神經符號結合的離散推理研究

作者：鮑軍威 2023-05-29 06:54:57

人工智能知識圖譜

本次分享題目為基于知識的神經&符號結合的離散推理研究。今天的分享主要是在知識圖譜和邏輯推理的命題下，圍繞神經和符號結合的推理，在問答領域的一些探索和研究。

一、以輕量級算子為核心的文本離散推理

該工作發表于 NAACL 2022（OPERA: Operation-Pivoted Discrete Reasoning over Text）。

1、基于文本知識的離散推理型閱讀理解

閱讀理解是在給定一段文本以及相應問題的基礎上，從中抽取或者計算出問題的答案。除了文本抽取之外，還包括數值計算、比較、排序等一些復雜邏輯推理問題。

2、相關工作分類及特點

（1）Semantic Parsing-based model

在給定一段文本和問題之后，通過 Semantic Parser 解析成一段可執行的程序從而獲得答案。該方法的可解釋性比較強，但存在的問題也比較明顯，非常依賴大量的邏輯表達式或者程序作為標注數據來訓練監督模型。

（2）MOE-based model

在給定一段文本和問題之后，會通過 Encoder 進行編碼后輸入到 Reasoning Module 推理模塊，再輸入到不同的專家系統后給出相應的答案。該方法的性能表現會更優，但可解釋性會弱一些，同時也缺乏直接做離散推理的模塊。

3、解法思路：算子設計

我們的問題可以抽象為：在給定文本 P 和問題 Q 的條件下，求解一個概率模型來得到答案。首先將問題概括為一組相關的算子，并且通過神經網絡模塊去模擬這種算子的執行。將這樣一個端到端的模型拆分成兩個部分，第一部分基于文本 P 和問題 Q 來預測所涉及到的算子，第二部分根據算子再進一步推理出答案。

4、OPERA 模型架構

OPERA 模型架構如圖，它主要包含一個上下文的 Encoder、一個輕量級的算子推理模塊以及 MOE 的預測模塊，同時包含很多專家分類器。

算子模塊主要包含以下三個部分：

（1）算子選擇 Operation Selector：

（2）算子執行 Operation Executor：

（3）預測 Predictor：

在 DROP 數據集上的實驗結果表明，該方法比之前方法有顯著提升。

二、基于知識的統一離散推理：程序生成

在面對結構化或者是混合結構化的混合異構數據中做推理和理解，我們提出了基于知識的統一的離散推理來進行程序生成的方法，即 UniRPG-2: Unified Knowledge-Grounded Numerical Reasoning as Program Generation，該工作為發表于 EMNLP2022 上的 UniRPG 的進一步擴展。

1、基于異構知識的離散推理型閱讀理解

該框架是面向異構知識的語義解析推理方法，不僅能夠處理例如 TAT-QA 數據這樣 single-turn 的對話，也能夠處理 PACIFIC 這樣 multi-turn 這樣的多輪問答。該體系架構的優勢是可解釋性更強，它能夠生成一個邏輯表達式或者程序，通過對程序的執行來得到答案，從而實現邏輯推理。另一方面，對于異構知識的通用性更強。體系架構圖如下：

2、UniRPG-V2 模型架構

模型架構如圖，它可以處理純文本、純結構化的表格或者兩者異構的數據。在 encoder 階段，對于異構數據會先進行 structure-aware knowledge reader 做一個表征，拆分為 lower layers 和 higher layers，并做 mask 掩碼操作，能夠獲取異構信息中同行或者同列的前后文信息。在 decoder 階段，pointer 可以通過 attention 機制定位輸入位置，同時通過 prediction vocab 模塊去生成算子，從而生成一個可執行的 program。