一、概述

title：You Truly Understand What I Need : Intellectual and Friendly Dialogue Agents grounding Knowledge and Persona

論文地址：https://aclanthology.org/2022.findings-emnlp.75/

代碼地址：https://github.com/dlawjddn803/INFO

1.1 Motivation

• 以前的研究將知識(shí)或個(gè)人資料混合融入預(yù)先訓(xùn)練的語言模型。其同時(shí)考慮知識(shí)和人物角色的能力仍然是有限的，導(dǎo)致生成結(jié)果出現(xiàn)幻覺，并且使用人物角色的方法也很被動(dòng)。

1.2 Methods

• 提出一種有效的agent，同時(shí)基于外部知識(shí)和persona來生成回復(fù)。
• 選擇合適的知識(shí)和persona生成回答，利用poly-encoder的方法來實(shí)現(xiàn)候選打分。
• 實(shí)施了人物角色級(jí)別指標(biāo)，以考慮微妙的人物角色基礎(chǔ)的多種人物角色選擇。
• 利用檢索的方式來增強(qiáng)query，其包含知識(shí)-角色的增強(qiáng)信息，使其生成的回復(fù)少幻覺，多參與性。

總結(jié)：

1）先計(jì)算persona和knowledge的分?jǐn)?shù)

2）選擇合適的persona+knowledge

3）結(jié)合2+query，利用faiss檢索相近的paragraphs

4）生成更具信息量，更多參與度的responses。

1.3 Conclusion

• 提出了INFO (Intellectual and Friendly dialOg agents)，在persona-knowledge chat數(shù)據(jù)集自動(dòng)評(píng)估m(xù)etrics上取得sota。
• 人工評(píng)估也顯示其少幻覺，多參與性。
• 相對(duì)于之前的檢索器件retrievers，證明了我們r(jià)etrievers的有效性，也比較了multiple candidate scoring的方法。

1.4 limitation

• 缺乏真實(shí)的知識(shí)和persona候選，導(dǎo)致在現(xiàn)實(shí)環(huán)境不可用。
• 評(píng)估幻覺的cases數(shù)量還比較少。
• 需要高的GPU計(jì)算資源（ since it marginalizes loss at the token level ）

二、大綱

三、詳細(xì)內(nèi)容

3.1 整體架構(gòu)圖

主旨思想：利用對(duì)話歷史信息，挖掘出最相近的背景信息，然后利用該信息檢索出更多額外知識(shí)，進(jìn)而提高生成結(jié)果的質(zhì)量。

U：人類和機(jī)器的歷史對(duì)話數(shù)據(jù)。

cand：每個(gè)候選，感覺是knowledge的候選 or persona的候選，目的是排序后選擇分?jǐn)?shù)最高的。

KPEQ（knowledge persona enhanced query）：增強(qiáng)后的query

Retriever（Non parameters）：非參數(shù)的，相當(dāng)于是檢索出相關(guān)文檔，輔助額外的知識(shí)來提升回復(fù)效果。

3.2 語義檢索效果比較:相對(duì)于bi-encoder雙塔和cross-encoder，poly這種交互模式效果最好

3.3 實(shí)驗(yàn)結(jié)果

Generation：生成效果評(píng)估

Grounding：persona和knowledge分類預(yù)測(cè)的精度（挑選分?jǐn)?shù)最高的persona和knowledge的精度嗎？）

RAG：token級(jí)別生成效果好，sequence級(jí)別分類效果好

3.4 人工評(píng)估：效果碾壓其他的

3.5 實(shí)驗(yàn)設(shè)置

本文轉(zhuǎn)載自??PaperWeekly??，作者： 胡翔 ??NLP ??