KAG（Knowledge Augmented Generation）框架早在9月份就已經(jīng)發(fā)布，近期終于開源了，它的核心在于提出了：

• 一種LLM友好的知識(shí)表示方法
• 知識(shí)圖譜與原始文本塊之間的相互索引
• 邏輯形式引導(dǎo)的混合推理引擎
• 以及基于語義推理的知識(shí)對(duì)齊

歸功于在構(gòu)建更有效的索引、知識(shí)對(duì)齊和混合解決庫方面的創(chuàng)新，KAG框架在多跳問答任務(wù)中相比于現(xiàn)有的RAG方法有顯著的性能提升，2wiki、MuSiQue數(shù)據(jù)集上的EM指標(biāo)直接翻倍。此外，KAG框架在螞蟻集團(tuán)的電子政務(wù)問答和電子健康問答場(chǎng)景中也表現(xiàn)出了更高的準(zhǔn)確性。

KAG構(gòu)建器流水線的示例

LLM友好的知識(shí)表示方法

KAG框架提出了一個(gè)針對(duì)大型語言模型（LLMs）友好的知識(shí)表示框架，稱為L(zhǎng)LMFriSPG。這個(gè)框架的目的是為了讓知識(shí)圖譜（KG）更好地支持LLMs的應(yīng)用，并提高兩者之間的協(xié)同效果。

LLMFriSPG：一個(gè)對(duì)大型語言模型（LLMs）友好的知識(shí)表示框架。通過概念將實(shí)例和概念分開，以實(shí)現(xiàn)與LLMs更有效的對(duì)齊。在本研究中，除非另有說明，實(shí)體實(shí)例和事件實(shí)例統(tǒng)稱為實(shí)例。SPG屬性被劃分為知識(shí)和信息領(lǐng)域，也稱為靜態(tài)和動(dòng)態(tài)領(lǐng)域，它們分別與具有強(qiáng)模式約束的決策專長(zhǎng)和具有開放信息表示的文檔檢索索引知識(shí)兼容。紅色虛線代表從信息到知識(shí)的融合和挖掘過程。增強(qiáng)的文檔塊表示為L(zhǎng)LMs提供了可追溯和可解釋的文本上下文。

1. 數(shù)據(jù)結(jié)構(gòu)定義：LLMFriSPG定義了一個(gè)數(shù)據(jù)結(jié)構(gòu)M，包括實(shí)體類型（T）、概念類型（C）、歸納關(guān)系（ρ）和可執(zhí)行規(guī)則（L）。實(shí)體類型包括預(yù)定義的屬性，這些屬性與LPG語法聲明兼容。概念類型包括概念類、概念及其關(guān)系，每個(gè)概念樹的根節(jié)點(diǎn)是一個(gè)與LPG語法兼容的概念類型類。
2. 實(shí)例和概念的分離：LLMFriSPG將實(shí)例和概念分離，以實(shí)現(xiàn)與LLMs的有效對(duì)齊。實(shí)體實(shí)例和事件實(shí)例統(tǒng)稱為實(shí)例。每個(gè)實(shí)例可以與一個(gè)或多個(gè)概念類型相關(guān)聯(lián)，以表達(dá)其語義類型。
3. 屬性和關(guān)系：對(duì)于每種類型，屬性和關(guān)系包括領(lǐng)域?qū)＜翌A(yù)定義的部分、臨時(shí)添加的內(nèi)容以及系統(tǒng)內(nèi)置的屬性，如支持塊（supporting_chunks）、描述（description）、摘要（summary）和歸屬（belongTo）。
4. 層次化的知識(shí)表示：LLMFriSPG支持從數(shù)據(jù)到信息再到知識(shí)的層次化表示。知識(shí)層（KGcs）遵循SPG語義規(guī)范，支持在嚴(yán)格的模式約束下構(gòu)建知識(shí)體系和定義邏輯規(guī)則。信息層（KGfr）通過信息抽取得到實(shí)體和關(guān)系等圖數(shù)據(jù)。原始?jí)K層（RC）則是經(jīng)過語義分割處理后的原始文檔片段。

知識(shí)和信息的層次表示

相互索引機(jī)制

KAG框架介紹了一種相互索引機(jī)制，旨在構(gòu)建知識(shí)結(jié)構(gòu)和文本塊之間的索引，以增強(qiáng)知識(shí)表示和檢索的效率：

1. 語義分塊（Semantic Chunking）：基于文檔的結(jié)構(gòu)層次和段落間的邏輯聯(lián)系，實(shí)現(xiàn)語義分塊，生成符合長(zhǎng)度限制且語義連貫的文本塊。
2. 信息提取與描述性上下文：使用大型語言模型（LLMs）提取實(shí)體、事件、概念和關(guān)系，并構(gòu)建KGfr與RC之間的互索引結(jié)構(gòu)，實(shí)現(xiàn)跨文檔鏈接。
3. 領(lǐng)域知識(shí)注入和約束：通過迭代提取方法，將領(lǐng)域概念和術(shù)語及其描述存儲(chǔ)在KG存儲(chǔ)中，并通過openIE提取文檔中的所有實(shí)例，執(zhí)行向量檢索以獲得與領(lǐng)域知識(shí)對(duì)齊的集合。
4. 預(yù)定義知識(shí)結(jié)構(gòu)：對(duì)于具有標(biāo)準(zhǔn)化結(jié)構(gòu)的專業(yè)文檔，如藥品說明書和政務(wù)文件，可以預(yù)定義實(shí)體類型和屬性，以便于信息提取和知識(shí)管理。
5. 文本塊向量與知識(shí)結(jié)構(gòu)的互索引：KAG的互索引機(jī)制遵循LLMFriSPG的語義表示，包括共享模式、實(shí)例圖、文本塊和概念圖等核心數(shù)據(jù)結(jié)構(gòu)，以及KG存儲(chǔ)和向量存儲(chǔ)兩種存儲(chǔ)結(jié)構(gòu)。

領(lǐng)域非結(jié)構(gòu)化文檔的KAG構(gòu)建器的流程。從左到右，首先，通過信息提取獲得短語和三元組，然后通過語義對(duì)齊完成消歧和融合，最后，構(gòu)建的知識(shí)圖譜被寫入存儲(chǔ)。

邏輯形式引導(dǎo)的混合推理引擎

KAG框架介紹了一個(gè)基于邏輯形式的混合推理和求解引擎，它能夠?qū)⒆匀徽Z言問題轉(zhuǎn)化為結(jié)合語言和符號(hào)的解題過程。

邏輯形式執(zhí)行的示例。在這張圖中，左側(cè)顯示了知識(shí)圖譜（KG）構(gòu)建過程，而右側(cè)是整體的推理和迭代過程。首先，基于用戶的總體問題執(zhí)行邏輯形式分解，然后使用邏輯形式引導(dǎo)的推理進(jìn)行檢索和推理。最后，生成器判斷用戶的問題是否得到滿足。如果沒有，就提供一個(gè)新的問題，進(jìn)入新的邏輯形式分解和推理過程。如果確定問題得到滿足，生成器直接輸出答案。

1. 邏輯形式規(guī)劃：通過邏輯函數(shù)來定義執(zhí)行動(dòng)作，將復(fù)雜問題分解為可以推理的子問題。這些邏輯函數(shù)包括檢索（Retrieval）、排序（Sort）、數(shù)學(xué)計(jì)算（Math）和推理（Deduce）等。
2. 邏輯形式推理：使用邏輯形式來表達(dá)問題，以便能夠清晰地描述語義關(guān)系。這種方法可以處理涉及邏輯推理過程的問題，如“與”、“或”、“非”以及交集和差集等。
3. 邏輯形式檢索：在傳統(tǒng)的RAG中，檢索是通過計(jì)算問題與文檔片段嵌入之間的相似度來實(shí)現(xiàn)的。KAG框架提出了一種結(jié)合稀疏編碼器和密集檢索器的方法，以提高檢索的準(zhǔn)確性。

知識(shí)對(duì)齊策略

詳細(xì)介紹了KAG框架中的知識(shí)對(duì)齊（Knowledge Alignment）策略，旨在解決基于信息抽取構(gòu)建知識(shí)圖譜（KG）時(shí)在知識(shí)對(duì)齊方面遇到的挑戰(zhàn)：

1. 知識(shí)對(duì)齊的必要性：傳統(tǒng)的基于向量相似度的信息檢索方法在知識(shí)對(duì)齊上存在缺陷，如語義關(guān)系的錯(cuò)位、知識(shí)粒度不一致、與領(lǐng)域知識(shí)結(jié)構(gòu)不匹配等問題。這些問題導(dǎo)致檢索結(jié)果不精確，無法滿足特定領(lǐng)域的專業(yè)性需求。
2. 概念圖的利用：為了增強(qiáng)離線索引和在線檢索的語義推理能力，KAG框架利用概念圖來提升知識(shí)對(duì)齊。通過概念圖，可以增強(qiáng)知識(shí)實(shí)例的標(biāo)準(zhǔn)化、概念與實(shí)例之間的鏈接、概念間關(guān)系的完整性，以及領(lǐng)域知識(shí)的注入。
3. 語義關(guān)系的分類：文中總結(jié)了六種常用于檢索和推理的語義關(guān)系，包括同義詞（synonym）、屬于（isA）、是部分（isPartOf）、包含（contains）、屬于（belongTo）和導(dǎo)致（causes）等。
4. 增強(qiáng)索引（Enhance Indexing）：通過使用大型語言模型（LLMs）預(yù)測(cè)索引項(xiàng)之間的語義關(guān)系或相關(guān)知識(shí)元素，包括知識(shí)實(shí)例的消歧和融合、實(shí)例與概念之間的關(guān)系預(yù)測(cè)、概念及其關(guān)系的完整性補(bǔ)充。
5. 增強(qiáng)檢索（Enhance Retrieval）：在檢索階段，利用語義關(guān)系推理來搜索KG索引，結(jié)合語義關(guān)系推理和相似度檢索，以提高檢索的專業(yè)性和邏輯性，從而獲得正確的答案。

KAG框架核心模型

詳細(xì)介紹了KAG框架中的核心模型，這個(gè)模型旨在通過優(yōu)化大型語言模型（LLMs）的三個(gè)關(guān)鍵能力——自然語言理解（NLU）、自然語言推理（NLI）和自然語言生成（NLG），來提升知識(shí)增強(qiáng)生成的性能：

1.自然語言理解（NLU）：NLU包括任務(wù)如文本分類、命名實(shí)體識(shí)別、關(guān)系提取等。為了提升NLU能力，KAG通過大規(guī)模指令重構(gòu)，創(chuàng)建了一個(gè)包含超過20,000個(gè)多樣化指令的NLU指令數(shù)據(jù)集，用于監(jiān)督式微調(diào)，從而增強(qiáng)模型在下游任務(wù)中的表現(xiàn)。

2.自然語言推理（NLI）：NLI任務(wù)用于推斷給定短語之間的語義關(guān)系，包括實(shí)體鏈接、實(shí)體消歧、分類擴(kuò)展等。KAG通過收集高質(zhì)量的概念知識(shí)庫和本體論，構(gòu)建了一個(gè)包含8,000個(gè)概念及其語義關(guān)系的概念知識(shí)集，用于提升模型的語義推理能力。?

3.自然語言生成（NLG）：為了使模型生成的文本更好地符合特定領(lǐng)域的邏輯和風(fēng)格，KAG提出了兩種有效的微調(diào)方法：K-LoRA和AKGF。K-LoRA通過預(yù)訓(xùn)練和基于LoRA的微調(diào)，使模型能夠識(shí)別知識(shí)圖譜中信息的格式，并習(xí)得領(lǐng)域特定的語言風(fēng)格。AKGF則利用知識(shí)圖譜作為自動(dòng)評(píng)估器，提供對(duì)當(dāng)前響應(yīng)知識(shí)正確性的反饋，引導(dǎo)模型進(jìn)一步優(yōu)化。

4.單次推理（Onepass Inference）：為了減少系統(tǒng)復(fù)雜性、建設(shè)成本以及模塊間錯(cuò)誤傳播導(dǎo)致的級(jí)聯(lián)損失，KAG引入了一種高效的單次推理模型（OneGen），使任意LLM能夠在單次前向傳遞中同時(shí)進(jìn)行生成和檢索。

KAG所需的模型能力

https://arxiv.org/pdf/2409.13731
KAG: Boosting LLMs in Professional Domains via Knowledge Augmented Generation
Github: https://github.com/OpenSPG/KAG

本文轉(zhuǎn)載自??PaperAgent??