?iText2KG是一個開源項目，能夠利用大型語言模型（zero-shot）跨領(lǐng)域從文本中提取實體和關(guān)系，自動構(gòu)建和更新知識圖譜，并通過Neo4j進(jìn)行可視化。

iText2KG由四個主要模塊組成：文檔提取器、增量實體提取器、增量關(guān)系提取器、圖形集成器和可視化。它們協(xié)同工作，從非結(jié)構(gòu)化文本構(gòu)建和可視化知識圖譜。

iText2KG整體架構(gòu)概述

• 文檔提取器（Document Distiller）：該模塊處理原始文檔，并根據(jù)用戶定義的模式將其重新表述為語義塊。它通過關(guān)注相關(guān)信息并以預(yù)定義的格式對其進(jìn)行結(jié)構(gòu)化來提高信噪比。
• 增量實體提取器（Incremental Entity Extractor）：此模塊從語義塊中提取唯一實體并解決歧義以確保每個實體都有明確定義。它使用余弦相似度度量將局部實體與全局實體進(jìn)行匹配。
• 增量關(guān)系提取器（Incremental Relation Extractor）：此模塊識別提取實體之間的關(guān)系。它可以以兩種模式運行：使用全局實體豐富圖形中的潛在信息，或使用局部實體建立更精確的關(guān)系。
• 圖形集成器和可視化（Graph Integrator and Visualization）：此模塊將提取的實體和關(guān)系集成到 Neo4j 數(shù)據(jù)庫中，提供知識圖譜的可視化表示。它允許對結(jié)構(gòu)化數(shù)據(jù)進(jìn)行交互式探索和分析。

四個模塊中，增量實體提取器與增量關(guān)系提取器最為關(guān)鍵，采用大模型來實現(xiàn)，LLM提取代表一個唯一概念的實體，以避免語義混合的實體。

顯示了使用 Langchain JSON 解析器的實體和關(guān)系提取prompt。分類如下：藍(lán)色 - 由 Langchain 自動格式化的prompt；常規(guī) - iText2KG設(shè)計的prompt；斜體 - 專門為實體和關(guān)系提取設(shè)計的prompt。（a）關(guān)系提取prompt和（b）實體提取prompt。

為了說明知識圖譜構(gòu)建的結(jié)果，在三種不同場景下，將基線方法與iText2KG進(jìn)行了比較：

• 基線方法在所有三種知識圖譜構(gòu)建場景中都揭示了存在沒有關(guān)系的孤立節(jié)點。這種現(xiàn)象可能歸因于實體提取和關(guān)系提取的同時執(zhí)行，這可能會在語言模型中引起幻覺效應(yīng)，導(dǎo)致“遺忘”效應(yīng)，即分離實體和關(guān)系提取的過程可以提高性能。
• 在“網(wǎng)站到知識圖譜”的場景中，輸入文檔數(shù)量的增加與圖中噪聲節(jié)點的出現(xiàn)有關(guān)。這強(qiáng)調(diào)了對文檔進(jìn)行有效精煉和蒸餾的模塊1的關(guān)鍵需求。
• iText2KG方法在三種知識圖譜構(gòu)建場景中展示了改進(jìn)的實體和關(guān)系解析能力。當(dāng)輸入文檔較少且由簡單、非復(fù)雜短語組成時，語言模型在實體和關(guān)系解析方面表現(xiàn)出高效率，如“簡歷到知識圖譜”過程中所證明的。相反，隨著數(shù)據(jù)集變得更加復(fù)雜和龐大，挑戰(zhàn)也隨之增加，如“網(wǎng)站到知識圖譜”場景所示。此外，重要的是要強(qiáng)調(diào)輸入文檔的分塊大小和閾值對知識圖譜構(gòu)建的影響。文檔分餾器的輸入文檔可以是獨立的文檔或分塊。如果分塊大小較小，則語義塊將從文檔中捕獲更具體的詳細(xì)信息，反之亦然

 在三個場景中，基線方法與iText2KG在知識圖譜構(gòu)建方面的比較

https://github.com/AuvaLab/itext2kg
https://arxiv.org/pdf/2409.03284
iText2KG: Incremental Knowledge Graphs Construction Using Large Language Models

本文轉(zhuǎn)載自??PaperAgent??