[[382731]]

本文轉載自微信公眾號「大數據DT」，作者劉宇 趙宏宇 等。轉載本文請聯系大數據DT公眾號。

01 什么是知識圖譜

我們可以從不同的視角去審視知識圖譜的概念。

• 在Web視角下，知識圖譜如同簡單文本之間的超鏈接一樣，通過建立數據之間的語義鏈接，支持語義搜索。
• 在自然語言處理視角下，知識圖譜就是從文本中抽取語義和結構化的數據。
• 在知識表示視角下，知識圖譜是采用計算機符號表示和處理知識的方法。
• 在人工智能視角下，知識圖譜是利用知識庫來輔助理解人類語言的工具。
• 在數據庫視角下，知識圖譜是利用圖的方式去存儲知識的方法。

目前，學術界還沒有給知識圖譜一個統一的定義。在谷歌發布的文檔中有明確的描述，知識圖譜是一種用圖模型來描述知識和建模世界萬物之間關聯關系的技術方法。

知識圖譜還是比較通用的語義知識的形式化描述框架，它用節點表示語義符號，用邊表示語義之間的關系，如圖3-1所示。在知識圖譜中，人、事、物通常被稱作實體或本體。

▲圖3-1 知識圖譜示例

知識圖譜的組成三要素包括：實體、關系和屬性。

• 實體：又叫作本體(Ontology)，指客觀存在并可相互區別的事物，可以是具體的人、事、物，也可以是抽象的概念或聯系。實體是知識圖譜中最基本的元素。
• 關系：在知識圖譜中，邊表示知識圖譜中的關系，用來表示不同實體間的某種聯系。如圖3-1所示，圖靈和人工智能之間的關系，知識圖譜和谷歌之間的關系，谷歌和深度學習之間的關系。
• 屬性：知識圖譜中的實體和關系都可以有各自的屬性，如圖3-2所示。

▲圖3-2 知識圖譜中的屬性

知識圖譜的構建涉及知識建模、關系抽取、圖存儲、關系推理、實體融合等多方面技術。知識圖譜的應用則體現在語義搜索、智能問答、語言理解、決策分析等多個領域。

02 知識圖譜的價值

知識圖譜最早應用于搜索引擎，一方面通過推理實現概念檢索，另一方面以圖形化方式向用戶展示經過分類整理的結構化知識，從而使人們從人工過濾網頁尋找答案的模式中解脫出來，可應用到智能問答、自然語言理解、推薦等方面。

知識圖譜的發展得益于Web技術的發展，受KR、NLP、Web以及AI等方面的影響。知識圖譜的價值歸根結底是為了讓AI變得更智慧。

1. 助力搜索

搜索的目的是在萬物互聯的網絡中，能夠使人們方便、快速地找到某一事物。目前，我們的搜索習慣和搜索行為仍然是以關鍵詞為搜索目的，知識圖譜的出現可以徹底改變這種搜索行為模式。

在知識圖譜還沒有應用到搜索引擎上時，搜索的流程是：從海量的URL中找出與查詢匹配度最高的URL，按照查詢結果把排序分值最高的一些結果返回給用戶。在整個過程中，搜索引擎可能并不需要知道用戶輸入的是什么，因為系統不具備推理能力，在精準搜索方面也略顯不足。

而基于知識圖譜的搜索，除了能夠直接回答用戶的問題外，還具有一定的語義推理能力，大大提高了搜索的精確度。圖3-3所示是知識圖譜助力搜索示意圖。

▲圖3-3 知識圖譜助力搜索

2. 助力推薦

推薦技術和搜索技術非常相似，但是稍有區別。搜索技術采用信息拉取的方式，而推薦技術采用信息推送的方式，所以在推薦技術中有一些問題，比如冷啟動和數據稀疏問題。

以電商推薦為例介紹知識圖譜在推薦上的應用。假設我買了手機，手機的強下位關系是手機殼，這樣系統就可以給我推薦手機殼，同時也可以推薦相似或互補的實體。圖3-4為知識圖譜助力推薦示意圖。

▲圖3-4 知識圖譜助力推薦

3. 助力問答

問答與對話系統一直是NLP在人工智能實現領域的關鍵標志之一。知識圖譜相當于是給問答與對話系統掛載了一個背景知識庫。

對于問答與對話系統或者聊天機器人來說，其除了需要實體知識圖譜和興趣知識圖譜等開放領域的稀疏大圖外，還需要針對機器人和用戶個性化的稠密小圖。同時，知識圖譜是需要動態更新的。圖3-5是知識圖譜助力問答示意圖。

▲圖3-5 知識圖譜助力問答

03 知識圖譜的架構

知識圖譜的架構涉及知識表示、知識獲取、知識處理和知識利用等多個方面。

一般情況下，知識圖譜構建流程如下：首先確定知識表示模型，然后根據不同的數據來源選擇不同的知識獲取手段并導入相關的知識，接著利用知識推理、知識融合、知識挖掘等技術構建相應的知識圖譜，最后根據不同應用場景設計知識圖譜的表現方式，比如：語義搜索、智能推薦、智能問答等。

從邏輯上，我們可以將知識圖譜劃分為兩個層次：數據層和模式層。數據層可以是以事實為單位存儲的數據庫，可以選用的圖數據庫有RDF4j、Virtuoso、Neo4j等三元組。

<實體，關系，實體>或者<實體，屬性，屬性值>可以作為基本的表達方式，存儲在圖數據庫中。模式層建立在數據層之上，是知識圖譜的核心。通常，通過本體庫來管理數據層，本體庫的概念相當于對象中“類”的概念。借助本體庫，我們可以管理公理、規則和約束條件，規范實體、關系、屬性這些具體對象間的關系。

知識圖譜有自頂向下和自底向上兩種構建方式。自頂向下構建是指借助百科類數據源，提取本體和模式信息，并加入知識庫中。自底向上構建是指借助一定的技術手段，從公開的數據中提取資源，選擇其中置信度較高的信息，經人工審核后，加入知識庫中。

在知識圖譜發展初期，多數企業和機構采用自頂向下的方式構建知識圖譜，目前大多企業采用自底向上的方式構建知識圖譜。

知識圖譜的架構如圖3-6所示。

▲圖3-6 知識圖譜的架構

• 知識源：包括結構化數據、非結構化數據和半結構化數據。
• 信息抽取：就是從各種類型的數據源中提取實體、屬性以及實體間的相互關系，在此基礎上形成本體的知識表述。知識圖譜的構建過程中存在大量的非結構化或者是半結構化數據，這些數據在知識圖譜的構建過程中需要通過自然語言處理的方法進行信息抽取。從這些數據中，我們可以提取出實體、關系和屬性。
• 知識融合：主要工作是把結構化的數據以及信息抽取提煉到的實體信息，甚至第三方知識庫進行實體對齊和實體消歧。這一階段的輸出應該是從各個數據源融合的各種本體信息。
• 知識加工：知識加工階段如圖3-6所示，其中知識推理中重要的工作就是知識圖譜的補全。常用的知識圖譜的補全方法包括：基于本體推理的補全方法、相關的推理機制實現以及基于圖結構和關系路徑特征的補全方法。

關于作者：劉宇，清華大學碩士，現就職于一家跨境電商公司，任技術總監，主要負責該公司搜索推薦業務以及廣告的相關技術開發。目前工作的重點是落地算法在搜索系統、推薦系統、對話系統等具體業務場景下的應用。對機器學習、深度學習、大數據應用與開發等頗有研究。合著有《聊天機器人：入門、進階與實戰》一書。

趙宏宇，本科畢業于東北大學;研究生畢業于RIT，主修AI方向。現就職于獵聘網，主要負責獵聘網推薦排序相關的工作。

劉書斌，本科畢業于東北大學，現就職于美團，資深系統開發工程師。曾在唯品會任職，主要負責搜索工程的架構設計與實現等相關工作，在Elasticsearch方面有豐富的工程實踐經驗。

孫明珠，碩士畢業于南京航空航天大學，現就職于獵聘網，擔任高級算法工程師，負責查詢理解、解析、擴展等NLP相關的工作。

本文摘編自《智能搜索和推薦系統：原理、算法與應用》，經出版方授權發布。