怎么看大模型、RAG、Agent、知識庫、向量數據庫、知識圖譜、AGI的區別和聯系? 原創
我們要把 AI 大模型當做人的大腦,因此調用 AI 大模型,相當于調用一個人,把 AI 大模型當人看,TA 懂人話、TA 說人話、TA 會直接給出結果,但結果不一定正確。
因此在 AI 大模型的推理基礎上,通過 RAG、Agent、知識庫、向量數據庫、知識圖譜等技術手段實現了真正的 AGI(通用人工智能)。這些技術到底有哪些區別和聯系,下圖作了橫向對比,接下來我們詳細剖析。
1、大語言模型(LLM)
大語言模型(LLM)是通過深度學習方法,利用龐大的文本數據集進行訓練的機器學習模型,它具備生成自然流暢的語言文本以及準確理解語言文本深層語義的能力。大語言模型廣泛應用于各種自然語言處理任務,包括但不限于文本分類、智能問答以及人機交互對話等,是 AI 領域的重要支柱之一。
過去的一年中,大語言模型及其在 AI 領域的應用受到了全球科技界的廣泛關注。特別值得注意的是,這些大語言模型在規模上取得了顯著的增長,參數量從最初的數十億激增到如今驚人的萬億級別。這一飛躍性的增長不僅使得大語言模型在捕捉人類語言的微妙差異上更為精準,更讓它能夠深入洞察人類語言的復雜本質。
隨著 OpenAI GPT-4o 的發布,回顧過去的一年,大語言模型在多個方面取得了顯著的進步,包括高效吸納新知識、有效分解復雜任務以及圖文精準對齊等。隨著技術的不斷演進和完善,大語言模型將繼續拓展其應用邊界,為人們帶來更加智能化、個性化的服務體驗,從而深刻改變我們的生活方式和生產模式。
大語言模型擁有推理能力,TA 是一切應用的基石。
2、檢索增強生成(RAG)
RAG(Retrieval-Augmented Generation)技術是一種集成檢索與生成雙重能力的知識增強方案,旨在應對復雜多變的信息查詢和生成挑戰。在如今的大模型時代背景下,RAG 巧妙地引入外部數據源,比如:本地知識庫或企業信息庫,為 AI 大模型賦予了更強大的檢索和生成實力,從而顯著提升了信息查詢和生成的品質。
RAG 技術的核心在于它將先進的向量數據庫與大模型的智能問答能力進行了完美結合。知識庫中的信息被精心存儲在向量數據庫中,當接收到用戶的問題時,系統能夠迅速從知識庫中檢索出相關的知識片段。隨后,這些片段會與大模型的智慧相結合,共同孕育出精確而全面的回答。這種技術的運用極大地提高了 AI 系統在處理復雜問題時的準確性和響應速度,為用戶帶來了更加優質和高效的體驗。
總之,RAG 技術就是給大語言模型新知識。
3、智能體(Agent)
在 AI 大模型時代,任何具備獨立思考能力并能與環境進行交互的實體,都可以被抽象地描述為智能體(Agent)。這個英文詞匯在 AI 領域被普遍采納,用以指代那些能夠自主活動的軟件或硬件實體。在國內,我們習慣將其譯為“智能體”,盡管過去也曾出現過“代理”、“代理者”或“智能主體”等譯法。
智能體構建在大語言模型的推理能力基礎上,對大語言模型的 Planning 規劃的方案使用工具執行(Action) ,并對執行的過程進行觀測(Observation),保證任務的落地執行。
總之,Agent 智能體 = 大語言模型的推理能力 + 使用工具行動的能力。
4、知識庫
對于企業而言,構建一個符合自身業務需求的知識庫是至關重要的。通過RAG、微調等技術手段,我們可以將通用的大模型轉變為對特定行業有著深度理解的“行業專家”,從而更好地服務于企業的具體業務需求。這樣的知識庫基本上適用于每個公司各行各業,包括:市場調研知識庫、人力資源知識庫、項目管理知識庫、技術文檔知識庫、項目流程知識庫、招標投標知識庫等等。
知識庫的技術架構分為兩部分:
第一、離線的知識數據向量化
- 加載:通過文檔加載器(Document Loaders)加載數據/知識庫。
- 拆分:文本拆分器將大型文檔拆分為較小的塊。便于向量或和后續檢索。
- 向量:對拆分的數據塊,進行 Embedding 向量化處理。
- 存儲:將向量化的數據塊存儲到向量數據庫 VectorDB 中,方便進行搜索。?
第二、在線的知識檢索返回
- 檢索:根據用戶輸入,使用檢索器從存儲中檢索相關的 Chunk。
- 生成:使用包含問題和檢索到的知識提示詞,交給大語言模型生成答案。
總之,知識庫是 AI 大模型應用的知識基礎。
5、向量數據庫
向量數據庫是專注于存儲和查詢向量的系統,其向量源于文本、語音、圖像等數據的向量化表示。
相較于傳統數據庫,向量數據庫更擅長處理非結構化數據,比如:文本、圖像和音頻。在機器學習和深度學習中,數據通常以向量形式存在。
向量數據庫憑借高效存儲、索引和搜索高維數據點的能力,在處理比如:數值特征、文本或圖像嵌入等復雜數據時表現出色。
總之,知識庫的存儲載體往往是向量數據庫,另外在數據存儲和檢索上,向量數據庫以向量空間模型高效存儲和檢索高維數據,為 AI 大模型和 Agent 智能體提供強有力的數據支持。
6、知識圖譜
知識圖譜是一種基于實體和關系的圖結構數據庫,旨在表示和管理知識。它采用結構化數據模型來存儲、管理和顯示人類語言知識。
知識圖譜通過語義抽取建立人類語言知識間的關系,形成樹狀結構。實體如人、地點、組織等,具有特定屬性和關系,這些關系連接著不同的實體。通過數據挖掘、信息處理和圖形繪制,知識圖譜揭示了知識領域的動態發展規律,為學科研究提供了有價值的參考。
醫療領域是知識圖譜技術的一個廣泛應用場景,它可以幫助臨床診療、醫療數據的整合與利用,并通過實體識別、關系抽取和數據集訓練,以圖譜形式展示關鍵節點和它們之間的聯系,從而支持更精準的醫療決策。
與此同時,在智能推薦、自然語言處理、機器學習等領域也具有廣泛的應用。尤其在搜索引擎領域,它能夠提高搜索的準確性,為用戶提供更加精準的搜索結果。
總之,知識圖譜本質上是一種叫作語義網絡的知識庫,即一個具有有向圖結構的知識庫,其中圖的結點代表實體或者概念,而圖的邊代表實體/概念之間的各種語義關系。
7、AGI
AGI(通用人工智能)作為 AI 發展的終極愿景,追求的是讓智能系統具備像人類一樣理解和處理各種復雜情況與任務的能力。在實現這一宏偉目標的過程中,AI 大模型、Prompt Engineering、Agent 智能體、知識庫、向量數據庫、RAG 以及知識圖譜等技術扮演著至關重要的角色。這些技術元素在多樣化的形態中相互協作,共同推動 AI 技術持續向前發展,為實現 AGI 的最終目標奠定堅實基礎。
本文轉載自公眾號玄姐聊AGI 作者:玄姐
原文鏈接:??https://mp.weixin.qq.com/s/ur7O3csVyi0lDz5xU6eGZg??
