RAG現有框架總結:7個GraphRAG+17個傳統RAG | 推薦收藏 原創
一、17個傳統 RAG 框架
傳統的RAG(Retrieval-Augmented Generation)框架,是一種集成了多個關鍵環節的綜合體系,這些環節包括文本切塊(Chunk)、向量轉換(向量化)、數據存儲、信息檢索、二次排序、內容生成、內容評估等。該框架的精髓在于能夠靈活適應各種策略,例如文檔處理方法和檢索策略等。其中,具有代表性的實現有RAGFlow(專注于深度文檔理解)、QAnything(引入重排序 Rerank 機制)以及高度可配置的 Dify 等。這些實現雖然在細節上有所差異,但基本原理相似。以下是17個傳統 RAG 框架的總結:
1.AnythingLLM,具備完整的 RAG(檢索增強生成)和AI代理能力。Github 地址:??https://github.com/Mintplex-Labs/anything-llm??
2.MaxKB,基于大型語言模型的知識庫問答系統。即插即用,支持快速嵌入到第三方業務系統。Github 地址:https://github.com/1Panel-dev/MaxKB
3.RAGFlow,一個基于深度文檔理解的開源RAG(檢索增強生成)引擎。Github 地址:https://github.com/infiniflow/ragflow
4.Dify,一個開源的大型語言模型應用開發平臺。Dify直觀的界面結合了AI工作流、RAG流程、代理能力、模型管理、可觀測性功能等,讓您能快速從原型階段過渡到生產階段。Github 地址:https://github.com/langgenius/dify
5.FastGPT,基于LLM構建的知識型平臺,提供即開即用的數據加工和模型調用能力,允許通過流程可視化進行工作流編排。Github 地址:https://github.com/labring/FastGPT
6.Langchain-Chatchat,基于Langchain和ChatGLM等不同大模型的本地知識庫問答。Github 地址:https://github.com/chatchat-space/Langchain-Chatchat
7.QAnything,基于Anything的問題和答案。Github 地址:https://github.com/netease-youdao/QAnything
8.Quivr,使用Langchain、GPT 3.5/4 turbo、Private、Anthropic、VertexAI、Ollama、LLMs、Groq等與文檔(PDF、CSV等)和應用程序交互,本地和私有的替代OpenAI GPTs和ChatGPT。Github 地址:https://github.com/QuivrHQ/quivr
9.RAG-GPT,RAG-GPT利用LLM和RAG技術,從用戶自定義的知識庫中學習,為廣泛的查詢提供上下文相關的答案,確??焖贉蚀_的信息檢索。Github 地址:https://github.com/open-kf/rag-gpt
10.Verba,由Weaviate驅動的檢索增強生成(RAG)聊天機器人。地址:https://github.com/weaviate/Verba
11.FlashRAG,一個用于高效RAG研究的Python工具包。Github 地址:https://github.com/RUC-NLPIR/FlashRAG
12.LightRAG,檢索器-代理-生成器式的RAG框架。Github 地址:https://github.com/SylphAI-Inc/LightRAG
13.kotaemon,一個開源的干凈且可定制的RAG UI。Github 地址:https://github.com/Cinnamon/kotaemon,
14.RAGapp,在企業中使用Agentic RAG的最簡單方式。Github 地址:https://github.com/ragapp/ragapp
15.TurboRAG,通過預計算的KV緩存加速檢索增強生成,適用于分塊文本。Github 地址:https://github.com/MooreThreads/TurboRAG
16.TEN,實時多模態AI代理框架。Github 地址:https://github.com/TEN-framework/ten_framework
17.AutoRAG,RAG AutoML工具。Github 地址:https://github.com/Marker-Inc-Korea/AutoRAG
二、7個 GraphRAG 框架
GraphRAG 框架在微軟頗受歡迎,隨后衍生出了多個輕量級改進版本,例如LightRAG 和 nano-GraphRAG。同時,也有一些獨具特色的變體,如 KAG。這些框架的核心改進在于,它們在傳統 RAG 的基礎上,加強了實體、社區以及文本切塊(Chunk)之間的聯系,并融入了現有知識圖譜(KG)的知識,以此來提高信息檢索的召回率和準確性。
這里總結7個:
1.LightRAG,簡單快速的Graphrag檢索增強生成。Github 地址:https://github.com/HKUDS/LightRAG
2.GraphRAG-Ollama-UI,使用Ollama的GraphRAG,帶有Gradio UI和額外功能。Github 地址:https://github.com/severian42/GraphRAG-Ollama-UI
3.microsoft-GraphRAG,一個模塊化的基于圖的檢索增強生成(RAG)系統。地址:Github ??https://github.com/microsoft/graphrag??
4.nano-GraphRAG,一個簡單、易于修改的GraphRAG實現。Github 地址:https://github.com/gusye1234/nano-graphrag
5.KAG,基于OpenSPG引擎的知識增強生成框架,用于構建知識增強的嚴格決策制定和信息檢索知識服務。Github 地址:https://github.com/OpenSPG/KAG
6.Fast-GraphRAG,GraphRAG的輕量化版本。Github 地址:https://github.com/circlemind-ai/fast-graphrag
7.Tiny-GraphRAG,一個小巧的GraphRAG實現。地址:https://github.com/limafang/tiny-graphrag
在探索先進的信息處理技術領域,RAG 框架及其多樣化的應用方案,比如:Naive RAG、Agentic RAG、Advanced RAG 等等,已經成為行業內的熱門話題。為了幫助技術愛好者們深入理解和應用這些技術,我們精心打造了 AI Agent 項目實戰訓練營。這個訓練營旨在通過實戰演練,讓您直接體驗到從數據切割到內容生成的全流程,掌握關鍵技術的應用要領。我們承諾,通過專業的指導和實戰操作,您將能夠系統地提升自己在信息處理技術方面的實踐能力?,F在就加入我們,一起在 Agent 項目實戰訓練營中開啟您的技術成長新篇章!
3、
第一、這是大勢所趨,我能正在經歷一場重大技術變革,還不像當年的互聯網的興起,這是一場顛覆性的變革,掉隊就等于淘汰,因為未來所有應用都將被AI Agent 重寫一遍;
第二、現在處于紅利期,先入場的同學至少會享受4~5年的紅利,拿高薪,并且會掌握更多的資源。
第三、企業需求旺盛,越來越多的企業開始在 AI Agent 領域進行創新嘗試,這為我們提供了豐富的崗位機會和廣闊的發展空間。
最近兩年一直在研究大模型應用技術,大模型的價值太大了,AI Agent 的潛力太大了,“未來所有應用都將被 AI Agent 重寫一遍”這句話也是今天聽到最多的一句話。我的團隊這兩年,尤其是今年接了很多開發 AI Agent 的項目,越來越多的企業都開始做這方面的創新嘗試。
AI Agent 足夠重要,但也足夠復雜,我這兩年的實踐的結論是,想開發出一個能夠可靠穩定的 Agent 應用實在太難了,大模型技術本身的復雜度,大模型推理的不確定性等等,這些困難直接導致很人對其望而卻步,或是遇到問題無從下手。一般的技術同學想要自己掌握 Agent 太難了。
本文轉載自公眾號玄姐聊AGI 作者:玄姐
原文鏈接:??https://mp.weixin.qq.com/s/bn0NTbzcap5GFG51wpvOkg??
