Easy-RAG 一個適合學習、使用、自主擴展的檢索增強生成系統 原創
當今時代,人工智能技術的飛速發展為各行各業帶來了革命性的變化。在自然語言處理領域,檢索增強生成(RAG)系統因其卓越的性能和廣泛的應用前景,正成為研究和應用的熱點。今天,我要向您推薦的是一個創新的系統——Easy-RAG,它不僅易于學習、使用,還具備自主擴展的能力。希望能讓您對RAG能更近一步的了解。
一、Easy-RAG 系統概覽
Easy-RAG 是一個開放源代碼的檢索增強生成 (RAG) 系統,旨在提供一種簡便的方式來學習和使用 RAG 技術,并支持用戶自主擴展系統功能。該系統適用于希望深入了解和應用 RAG 技術的研究人員和開發者,無論是在學術研究還是在商業開發中都能提供強有力的支持。
二、功能特點
Easy-RAG 的功能特點主要包括:
知識庫支持:目前支持 txt、csv、pdf 等格式的文件作為知識庫,并提供知識庫的創建、更新、刪除等功能。
聊天功能:支持純大模型聊天多輪,以及知識庫問答,提供復雜召回方式、簡單召回方式和 rerank重新排序來提高檢索效率搜索方式。
語音轉文本:支持音頻視頻的語音轉文本然后向量化,使用的 funasr 模型,可在首次啟動時從魔塔下載模型。
持續更新計劃:計劃后續支持 Elasticsearch、Milvus、MongoDB 等向量數據,以及添加語音回答輸出和問題路由知識庫的功能。
三、項目結構
Easy-RAG 的項目結構包括:
- Chroma_db(存儲 Chroma 向量數據的文件夾)
- Ollama_api(以 api 方式與 ollama 交互的代碼)
- embedding(用于文件向量化處理的代碼)
- rag(存儲 rag 操作的代碼)等部分
四、安裝與使用
Easy-RAG 的安裝和使用相對簡單,可以通過 Ollama 安裝包進行安裝,并通過簡單的命令行操作來部署所需的大模型和模型。具體的安裝步驟包括下載 Ollama 安裝包,運行相應的命令來安裝所需的模型,并在配置文件中指定 rerank 模型的路徑。
1、Ollma安裝,在如下網址選擇適合你機器的ollama 安裝包
https://ollama.com/download
2、Ollama 安裝模型,直接安裝我們需要的兩個cmd中執行
ollama run qwen2:7b
ollama run mofanke/acge_text_embedding:latest
3、項目開發環境 pyhon3.8以上
git clone https://github.com/yuntianhe2014/Easy-RAG.git
4、安裝依賴
pip3 install -r requirements.txt -i https://mirrors.aliyun.com/pypi/simple
5、項目啟動
python webui.py
6、知識圖譜時時提取工具
python graph_demo_ui.py
總結:
Easy-RAG 是一個功能全面、易于學習和使用的 RAG 系統,具備良好的擴展性,適合研究人員和開發者進行深入研究和應用開發。有需要的小伙伴們可以通過下方提供地址進行更多的學習。
倉庫地址:https://github.com/yuntianhe2014/Easy-RAG
項目參考: ???https://github.com/BinNong/meet-libai??
本文轉載自公眾號頂層架構領域
原文鏈接:??https://mp.weixin.qq.com/s/e4jaykgvZ2jI7e1a1WSDqQ??
