1、寫在前面

官方開源的版本除了滿血的 671b 外，還有 1.5b，7b，8b，14b，32b，70b 六個蒸餾后的尺寸，筆者使用 Ollama 在電腦本地部署了 7b 的模型，在終端中測試了雖然回答沒有滿血版的那么驚艷，但湊活能用。

作為一款高階模型開源，確實要 salute 一下。不過進一步的問題是，我們面對這樣的強思維鏈模型，除了在官網間或 Chat 一下，如何進一步的將其變成工作或生活場景的生產力工具？本篇試圖給出一種基于RAG的回答。

2、場景分析

本篇主要介紹一個本地RAG問答系統的簡要示例，項目已開源在github。

適合對數據隱私和安全性要求高的場景，如醫療機構處理病歷檔案、金融企業分析內部報告、法律部門管理合同文書，以及希望在確保數據不出企業的前提下實現智能問答的個人或者企業。可以在完全離線環境下獨立部署和使用。

?? 私有數據安全：全程本地處理，敏感文檔無需上傳第三方服務

? 實時響應：基于本地向量數據庫實現毫秒級語義檢索

?? 領域適配：可針對專業領域文檔定制知識庫

?? 離線可用：無需互聯網連接，保護數據隱私

?? 成本可控：避免云服務按次計費，長期使用成本更低

3、系統架構

使用 Ollama 部署的 DeepSeek-r1:7b 作為推理模型，通過 Sentence Transformer (all-MiniLM-L6-v2) 將文本向量化后存儲到 ChromaDB 向量數據庫，使用 LangChain 的文本分割器處理 PDF 文檔，最后用 Gradio 構建了一個支持文件上傳和流式問答的 Web 交互界面，整個過程都在本地完成，無需連接外部服務。

?? PDF 文檔解析與向量化存儲

?? 基于 DeepSeek-7B 本地大模型

? 流式回答生成

?? 語義檢索與上下文理解

??? 友好的 Web 交互界面

4、使用方法

4.1 環境要求

Python 3.9+；內存：至少 8GB；顯存：至少 4GB（推薦 8GB）

4.2 安裝步驟

克隆倉庫

git clone https://github.com/weiwill88/Local_Pdf_Chat_RAG 

cd Local_Pdf_Chat_RAG

創建虛擬環境

python -m venv rag_env （windows 命令）

安裝依賴

.\rag_env\Scripts\activate

pip install -r requirements.txt

安裝并啟動 Ollama 服務

ollama pull deepseek-r1:7b

ollama serve & 

啟動服務

python rag_demo.py

訪問瀏覽器打開的本地地址

通常是 http://localhost:17995 上傳 PDF 文檔（等待處理完成）、在提問區輸入問題、查看實時生成的回答

配置說明

修改 rag_demo.py 中第 147 行的模型名稱可替換為其他支持的模型

4.3 RAG 優化技巧

??? 分塊策略優化：

根據文檔類型調整 chunk_size（技術文檔建議 800-1200，對話文本建議 400-600）使用滑動窗口重疊策略保持上下文連貫性

?? 檢索增強：

結合 BM25+語義檢索的混合搜索添加文檔元數據過濾（如章節標題）實現結果重排序（Rerank）提升相關性

?? 查詢優化：

問題重寫（Query Rewriting）查詢擴展（Query Expansion）多輪對話上下文管理

? 性能優化：

使用量化版嵌入模型（如 all-MiniLM-L6-v2）實現向量索引緩存機制采用批處理加速文檔處理

?? 評估體系：

構建測試用例評估召回率監控回答準確率記錄用戶反饋持續優化

5、四種應用場景示例

5.1 律師訴狀智能生成

痛點
案件證據材料分散在紙質卷宗/郵件/聊天記錄中
人工檢索匹配相似判例需遍歷多個法律數據庫，耗時較長 

解決方案
構建律所或者律師個人的私有案例庫：自動解析裁判文書PDF中的爭議焦點、法條引用、賠償金額等要素

訴狀要素智能填充：輸入"勞動仲裁+工傷賠償"等標簽，自動關聯《工傷保險條例》第37條及近三年同類型判決賠償金中位數

證據鏈完整性校驗：根據案由自動生成必備證據清單（如勞動合同、醫療鑒定書等）

5.2 制造業技術文檔問答

痛點
設備手冊包含 2000+頁PDF/圖紙，故障代碼查詢耗時＞30分鐘
新人無法理解"主軸軸向竄動≤0.01mm"等專業術語的實操標準 

解決方案
多模態知識庫：設備文檔結構化（按故障代碼/維護周期/精度標準打標簽）
實操視頻片段索引（關聯"E02報警"對應的齒輪箱拆裝演示）

智能檢索：輸入"加工中心定位精度超差"，返回導軌磨損檢測流程及塞尺使用規范圖示 

5.3 貸款客戶經理風控初篩

痛點
客戶經理需要處理大量企業客戶數據，例如發票數據、流水數據、上下游合同等信息，人工分析耗時長且易遺漏關鍵風險點。

企業財務與經營狀況信息分散且非結構化，難以快速形成清晰的風控結論。

解決方案
信息結構化：通過大模型對發票數據、流水數據、合同條款等進行關鍵信息抽取（如合同金額、付款周期、供應鏈關聯方等），并自動分類和標注（如信用風險、履約風險）。

多模態檢索：基于RAG技術，支持客戶經理輸入如“企業流動資金占比異常”或“上下游履約風險”問題，系統快速檢索合同條款、流水異常記錄，并返回具體的風險點分析和建議。

本地部署保障數據安全：所有數據分析均在本地完成，滿足企業客戶對敏感信息保護的合規要求。

5.4 零售業私有知識推薦

痛點
產品知識分散在 100+份 Excel 參數表/PPT培訓材料中
客戶咨詢"敏感肌精華成分"時，新人需手動比對10+競品手冊 

解決方案
商品知識中樞：
自動提取產品文檔中的成分表/適用膚質/禁忌搭配數據
構建成分沖突庫（含酒精成分產品不可與 A 醇類產品疊加使用）

場景化推薦引擎：
輸入"30 歲油皮夏季護膚"，推送控油套裝+搭配使用順序+關聯滿減方案
實時競品對比（展示本方產品 B5 泛醇含量高于競品 3.2%）