RAG常見(jiàn)13種分塊策略大總結(jié)（一覽表）
分塊策略在RAG中至關(guān)重要，目的是提高效率、相關(guān)性和上下文保持。分塊能減少計(jì)算開(kāi)銷，增加檢索相關(guān)信息的可能性，同時(shí)保持信息完整性。但也存在風(fēng)險(xiǎn)，如上下文丟失、冗余和不一致性。選擇策略需考慮文檔類型（結(jié)構(gòu)化 vs 非結(jié)構(gòu)化）、查詢復(fù)雜性、資源可用性和期望結(jié)果（速度 vs 準(zhǔn)確性 vs 上下文）。
以下是13種獨(dú)特分塊策略的詳細(xì)描述，按策略名稱、描述、優(yōu)點(diǎn)、缺點(diǎn)和實(shí)施建議。僅供參考。
策略名稱 | 描述 | 優(yōu)點(diǎn) | 缺點(diǎn) | 實(shí)施建議 |
固定長(zhǎng)度分塊 | 將文本按預(yù)定義長(zhǎng)度（如基于令牌或字符）分割，適合簡(jiǎn)單文檔或快速處理。 | 簡(jiǎn)單性、統(tǒng)一性、效率 | 上下文丟失、相關(guān)性問(wèn)題、潛在信息丟失 | 選擇合適大小，考慮使用重疊窗口以保持上下文 |
基于句子的分塊 | 按句子邊界分割，確保每個(gè)塊是完整的思想，適合短響應(yīng)如客戶查詢。 | 保持上下文、易于實(shí)現(xiàn)、更好的可讀性 | 塊大小不一致、不適合長(zhǎng)句、控制力弱 | 使用NLP庫(kù)檢測(cè)句子，必要時(shí)合并短句 |
段落分塊 | 將文檔按段落分割，每個(gè)段落通常包含完整想法或主題，適合結(jié)構(gòu)化文檔。 | 更豐富的上下文、邏輯分割 | 大小不一致、可能超出行牌限制 | 監(jiān)控塊大小，必要時(shí)分割大段落以保持上下文 |
文檔分塊 | 將整個(gè)文檔視為一個(gè)塊或最小分割，保持完整結(jié)構(gòu)和上下文，適合法律或醫(yī)學(xué)文檔。 | 保持完整上下文、適合結(jié)構(gòu)化文本、簡(jiǎn)單 | 可擴(kuò)展性問(wèn)題、效率低、缺乏細(xì)節(jié)提取 | 適用于不希望分割影響流程的場(chǎng)景 |
滑動(dòng)窗口分塊 | 通過(guò)滑動(dòng)窗口創(chuàng)建重疊塊，確保相鄰塊共享內(nèi)容，適合需保持跨部分上下文的文檔。 | 上下文連續(xù)性、提高檢索效果 | 冗余、計(jì)算成本高 | 優(yōu)化窗口大小和重疊，使用去重技術(shù)處理冗余 |
語(yǔ)義分塊 | 使用嵌入或機(jī)器學(xué)習(xí)模型按語(yǔ)義意義分割，確保每個(gè)塊主題連貫。 | 上下文相關(guān)性、靈活性、提高檢索準(zhǔn)確性 | 復(fù)雜性、處理時(shí)間長(zhǎng)、計(jì)算成本高、閾值調(diào)整 | 利用預(yù)訓(xùn)練模型，平衡成本和粒度 |
遞歸分塊 | 使用層次分隔符或多個(gè)分隔符逐步分割為小塊，適合大型結(jié)構(gòu)化文檔。 | 層次上下文、可擴(kuò)展性、意義塊、細(xì)粒度控制 | 實(shí)現(xiàn)復(fù)雜、可能丟失上下文、復(fù)雜性高、計(jì)算開(kāi)銷大 | 使用文檔結(jié)構(gòu)標(biāo)識(shí)層次，存儲(chǔ)塊位置元數(shù)據(jù) |
上下文增強(qiáng)分塊 | 為每個(gè)塊添加周圍塊的摘要或元數(shù)據(jù)，保持序列間的上下文，適合長(zhǎng)文檔。 | 增強(qiáng)上下文、提高連貫性 | 復(fù)雜性、存儲(chǔ)開(kāi)銷大 | 生成簡(jiǎn)潔摘要，考慮用關(guān)鍵術(shù)語(yǔ)或概念作為元數(shù)據(jù) |
模式特定分塊 | 按內(nèi)容類型（如文本、表格、圖像）分別處理，每個(gè)類型按其性質(zhì)分塊。 | 定制方法、提高準(zhǔn)確性 | 實(shí)現(xiàn)復(fù)雜、集成困難 | 使用OCR處理圖像，將表格轉(zhuǎn)為結(jié)構(gòu)化數(shù)據(jù)，保持索引一致 |
代理分塊 | 使用AI（如大型語(yǔ)言模型）按內(nèi)容結(jié)構(gòu)和語(yǔ)義建議塊邊界，或按代理角色任務(wù)組織。 | 任務(wù)導(dǎo)向效率、聚焦相關(guān)數(shù)據(jù)、靈活性、智能分割 | 復(fù)雜設(shè)置、計(jì)算密集、成本高、可能過(guò)分專業(yè)化、丟失全局上下文 | 選擇性使用，優(yōu)化LLM提示，明確代理角色和任務(wù)規(guī)則 |
子文檔分塊 | 總結(jié)整個(gè)文檔或大節(jié)并將摘要作為元數(shù)據(jù)附加到單個(gè)塊，適合大型文檔集。 | 層次檢索、上下文深度 | 額外處理、元數(shù)據(jù)管理復(fù)雜 | 自動(dòng)化摘要生成，高效存儲(chǔ)摘要 |
混合分塊 | 結(jié)合多種分塊策略，動(dòng)態(tài)適應(yīng)不同查詢類型或文檔結(jié)構(gòu)，適合多用途系統(tǒng)。 | 靈活性、優(yōu)化性能 | 邏輯復(fù)雜、維護(hù)難度大 | 制定選擇策略的標(biāo)準(zhǔn)，廣泛測(cè)試以確保可靠性 |
基于令牌的分塊 | 按預(yù)定義令牌數(shù)（如單詞或子詞）分割，確保塊在模型令牌限制內(nèi)。 | 優(yōu)化語(yǔ)言模型、精確控制塊大小、一致性 | 上下文碎片化、忽略語(yǔ)義結(jié)構(gòu)、靈活性有限 | 確保塊在模型令牌限制內(nèi) |
選擇策略時(shí)需考慮以下因素：
- 文檔類型：結(jié)構(gòu)化（如報(bào)告）適合段落分塊，非結(jié)構(gòu)化（如聊天記錄）適合語(yǔ)義分塊。
- 查詢復(fù)雜性：復(fù)雜查詢需語(yǔ)義或代理分塊，簡(jiǎn)單查詢可用固定長(zhǎng)度分塊。
- 資源可用性：計(jì)算資源有限時(shí)，優(yōu)先固定長(zhǎng)度或基于句子的分塊。
- 期望結(jié)果：速度優(yōu)先選固定長(zhǎng)度，準(zhǔn)確性優(yōu)先選語(yǔ)義分塊，上下文優(yōu)先選滑動(dòng)窗口。
