OPEN-RAG：利用開源大模型增強檢索增強推理原創(chuàng)

發(fā)布于 2024-11-22 15:35

瀏覽

0收藏

檢索增強生成（RAG）已被證明可以提高大型語言模型（LLMs）的事實準確性，但現(xiàn)有方法在有效使用檢索到的證據(jù)方面往往存在有限的推理能力，特別是當使用開源LLMs時。

引入了一個新穎的框架OPEN-RAG，增強基于開源大型語言模型的檢索增強推理的能力，特別是處理復雜推理任務時的有限推理能力。

方法

模型轉換：OPEN-RAG將任意密集的LLM轉換為參數(shù)高效的稀疏專家混合（MoE）模型。該模型不僅能夠自我反思，還能處理復雜的推理任務，包括單跳和多跳查詢。

OPEN-RAG：利用開源大模型增強檢索增強推理-AI.x社區(qū)

路由器R從頭開始訓練。FFN層保持凍結狀態(tài)，并由基于并行適配器的專家E進行調(diào)整。其他層被復制。

路由模塊：路由模塊負責根據(jù)輸入的歸一化輸出選擇Top-k專家。使用Softmax函數(shù)來計算每個專家的激活概率。

適配器模塊：每個專家的適配器模塊負責調(diào)整專家的輸出，以更好地適應當前的查詢。適配器模塊的參數(shù)是在訓練過程中更新的，而原始的FFN層參數(shù)保持不變。

輸出：MoE模型的輸出是激活的專家輸出的加權和。

訓練策略：在微調(diào)過程中使用QLora適配器，它具有負載平衡目標和標準條件語言建模目標。在訓練和推理期間，只有部分專家（例如2個專家）是活躍的。

通過上述步驟，OPEN-RAG成功地將一個密集型的大型語言模型轉換為一個參數(shù)高效的稀疏混合專家模型，使其能夠更有效地處理復雜的推理任務。這種轉換不僅提高了模型的性能，還保持了模型的規(guī)模和參數(shù)效率。

大型語言模型（LLMs）在處理復雜問題時，需要從外部知識源檢索信息以提高回答的準確性。然而，頻繁的檢索會降低模型的推理速度，因此需要一種方法來動態(tài)決定是否需要進行檢索。

提出了一種混合自適應檢索方法，根據(jù)模型置信度確定檢索的必要性，并在性能和速度之間取得平衡。該方法通過生成檢索/無檢索反射令牌來測量在強制無檢索設置下輸出的置信度，并根據(jù)這些置信度決定是否進行檢索。

OPEN-RAG模型在訓練時學習生成檢索（RT）和不檢索（NoRT）反射令牌。在推理時評估模型生成的輸出序列的置信度。

設計了兩種不同的置信度評分函數(shù)：

OPEN-RAG：利用開源大模型增強檢索增強推理-AI.x社區(qū)

并且，使用一個可調(diào)的閾值γ來控制檢索頻率。如果置信度評分低于閾值γ，則觸發(fā)檢索。

OPEN-RAG：利用開源大模型增強檢索增強推理-AI.x社區(qū)

open-rag推理流程：首先，學習生成檢索/不檢索標記，對比相關和不相關上下文，并將答案歸類為部分支持、完全支持或不支持。然后在推理時，給定一個（多跳）用戶查詢，首先強制模型在輸入條件為不檢索的情況下生成答案，并根據(jù)模型的置信度動態(tài)決定是否需要檢索。

接收輸入查詢：模型接收一個用戶輸入的查詢(q)。
生成檢索令牌：模型首先判斷是否需要進行檢索來更好地回答這個查詢，并生成相應的檢索令牌([RT]/[NoRT])。
無檢索生成答案：如果模型決定不需要檢索（[NoRT]），它將使用其內(nèi)部知識（參數(shù)知識）來生成答案。
執(zhí)行自適應檢索：如果模型決定需要檢索（[RT]），則執(zhí)行以下步驟：使用一個預定義的檢索器從外部知識源檢索最相關的文檔。根據(jù)需要，可以執(zhí)行單次檢索或多跳檢索。
處理檢索到的文檔：對于每個檢索到的文檔(s_t)，模型執(zhí)行以下操作：