一、什么是大模型幻覺問題

1. 什么是大模型幻覺

首先介紹一下什么是大模型的幻覺。

在某些情況下，我們在使用大模型生成結果時，會有一個直觀的感受，就是“一本正經的胡說八道”。

• 一本正經：生成結果流暢、困惑度 PPL 低、有邏輯性。
• 胡說八道：存在兩種定義①內容與人類認知不一致；②內容不可證偽。

這里給出一些大模型生成結果的例子，大家可以思考這些問題是否屬于大模型的幻覺問題，以及我們是否真的要解決這些問題。

從學術界的共識來看，大模型的幻覺可以分成兩大類：

• 事實性的幻覺：包括事實不一致和捏造事實兩類。
• 忠實性的幻覺：包括不遵循指令和不遵循上下文兩類。

如何在業務工作中，對大模型幻覺進行具體分類，可以參考流程圖。

• 首先關注用戶指令和上下文，如果沒有遵循指令，則是不遵循指令的忠實性幻覺，如果沒有遵循上下文，則是不遵循上下文的忠實性幻覺。
• 其次，關注回復內容，如果回復內容正確，則正常，如果回復錯誤，則需要進一步看錯誤類型。
• 最后，回復錯誤類型包括知識類的捏造事實，計算、代碼類的事實不一致，以及推理過程中的邏輯不一致等。

2. 大模型幻覺問題產生的原因

上節介紹了大模型幻覺的定義和分類，接下來介紹大模型幻覺問題產生的原因，共有三大類。

• 數據
• 算法和訓練
• 推理

（1）數據導致的幻覺問題

以知識邊界為例，如果大模型未學習到該領域的知識，或者雖然學習到了，但是知識過時，或者是知識生產時間晚于模型數據生產時間等情況，均會導致大模型由于數據問題出現幻覺。

（2）數據采樣過程導致的模型幻覺

一種情況是數據采樣的知識捷徑。最近的研究表明，LLMs 往往依賴于捷徑，而不是真正理解事實知識的細節。它們傾向于過度依賴預訓練數據中的共現統計、共現頻率和相關文檔計數，這可能會引入對虛假相關性的偏見，如果這種偏見反映了事實上不正確的信息，可能會導致幻覺。長尾知識以其在預訓練數據中的相對罕見性為特征，對 LLMs 構成了固有的挑戰，它們主要依賴于共現模式來記憶事實知識。因此，當面臨涉及這種長尾知識的查詢時，LLMs 在生成事實上不準確的回答方面存在較高的風險。

（3）預訓練過程導致的模型幻覺

一方面，可能受限于 Decoder-Only 架構，以及注意力機制的缺陷。大模型基于前一個標記預測下一個標記，僅從左到右。這種單向建模雖然促進了高效的訓練，但也存在局限性。它僅利用單一方向的上下文，這阻礙了捕捉復雜的上下文依賴關系，可能增加幻覺的風險。self attention 模塊在捕獲長距離依賴關系方面表現出色。然而最近的研究表明，它們偶爾在算法推理的背景下表現出不可預測的推理錯誤，無論是長距離還是短距離依賴關系，無論模型規模大小。一個可能的原因是 soft attention 的局限性，隨著序列長度的增加，注意力在各個位置之間變得稀釋。

另一方面是曝光偏差的問題。這是由于自回歸生成模型的訓練和推理之間的差異造成的。在訓練過程中，這些模型通常采用最大似然估計（MLE）的訓練策略，其中真實標記作為輸入提供。然而，在推理過程中，模型依賴于自己生成的標記進行后續預測。這種不一致性可能導致幻覺，尤其是當模型生成的錯誤標記在后續序列中引發錯誤級聯時。

此外，微調對齊也會導致幻覺問題，大模型在預訓練期間建立了固有的能力邊界，當在微調數據中包含了預訓練階段未見過的新知識時，大模型被訓練為生成超出自身知識邊界的內容，增加了幻覺的風險。在模型對齊階段，大模型也可能會產生諂媚的行為，其回應更傾向于用戶的觀點，而不是提供正確或真實的答案，這也會增加大模型幻覺現象。

推理階段同樣可能導致幻覺問題。一方面，temperature、top k、top b 等技術來引入隨機性，可能導致幻覺。另一方面，長文本時，更多關注局部 attention，缺少全局信息關注，導致忘記指令或指令不遵循等情況，從而產生幻覺。此外，由于模型最后，經過一系列注意力機制和計算后，最后 output 層會做一次 Softmax 生成最終的預測概率，然而，基于 Softmax 的語言模型的有效性受到 Softmax Bottleneck 這一已知限制的阻礙，其中 Softmax 與 embedding 的結合限制了輸出概率分布的表達能力，阻止了語言模型輸出期望的分布，從而導致了幻覺問題。

3. 如何檢測大模型幻覺

上文介紹了大模型幻覺問題的產生原因，接下來介紹大模型幻覺問題的檢測。

（1）按照知識的確定性劃分類別

首先，判斷用戶問題是否可以回答，即問題是否客觀、真實、確定性。例如主觀問題、哲學類問題、科學想象問題、尚未形成科學共識的問題等，如果希望模型給出確定性答案，大概率是存在問題的。當然，對這種問題，有一個討巧的辦法，讓生成結果更符合人類偏好，對于主觀問題，給出多種可能答案。

其次，當排除掉非確定性答案的問題后，對于有確定答案的問題，從大模型對知識掌握的認知層面看，又可以分成如下幾類：

• 大模型知道自己知道知識
• 大模型不知道自己知道知識
• 大模型不知道自己不知道知識
• 大模型知道自己不知道知識

針對于前兩類，并不影響回答正確性。

針對于后兩類，大模型本身的回答存在幻覺，是我們重點關注的問題。

（2）針對不可回答類問題的檢測思路

此處列舉了 2 個工作。TruthfulQA 評測集，使用人類經?；卮疱e誤的問題來構建測試集 benchmark，以評估大模型的幻覺能力或者程度。

另一個工作是收集不可回答的問題，通過語義相似度方法，構建語義類似的但是可以回答的問題。利用二元分類器，判斷模型的幻覺程度。

（3）如何檢測“大模型知道自己不知道”

是否可以讓大模型知道自己在“胡說八道”呢？可以利用語義熵的思路。有兩種方法。

第一種方法，通過讓模型多次回答同一個問題，觀察模型回復的一致性。通過對模型多次回答的結果進行語義聚類，如果聚類結果比較分散，可能表明模型的回答存在幻覺。注意，即使模型多次給出了相同的回答，也不能直接判斷其為正確答案，因為模型有可能穩定的回復錯誤答案，這需要與已知事實或專業知識進行對比驗證。

第二種方法，讓模型對同一個問題生成多個回答，檢查這些回答之間是否相互支持，即一個回答是否可以作為另一個回答的證據或補充。如果在這些回答中發現相互矛盾或沖突的信息，這可能是模型產生幻覺的跡象。如果所有回答都相互一致且沒有沖突，這可能表明模型的回答是可靠的。同樣注意，即使回答一致，需要將模型的回答與已知的事實、數據或其他可靠的信息源進行對比，以驗證其真實性。

（4）如何檢測“大模型不知道自己不知道”

對于這種情況，可以引入外部工具來檢測幻覺，比如搜索引擎、代碼解釋器等。

針對大模型輸出的結果，抽取事實或者觀點 claims，用事實或觀點再用大模型去生成問題，用生成的問題去搜索引擎、代碼解釋器等工具收集證據，將收集的證據與大模型輸出對比，判斷是否有沖突。如果存在沖突，則可能存在幻覺。

此外，還有一個技巧，參考人類撒謊的情況，撒謊時候對于細節問題是很容易出現錯誤或者沖突，一個謊言往往需要更多的謊言來掩蓋。我們在生成問題的過程中，可以利用不斷追問的方式來生成，有利于判斷大模型是否存在幻覺。

二、360 可信大模型的幻覺解決方案

1. 在數據、算法、推理階段，緩解大模型幻覺問題

綜上來看，大模型幻覺產生的各類問題都有相應的緩解方案，在實際工作過程中，根據不同問題可以利用不同解決辦法，包括預訓練、微調、對齊、解碼策略、RAG、知識編輯等技術。

2. 使用 RAG 緩解大模型幻覺

（1）RAG 工作流程

利用預訓練階段優化方法去解決幻覺問題成本較高，可以考慮利用 RAG 和知識庫的方法來緩解大模型幻覺。

首先，對于用戶輸入進行預處理工作。

然后，進入語義路由判斷問題類別，對于創意性任務例如寫小說，則無需考慮幻覺問題，因此這類任務偏好多樣性和創意性。

對于事實性、政治性、嚴肅性問題，需要通過特定的知識庫，進行知識增強，進一步生成答案。生成的答案依然可能存在幻覺問題，需要分類器判斷是否存在幻覺，如果有再進一步緩解。

最后，為了判斷回答是否與任務相關，如果大模型回答沒有解決用戶問題，則需要新一輪的迭代處理策略。

（2）RAG 技術架構

這是一個比較詳細的 RAG 技術架構圖，主要包括 query 分析、建索引、搜索排序、上下文選擇、推理等階段。

Query 預處理，包括query 擴展、query transformation、query routing 語義路由等模塊。

對于檢索模塊，需要根據不同的數據類型使用不同的檢索技術。比如結構化數據、半結構化數據、非結構化數據，公開數據、私域數據等。對于非結構數據和半結構化數據，可以通過文檔解析、切片、embedding 向量化后，通過向量檢索引擎進行索引。對于結構化數據，可以使用關系型數據庫、圖數據庫等進行建模；

最后，對于不同的索引數據類型，使用不同的 query 查詢技術進行混合建設，比如關鍵詞搜索、基于 embedding 的語義相似度檢索、text 轉 SQL 后的結構化查詢、text 轉 graphSQL 的 N 元組查詢等，對于查詢結果進行重排序，將重排序后的結果給到大模型作為上下文信息，由大模型進行推理。

3. query 預處理

（1）sub-query

對于某些問題，本身需要多步推理，可以先針對這些問題，通過大模型，基于少量示例（fewshot）學習或者特定任務微調（SFT），生成一系列子查詢，從而引導大模型一步一步針對性回復，在我們實際的工作中能夠得到比較好的收益。

（2）Text2SQL

Text2SQL 在智能 BI 場景里也在落地。目前，對于簡單的 SQL 效果還可以，但是聯表等復雜查詢效果還有進一步提升空間。在實際業務中，可以通過減少聯表查詢的策略來提升相應的效果，比如創建一個大寬表（wide table）。

text2sql 技術包括3 個階段，預處理、sql 語句生成、后處理。通過 schema linking 技術，結合 Few-shot 學習方法或者 SFT 技術，讓模型快速學習如何根據特定的 schema 生成 SQL 語句。生成的 SQL 語句，可能存在錯誤，因此需要通過后處理階段來進一步修正。一方面可以通過調用多個大型語言模型來生成 SQL 語句，通過多模型投票的策略提高查詢的準確性和可靠性，也可以通過對單個模型多次生成具有不同溫度參數（temperature）的查詢結果，增加結果的多樣性，然后通過一致性投票技術來選擇最終的輸出結果。

4. 文件解析

用戶可能上傳 PDF 文檔、word 文檔、FAQ 數據等結構化、半結構化的數據。對于 PDF，不僅是文字，還涉及表格、公式、圖表等，都需要解析，這里涉及版面識別的工作。

識別區域后需要進一步處理。對于表格，需要使用圖像處理 OCR 的方法，對表頭、列、元素等進行定位和提取。

同時，我們需要對文檔中的公式進行識別和解析，并建立索引，以幫助提升搜索結果的準確性。

5. 數據增強

對于解析后得到的文本數據，可以通過數據增強技術來幫助進一步提升搜索效果。Self-QA 這項工作針對于文檔讓大模型生成多個問題，然后將問題和原始文檔給到大模型，讓大模型生成答案，從而構造了<question, answer>的 pair 對，形成了 FAQ 庫。后續在檢索時，不只是對原始的 document 做索引，還可以對 FAQ 做索引。此外，還可以進一步對 FAQ 庫進行數據增強，比如對 question 通過大模型構造相似問，或者對 answer 進行 summarize 后，讓大模型生成 question 等。這種方式還有一個好處，后續可以將 badcase 的維護工作交由產品運營同學來完成。

對于圖片數據，可以使用 LLaVA 等模型通過圖像描述（image captioning）技術，將圖片轉成文本描述進行索引召回。在索引的時候，需要在索引的 meta 字段記錄圖像和文本描述的鏈接關系，大模型輸出時，可以通過證據溯源技術，把原始圖像引用出來。

我們在實際業務中，經常會遇到一些 bad case，比如對文檔進行總結摘要，這種場景使用傳統的 RAG 技術無法得到很好的滿足。我們使用了微軟團隊的 GraphRAG 工作，對文檔進行增強建模。具體來說，對于 document 先切成 trunk，即 Text unit。對于每個 textUnit，進行 SPO 三元組抽取、claims 抽取、摘要生成等工作。然后構建知識圖譜，并進行層次聚類，構建成子圖、社區等層級，并向量化。在查詢的時候，既可以使用全局搜索技術利用社區層級摘要來推理有關語料庫的整體問題，也可以使用局部搜索技術通過擴展到其鄰居和相關概念來推理特定實體的情況。

6. context selection

研究發現，如果給到大模型的文檔或知識庫本身就是不相關的，效果反而更差。因此，我們可以在檢索后或者重排后將結果進行過濾。例如，通過小模型把不相關的結果過濾掉。如果是復雜的查詢，可以將搜索結果組織成選擇題形式，使用大模型做選擇題的能力，過濾掉不相關的查詢片段。

此外，也可以利用 small2big、調大長文本窗口甚至讓大模型直接處理整篇文檔等技術來提升效果。

7. 在推理時解決幻覺

（1）解碼策略

大模型在推理過程中，前期生成的內容幻覺率不高，但在推理后期，由于解碼的時候依賴于前面生成的 token，這個時候幻覺問題就會出現了，可以通過動態調整解碼參數的方法來緩解。此外也有一些工程化的方案，比如基于 semantic routing 的技術，對于不同任務，設置不同的解碼參數，也能達到不錯的效果。

（2）Contrastive Decoding

對比解碼技術，是通過比較不同模型（通常是一個小模型和一個大模型）的輸出來提高解碼過程的準確性的。在對比解碼中，分析大模型和小模型在下一個 token 預測上的分布差異（DIFF），以此來評估輸出的可靠性。在解碼過程中，通過識別和剪除可能導致幻覺的路徑來減少不真實的輸出。需要對差異閾值進行細致的調整，以平衡減少幻覺和避免錯誤剪除有效輸出之間的權衡。

這個工作，需要注意線上成本，即是否接受小模型在線上運行。

（3）Recitation-augmented generation

回憶增強技術是一個比較有意思的工作，類似于人類在回答問題時會先回憶自己已經學習到的知識，然后再進行回答?？梢酝ㄟ^模擬人類回答問題的策略，通過提示工程技術，讓大模型在回答之前先回憶內部知識，將知識顯性化放到上下文中，然后再根據上下文信息進行回答，以提高其回答問題的準確性。

（4）Gen-Critic-Edit

自我批判或者知識編輯，是利用外部數據庫、外部工具、大模型自我判斷等方法，讓大模型對生成結果進行反思和自我批評，然后再修正回答的一種技術。在修正階段，可以使用對答案進行多次生成與一致性投票、訓練一個額外的模型來對生成的回答進行打分以評估其質量、使用 RAG 技術從知識庫中抽取相關證據并利用抽取的證據來指導模型進行進一步的生成等多種策略，來提高回答的準確性和可靠性。這里列舉幾個比較典型的工作。

①RARR

RARR 這個工作通過讓大模型對原始 query 進行改寫從而生成多個 query，然后對每個 query 調用搜索引擎，將搜索結果作為參考信息，用于與模型生成的回答進行比較。如果搜索結果與原始回答存在沖突，模型將根據這些信息進行進一步的生成和修正。如果搜索結果與原始回答一致，模型可能認為沒有幻覺存在。

②FAVA

FAVA 工作需要訓練一個改寫模型，具體來說，通過數據增強的方式，比如插入噪聲文本，修改文本等技術對原始文本進行破壞，將得到的錯誤文本和原始正確文本給到大模型進行訓練，讓大模型學會糾正能力。這種技術具備一定的成本，適合解決事實性問題，例如政治敏感場景，效果較好。

③some critics

在自我反思和自我批判模塊，還有 CRITIC、self-refine 等一些優秀的工作，這里就不做過多介紹了，大家感興趣可以自行查閱相關材料。

8. 模型增強技術

接下來是一些成本比較高的方法，包括預訓練和微調對齊技術。

（1）預訓練

當大型語言模型缺乏特定知識時，首要方法就是將這些知識通過預訓練的方式訓到大模型中?？梢詮耐獠繑祿?，如 Common Crawl 等數據集中提取相關知識，并將其納入模型訓練中。對于時效性較強的知識，可以通過時效性搜索引擎或數據抓取工具，實時或定期地更新模型的知識庫，在模型的持續預訓練階段，不斷引入新知識以保持模型知識的時效性和覆蓋面。訓練過程中需要仔細調整數據回放比例、學習率、數據配比等。

（2）微調和對齊

在微調階段，如果微調數據集中包含了預訓練模型中不存在的知識，大模型可能會生成不準確或虛假的回答，可以在預訓練的退火階段對微調數據集進行 next token prediction 的建模，然后通過 SFT 和 DPO 技術進行進一步微調對齊。

注意，直接使用人工標注的數據和搜索引擎結果作為正負例進行對齊訓練可能存在問題。正例和負例的生成應盡量來自原有模型的輸出，而不是外部來源，以保持數據的一致性和可靠性。建議訓練一個打分模型來評估數據質量，幫助識別哪些數據是高質量的正例，哪些可能是低質量的負例。

三、360 可信大模型應用案例

1. 360 大模型安全解決方案

我們將上述 360 可信大模型解決方案應用在了大模型的內容安全檢測業務和防護上，在中國信通院 AI Safety Benchmark 的 Q1 和 Q2 兩個季度的安全性評估上，360 智腦的安全性蟬聯第一名。

2. 360AI 搜索

同時，我們將上述解決方案應用在了 360AI 搜索產品中，可以看到 360AI 搜索產品可以很好解決這些 GPT4 解決不了的幻覺性問題。

3. 360AI 瀏覽器

360AI 瀏覽器的智閱產品，用戶可以上傳文檔，根據文檔做問答、做翻譯、生成腦圖，讀者有興趣可以去體驗一下這套方案在真實的業務場景里面到底做得怎么樣。

四、360 可信大模型的未來探索

我們的探索不是完成時，而是進行時。在真實生成環境中，隨著業務、方案落地，我們遇到更多挑戰。隨著評測，我們發現 benchmark 跟真實場景的數據分布和幻覺一致性不完全相同。所以，我們需要自己在業務場景中構建自己的 benchmark，并且不斷迭代，去進一步發現問題。

五、問答環節

Q1：RAG 工作流程中，二元分類器是怎么訓練的？

A1：首先建立幻覺體系，根據不同幻覺類型，標注不同類別。數據主要來自于線上日志。通過使用各種自動化輔助標注工具進行離線數據挖掘和數據標注，并進行人工打標，最終形成了我們的訓練數據，然后再進行分類模型的訓練。

Q2：混合檢索結果的重排序，有哪些方法？

A2：我們的方案涉及到了多種檢索策略，包括關鍵詞搜索、語義搜索、關系型數據庫搜索、圖搜索、工具調用等。對于每種檢索策略，首先會調用自己的重排序方法，比如對于語義搜索，可以使用 bge-rerank 相關的模型。最終多條召回流的結果，可以使用策略重排或者通過數據標注訓練一個重排模型，這里要結合自己的業務場景來進行調優。