一文讀懂LLMs的幻覺問題和對策
什么是大模型幻覺（LLM Hallucination）
指大語言模型在生成文本時，給出似是而非、虛構(gòu)或不準(zhǔn)確信息的現(xiàn)象，簡單來說就是一本正經(jīng)的胡說八道。
要點(diǎn)：
- 大模型幻覺包括生成的文本與事實矛盾、上下文矛盾、與prompt不一致、編造事實和荒謬回復(fù)等問題
- 幻覺產(chǎn)生的原因有數(shù)據(jù)質(zhì)量問題、多樣性缺乏、訓(xùn)練過擬合、生成過程隨機(jī)性、提示工程不足和微調(diào)過程控制不當(dāng)
- 幻覺會帶來嚴(yán)重后果,阻礙大模型應(yīng)用
1）. 事實性幻覺 (Factuality Hallucination)
?? 事實不一致
?? 事實捏造
2）. 忠實性幻覺 (Faithfulness Hallucination)
?? 指令不一致
?? 上下文不一致
?? 邏輯不一致
產(chǎn)生幻覺的原因
??? 內(nèi)容生成的機(jī)制
?? 訓(xùn)練數(shù)據(jù)的局限
?? 上下文誤導(dǎo)
應(yīng)對幻覺的方法
1）. ??? 依賴模型能力的增強(qiáng) （什么都不用做！）
2）. ?? 交叉驗證信息
3）. ?? 設(shè)置明確的上下文-
大模型幻覺從哪兒來？
1??來自數(shù)據(jù)
- 將虛假的相關(guān)性(如位置接近或高度共現(xiàn)的關(guān)聯(lián)誤解為事實知識
- LLM偏向于肯定測試樣本，LLMs容易復(fù)制甚至放大這種幻覺行為。
- 存在一些導(dǎo)致幻覺的訓(xùn)練數(shù)據(jù)·
2??大模型有時會高估自己的能力
3??在 SFT 階段，有問題的對齊過程可能會誤導(dǎo)大模型產(chǎn)生幻覺
4??LLM采用的生成策略，如現(xiàn)在常見的 top-k、top-p 等方法，其實是一種局部最優(yōu)解，不能確保全局最優(yōu)。這意味著搜索空間變小了，因此可能引發(fā)幻覺問題
大模型幻覺如何評估？
1、生成事實陳述評估
2、判別式基準(zhǔn)評估
3、基于問答對的評估
合理解決方法
1??預(yù)訓(xùn)練數(shù)據(jù)問題
2??微調(diào)新知識
3??幻覺檢測
4??基于采樣的檢測
5??未知知識的校準(zhǔn)
本文轉(zhuǎn)載自公眾號數(shù)字化助推器 作者：天涯咫尺TGH
