我們幾乎每天都會聽到關(guān)于更廣泛地成功實施AI工具的故事。隨著ChatGPT、Midjourney及其他模型向公眾開放，越來越多的人開始在日常生活中依賴AI。

雖然機器學(xué)習(xí)算法很明顯能夠滿足更具挑戰(zhàn)性的需求，但它們還不夠完美。AI頻繁出現(xiàn)的幻覺問題阻礙它們成為人類最可靠的替代者。雖然對于普通用戶來說，AI錯誤只是一笑了之的小故障，但對于業(yè)務(wù)流程來說，這種不可預(yù)測性可能導(dǎo)致各種后果，輕則失去客戶信任，重則官司纏身。

一些國家已開始起草有關(guān)AI模型的法規(guī)，以提供使用和適用性方面的框架。不妨弄清楚神經(jīng)網(wǎng)絡(luò)為何、如何開始產(chǎn)生幻覺，以及如何盡量避免這個問題。

什么是AI幻覺?

雖然有時我們無法確定AI錯誤的原因，但幻覺通常來源于生成式系統(tǒng)創(chuàng)建文本的方式。AI在響應(yīng)用戶的查詢時，根據(jù)一系列之前的數(shù)據(jù)給出一組可能的單詞。一些單詞跟在其他單詞之后的可能性不是確保最后一句話準確的可靠方法。AI可以拼湊出聽起來似乎合理但不一定準確的術(shù)語——在人類看來，這些術(shù)語可能看起來完全是無稽之談。一個例子是向ChatGPT詢問哪些國家有匹配和不匹配的結(jié)算市場。雖然它能夠提供“連續(xù)凈結(jié)算”(CNS)作為匹配結(jié)算系統(tǒng)的例子，但我對系統(tǒng)所在的國家(本例中是美國)感興趣，提示在這里生成了錯誤的輸出。

然而，有時檢測AI幻覺可能來得比較棘手。雖然一些錯誤很明顯，但其他錯誤比較微妙，可能不會被人注意到，當輸出是自動處理的或者由在該領(lǐng)域?qū)I(yè)知識有限的人處理時尤為如此。未被發(fā)現(xiàn)的AI問題可能會導(dǎo)致不可預(yù)見、不想要的后果。在擁有準確可靠信息至關(guān)重要的領(lǐng)域尤其如此。此外，一個提示越專門化，AI模型的準確性通常可能因缺乏它可能參閱的支持性補充材料而有所不同。上面的CNS例子就是一個典例;我無法通過谷歌搜索找到國家列表，希望ChatGPT可以提供一份整合的列表，但后者面臨類似的障礙。

以下是因AI幻覺而出現(xiàn)的幾類常見問題：

• 不準確的決策：AI幻覺可能導(dǎo)致不正確的決策和診斷，特別是在醫(yī)療保健或信息安全等準確度至關(guān)重要的領(lǐng)域，對個人和企業(yè)都是有害的。
• 歧視性和冒犯性的結(jié)果：幻覺可能導(dǎo)致生成歧視性或冒犯性的結(jié)果，這可能會損害組織的聲譽，并導(dǎo)致道德和法律問題。
• 不可靠的分析：如果AI生成不準確的數(shù)據(jù)，它可能導(dǎo)致不可靠的分析結(jié)果。組織可能會根據(jù)不正確的信息做出決策，結(jié)果可能付出高昂的代價。有時數(shù)據(jù)可能過時，一個典例就是ChatGPT的免費版本，它只保存到2022年的數(shù)據(jù)，因此從中收集的數(shù)據(jù)可能不可靠。
• 倫理和法律問題：由于幻覺，AI模型可能會泄露敏感信息或生成冒犯性內(nèi)容，從而導(dǎo)致法律問題。
• 錯誤信息：生成虛假信息會給公司和最終用戶帶來各種問題，比如破壞信任、傷害或負面影響公眾輿論。

為什么LLM會產(chǎn)生幻覺?

AI幻覺是一個復(fù)雜的問題，用戶和開發(fā)人員都不完全清楚其原因。以下是可能導(dǎo)致或促成幻覺的幾個關(guān)鍵因素：

• 訓(xùn)練數(shù)據(jù)不完整或有偏差。如果訓(xùn)練數(shù)據(jù)集有限及/或提示未全覆蓋可能的場景，模型可能無法充分響應(yīng)查詢。如果用于訓(xùn)練AI的數(shù)據(jù)含有偏差，模型輸出也會有這樣的偏差。
• 過度訓(xùn)練和缺乏上下文。使用特定數(shù)據(jù)過度訓(xùn)練的模型可能會喪失對新的、不可預(yù)見的情形做出適當響應(yīng)的能力，尤其是在缺乏上下文信息的情況下。建議將數(shù)據(jù)集分為三種類型：訓(xùn)練數(shù)據(jù)、驗證數(shù)據(jù)和測試數(shù)據(jù)，這種劃分確保了模型面對測試模型和樣本數(shù)據(jù)之外的數(shù)據(jù)都有上佳的表現(xiàn)。
• 誤解或不適當?shù)哪Ｐ蛥?shù)大小。模型參數(shù)大小不當可能會導(dǎo)致不可預(yù)測的AI行為，特別是在復(fù)雜查詢或不尋常情形下。
• 不清楚的提示。用戶使用時，模棱兩可或過于籠統(tǒng)的用戶查詢可能導(dǎo)致不可預(yù)測或不相關(guān)的響應(yīng)。

如何避免幻覺?

重要的是要記住，LLM就像“黑盒子”——就連數(shù)據(jù)科學(xué)家也無法完全遵循生成過程并預(yù)測輸出。這就是為什么無法百分之百保護貴公司不受AI幻覺的影響。目前，使用AI模型的公司需要專注于預(yù)防、檢測和盡量減少AI幻覺。以下是維護機器學(xué)習(xí)模型的幾個技巧：

• 徹底清理和準備用于訓(xùn)練和調(diào)整AI模型的數(shù)據(jù)。這不僅需要刪除不相關(guān)或錯誤的信息，還需要確保數(shù)據(jù)的多樣性，并代表不同的觀點。
• 注意AI模型的大小和復(fù)雜性。許多公司都在竭力開發(fā)更龐大、更復(fù)雜的AI模型，以提升它們的功能。然而，這也可能導(dǎo)致模型過度飽和，甚至對開發(fā)人員自己來說，解讀和解釋模型工作也是一個挑戰(zhàn)。

為了從一開始就避免這些不確定性和混亂，通過強調(diào)AI模型的可解讀性和可解釋性來規(guī)劃模型的開發(fā)很重要。這意味著記錄模型構(gòu)建過程，為關(guān)鍵利益相關(guān)者確保透明度，并選擇這樣一種架構(gòu)：盡管數(shù)據(jù)量和用戶需求不斷增長，仍易于解讀和解釋模型性能。這也將有助于滿足監(jiān)管要求，因為這個領(lǐng)域受到政府的嚴格審查。

• 進行徹底的測試。AI模型測試不僅應(yīng)該包括標準查詢和處理常見輸入格式，還應(yīng)該分析其在極端條件下和處理復(fù)雜查詢時的行為。測試AI對各種輸入的響應(yīng)可以預(yù)測模型在各種情形下的表現(xiàn)。這可能有助于在用戶遇到不準確的結(jié)果之前改進數(shù)據(jù)和模型架構(gòu)。
• 確保人參與驗證過程。這也許是識別可能不被自動檢查注意的細微差別的關(guān)鍵。從事這項任務(wù)的人員應(yīng)該在AI和技術(shù)、客戶服務(wù)和合規(guī)等方面具備相應(yīng)的技能和經(jīng)驗。
• 另一個關(guān)鍵因素是定期從最終用戶那里收集反饋，特別是在模型已經(jīng)實施、正在積極使用之后。AI模型的用戶可能會提供人工智能幻覺及其他偏差方面的寶貴見解。為了使這個過程有效，重要的是建立方便的、易于訪問的反饋渠道。
• 定期監(jiān)測和更新AI模型以保持其有效性很重要。應(yīng)該基于用戶反饋、團隊研究、當前行業(yè)趨勢以及來自質(zhì)保和監(jiān)測工具的性能數(shù)據(jù)進行這番改進。持續(xù)監(jiān)測模型性能并根據(jù)收集到的分析信息進行主動改進，可以大大降低產(chǎn)生幻覺的風(fēng)險。

如果你不使用AI模型來處理敏感信息，可以嘗試運用搜索增強生成來減少幻覺的風(fēng)險。AI將不再單單依賴現(xiàn)有的訓(xùn)練數(shù)據(jù)和來自用戶的上下文，而是將在網(wǎng)上搜索相關(guān)信息。然而，這項技術(shù)還沒有顯示出非常可靠的結(jié)果。未經(jīng)過濾的搜索結(jié)果有時就像AI模型幻覺一樣不真實。

幻覺總是不好的嗎?

在AI系統(tǒng)中，幻覺和創(chuàng)造力之間的關(guān)系似乎類似人類想象力的過程。人類常常通過讓自己的思想游離于現(xiàn)實之外來構(gòu)思出創(chuàng)意。

生成最具創(chuàng)新性和獨創(chuàng)性結(jié)果的AI模型也往往有時生成并不基于事實真相的內(nèi)容。一些專家認為，完全擺脫幻覺可能會損害創(chuàng)意內(nèi)容的創(chuàng)作。

然而，重要的是要明白一點：這種類型的輸出常常缺乏事實基礎(chǔ)和邏輯思維，因而它們不適合基于事實的任務(wù)。

原文標題：How to Detect and Minimise Hallucinations in AI Models，作者：Parth Sonara