對現(xiàn)實世界的影響

“如果一家公司的智能體利用了過時或不準(zhǔn)確的數(shù)據(jù)，AI幻覺可能會虛構(gòu)出并不存在的漏洞，或錯誤解讀威脅情報，導(dǎo)致不必要的警報或忽視真正的風(fēng)險。此類錯誤可能會分散對真正威脅的注意力，創(chuàng)造新的漏洞，并浪費本已緊張的安全運營團(tuán)隊資源。”Tanium的AI副總裁Harman Kaur在接受采訪時表示。

一個新興的擔(dān)憂是“包幻覺”現(xiàn)象，即AI模型會建議不存在的軟件包，這一問題已被識別為供應(yīng)鏈攻擊的潛在媒介，被稱為“slopsquatting”。攻擊者可以利用這些幻覺，創(chuàng)建具有建議名稱的惡意軟件包，導(dǎo)致開發(fā)者無意中將有害代碼集成到他們的系統(tǒng)中。

“如果未經(jīng)徹底驗證和人工審查就使用AI生成的代碼，可能會引入重大風(fēng)險和復(fù)雜性。初級開發(fā)者尤其容易受到錯誤代碼或配置文件的風(fēng)險影響，因為他們?nèi)狈ψ銐虻哪芰碚_審核代碼。對于高級開發(fā)者而言，他們可能會及時發(fā)現(xiàn)錯誤，然而，越來越多的人過度依賴GenAI，盲目信任其輸出。”ImmuniWeb的CEO Ilia Kolochenko表示。

另一個擔(dān)憂是AI可能產(chǎn)生虛假的威脅情報，如果這些報告被當(dāng)作事實接受，可能會分散對實際威脅的注意力，導(dǎo)致真正的漏洞得不到處理。當(dāng)AI輸出未與可靠來源進(jìn)行交叉驗證時，風(fēng)險會進(jìn)一步加劇。

緩解AI幻覺的策略

“AI幻覺是概率模型的預(yù)期副產(chǎn)品，”Qwiet AI的CTO Chetan Conikee解釋道，他強(qiáng)調(diào)重點不應(yīng)放在完全消除它們上，而是放在最小化對運營的影響上。“CISO的首要任務(wù)應(yīng)該是通過設(shè)計、監(jiān)控和政策來限制運營影響。”

這始于有意的架構(gòu)設(shè)計，Conikee建議在AI系統(tǒng)周圍實施結(jié)構(gòu)化的信任框架，這種方法包括實用的中間件，通過確定性檢查和特定領(lǐng)域過濾器來審查輸入和輸出，這一步驟確保模型不在孤立環(huán)境中運行，而是在明確界定的范圍內(nèi)運行，反映企業(yè)的需求和安全態(tài)勢。

可追溯性是另一個基石。“所有AI生成的響應(yīng)都必須包含元數(shù)據(jù)，包括來源上下文、模型版本、提示結(jié)構(gòu)和時間戳。”Conikee指出。當(dāng)出現(xiàn)不準(zhǔn)確時，此類元數(shù)據(jù)能夠加快審計和根本原因分析的速度，這是將AI輸出集成到業(yè)務(wù)運營或面向客戶的工具中的關(guān)鍵保障措施。

對于部署大型語言模型(LLM)的企業(yè)，Conikee建議除非必要，否則應(yīng)避免開放式生成。相反，企業(yè)應(yīng)依賴基于精心策劃的內(nèi)部知識庫的檢索增強(qiáng)生成(RAG)。“這確保了模型從經(jīng)過驗證的信息中提取數(shù)據(jù)，并與內(nèi)部標(biāo)準(zhǔn)保持一致。”Conikee解釋道。

嚴(yán)格的測試也很重要。“在測試階段應(yīng)納入幻覺檢測工具，”Conikee說。在模型進(jìn)入生產(chǎn)環(huán)境之前，安全領(lǐng)導(dǎo)者應(yīng)定義可接受的風(fēng)險閾值和故障模式。“目標(biāo)不是完美的準(zhǔn)確性，而是對GenAI的使用地點和方式進(jìn)行可衡量和可審計的控制。”

通過將信任、可追溯性和控制嵌入到AI部署中，CISO可以在創(chuàng)新與責(zé)任之間取得平衡，在不影響進(jìn)展的情況下控制幻覺：

1. 實施檢索增強(qiáng)生成(RAG)：RAG結(jié)合了AI的生成能力與從經(jīng)過驗證的數(shù)據(jù)源中提取信息的檢索系統(tǒng)，這種方法使AI輸出基于事實數(shù)據(jù)，降低了產(chǎn)生幻覺的可能性。

2. 采用自動化推理工具：像亞馬遜這樣的公司正在開發(fā)使用數(shù)學(xué)證明來驗證AI輸出的工具，確保它們與既定規(guī)則和政策保持一致，這些工具可以提供一層保障，特別是在關(guān)鍵應(yīng)用中。

3. 定期更新訓(xùn)練數(shù)據(jù)：確保AI系統(tǒng)基于當(dāng)前和準(zhǔn)確的數(shù)據(jù)進(jìn)行訓(xùn)練，可以最小化產(chǎn)生幻覺的風(fēng)險，過時或有偏見的數(shù)據(jù)可能導(dǎo)致AI生成不正確的輸出。

4. 融入人工監(jiān)督：在關(guān)鍵場景中，人類專家應(yīng)審查AI生成的輸出，這種監(jiān)督可以捕捉AI可能遺漏的錯誤，并提供AI所缺乏的上下文。

5. 教育用戶了解AI的局限性：培訓(xùn)用戶了解AI的能力和局限性，可以培養(yǎng)對AI輸出的健康懷疑態(tài)度，鼓勵用戶驗證AI生成的信息，可以防止不準(zhǔn)確信息的傳播。

GuidePoint Security的進(jìn)攻性安全高級副總裁Victor Wieczorek解釋說：“我們需要實際的護(hù)欄，這意味著將AI響應(yīng)直接與記錄的政策相關(guān)聯(lián)，標(biāo)記或記錄高風(fēng)險輸出，并確保在重大事項到達(dá)客戶之前由人類進(jìn)行審查。將模型視為一名新實習(xí)生：它可以幫助起草想法和處理常規(guī)問題，但不應(yīng)就任何敏感事項做出最終決定。”