發(fā)現(xiàn)風(fēng)險清單的五大變化

“OWASP大語言模型（LLM）應(yīng)用十大風(fēng)險” 項目始于2023年，是一項社區(qū)驅(qū)動的工作，旨在指導(dǎo)開發(fā)人員、安全專業(yè)人員和組織優(yōu)先識別和緩解關(guān)鍵的生成式AI應(yīng)用風(fēng)險。從某種角度來說，OWASP大語言模型應(yīng)用十大風(fēng)險可謂大模型安全態(tài)勢的風(fēng)向標。

圖片

2025年十大風(fēng)險是對2023年8月發(fā)布的OWASP LLM十大風(fēng)險1.0版本的更新，這些風(fēng)險按重要程度進行排序，每個風(fēng)險都包含定義、示例、攻擊場景和預(yù)防措施。

通過對比2023年版的“十大風(fēng)險”，可以有效分析當(dāng)前LLM的安全態(tài)勢。安全牛分析發(fā)現(xiàn)，這些關(guān)鍵發(fā)現(xiàn)主要有以下五點：

其一，"提示注入"仍是首要風(fēng)險，保持在第一位置不變。提示注入涉及用戶通過提示操縱LLM行為或輸出，繞過安全措施，生成有害內(nèi)容和啟用未經(jīng)授權(quán)訪問等后果。

其二，"敏感信息泄露"問題更加突出，從2023年版本的第六位上升至第二位。根據(jù)OWASP的報告，隨著AI應(yīng)用的激增，通過大語言模型(LLM)和生成式AI泄露敏感信息已成為一個更為關(guān)鍵的風(fēng)險。這涉及LLM在與員工和客戶互動過程中可能泄露組織持有的敏感數(shù)據(jù)的風(fēng)險，包括個人身份信息和知識產(chǎn)權(quán)。開發(fā)人員經(jīng)常假設(shè)LLM會自動保護私密數(shù)據(jù)，但多起事件表明，敏感信息通過模型輸出或系統(tǒng)漏洞被無意泄露。

其三，“供應(yīng)鏈安全”風(fēng)險上升，從第五位上升到第三位。OWASP強調(diào)，LLM供應(yīng)鏈容易受到各種漏洞的影響，這可能影響訓(xùn)練數(shù)據(jù)、模型和部署平臺的完整性，導(dǎo)致有偏見的輸出、安全漏洞或系統(tǒng)故障。OWASP項目負責(zé)人Steve Wilson指出，OWASP發(fā)布第一版清單時，供應(yīng)鏈漏洞風(fēng)險主要還是理論性的；而現(xiàn)在，開發(fā)人員和組織必須對他們使用的開源AI技術(shù)的集成保持警惕。

其四，新增"系統(tǒng)提示泄露"，排在第七位。"系統(tǒng)提示泄露"指的是用于引導(dǎo)模型行為的系統(tǒng)提示或指令可能包含不打算被發(fā)現(xiàn)的敏感信息的風(fēng)險。系統(tǒng)提示旨在根據(jù)應(yīng)用程序的要求指導(dǎo)模型的輸出，但可能無意中包含可用于促進其他攻擊的機密。最近的事件表明開發(fā)人員不能安全地假設(shè)這些提示中的信息保持機密后，社區(qū)強烈要求加入這一風(fēng)險。

其五，“向量和嵌入漏洞”帶來新的威脅，排在第八位。這涉及向量和嵌入的生成、存儲或檢索方面的弱點如何被惡意行為利用來注入有害內(nèi)容、操縱模型輸出或訪問敏感信息。這是對社區(qū)要求就檢索增強生成(RAG)和其他基于嵌入方法的安全指導(dǎo)的回應(yīng)，這些現(xiàn)在是模型輸出基礎(chǔ)的核心實踐。某種形式的RAG現(xiàn)在已成為企業(yè)LLM應(yīng)用的默認架構(gòu)。

這些特性還反映了業(yè)界對現(xiàn)有風(fēng)險的更深入理解，以及LLM在實際應(yīng)用中使用方式的演變。值得注意的是，盡管存在這些風(fēng)險，但AI/LLM安全商業(yè)生態(tài)系統(tǒng)在過去一年半時間里已經(jīng)取得了顯著發(fā)展，從最初的少數(shù)開源工具發(fā)展到現(xiàn)在形成了一個健康且不斷增長的安全工具生態(tài)系統(tǒng)。

LLM應(yīng)用十大風(fēng)險

從排名第一的提示注入到新增的系統(tǒng)提示泄露，“OWASP大語言模型（LLM）應(yīng)用十大風(fēng)險”涵蓋了從模型安全、數(shù)據(jù)保護到資源消耗等多個維度的風(fēng)險。

LLM01提示注入

提示注入漏洞是指用戶的提示以非預(yù)期方式改變LLM的行為或輸出。即使這些輸入對人類來說是不可感知的，只要模型能夠解析內(nèi)容，就可能產(chǎn)生提示注入。

提示注入漏洞存在于模型處理提示的方式中，攻擊者可能強制模型將提示數(shù)據(jù)錯誤傳遞到其他部分，導(dǎo)致違反指導(dǎo)原則、生成有害內(nèi)容、啟用未授權(quán)訪問或影響關(guān)鍵決策。雖然檢索增強生成(RAG)和微調(diào)等技術(shù)旨在使LLM輸出更加相關(guān)和準確，但研究表明它們并不能完全緩解提示注入漏洞。

提示注入和越獄在LLM安全中是相關(guān)概念，它們經(jīng)常被交替使用。提示注入涉及通過特定輸入操縱模型響應(yīng)以改變其行為，這可能包括繞過安全措施。越獄是一種提示注入形式，攻擊者提供的輸入導(dǎo)致模型完全無視其安全協(xié)議。開發(fā)人員可以在系統(tǒng)提示和輸入處理中構(gòu)建安全防護來幫助緩解提示注入攻擊，但有效防止越獄需要持續(xù)更新模型的訓(xùn)練和安全機制。

LLM02敏感信息泄露

敏感信息會影響LLM及其應(yīng)用場景。這包括個人身份信息(PII)、財務(wù)細節(jié)、健康記錄、機密業(yè)務(wù)數(shù)據(jù)、安全憑證和法律文件。專有模型的訓(xùn)練方法和源代碼等也被視為敏感信息，特別是在封閉或基礎(chǔ)模型中。

LLM存在通過輸出暴露敏感數(shù)據(jù)的風(fēng)險，可能導(dǎo)致未經(jīng)授權(quán)的數(shù)據(jù)訪問、隱私侵犯和知識產(chǎn)權(quán)泄露。消費者應(yīng)該了解如何安全地與LLM互動。他們需要理解無意中提供敏感數(shù)據(jù)的風(fēng)險，這些數(shù)據(jù)后續(xù)可能在模型的輸出中被泄露。

為降低這一風(fēng)險，LLM應(yīng)用程序應(yīng)執(zhí)行充分的數(shù)據(jù)凈化，以防止用戶數(shù)據(jù)進入訓(xùn)練模型。應(yīng)用程序所有者還應(yīng)提供明確的使用條款政策，允許用戶選擇不將其數(shù)據(jù)包含在訓(xùn)練模型中。在系統(tǒng)提示中添加對于LLM應(yīng)返回的數(shù)據(jù)類型的限制，可以緩解敏感信息泄露。但是，這些限制可能并不總是被遵守，并可能通過提示注入或其他方法被繞過。

LLM03供應(yīng)鏈安全

LLM供應(yīng)鏈容易受到各種漏洞的影響，這些漏洞可能影響訓(xùn)練數(shù)據(jù)、模型和部署平臺的完整性。這些風(fēng)險可能導(dǎo)致有偏見的輸出、安全漏洞或系統(tǒng)故障。雖然傳統(tǒng)軟件漏洞關(guān)注代碼缺陷和依賴性等問題，但在機器學(xué)習(xí)中，風(fēng)險還擴展到第三方預(yù)訓(xùn)練模型和數(shù)據(jù)。這些外部元素可能通過篡改或投毒攻擊被操縱。

創(chuàng)建LLM是一項專業(yè)任務(wù)，通常依賴于第三方模型。開放訪問LLM的興起和新的微調(diào)方法(如"LoRA"低秩適應(yīng)和"PEFT"參數(shù)高效微調(diào))，特別是在Hugging Face等平臺上，引入了新的供應(yīng)鏈風(fēng)險。此外，設(shè)備端LLM的出現(xiàn)增加了LLM應(yīng)用程序的攻擊面和供應(yīng)鏈風(fēng)險。

LLM04數(shù)據(jù)和模型投毒

數(shù)據(jù)投毒發(fā)生在預(yù)訓(xùn)練、微調(diào)或嵌入數(shù)據(jù)被操縱以引入漏洞、后門或偏見時。這種操縱可能會損害模型的安全性、性能或道德行為，導(dǎo)致有害輸出或能力受損。常見風(fēng)險包括模型性能下降、有偏見或有害的內(nèi)容，以及下游系統(tǒng)被利用。

數(shù)據(jù)投毒可以針對LLM生命周期的不同階段，包括預(yù)訓(xùn)練（從通用數(shù)據(jù)學(xué)習(xí)）、微調(diào)（使模型適應(yīng)特定任務(wù)）和嵌入（將文本轉(zhuǎn)換為數(shù)值向量）。理解這些階段有助于識別漏洞可能的來源。數(shù)據(jù)投毒被視為一種完整性攻擊，因為篡改訓(xùn)練數(shù)據(jù)會影響模型做出準確預(yù)測的能力。使用外部數(shù)據(jù)源的風(fēng)險特別高，因為它們可能包含未經(jīng)驗證或惡意的內(nèi)容。

此外，通過共享存儲庫或開源平臺分發(fā)的模型可能帶來超出數(shù)據(jù)投毒的風(fēng)險，例如通過惡意序列化等技術(shù)嵌入的惡意軟件，這些軟件在加載模型時可能執(zhí)行有害代碼。同時還要考慮，數(shù)據(jù)投毒可能導(dǎo)致后門的植入。這種后門可能使模型的行為保持不變，直到某個觸發(fā)器導(dǎo)致其改變。這可能使此類更改難以測試和檢測，實際上為模型成為潛伏特工創(chuàng)造了機會。

LLM05不當(dāng)輸出處理

不當(dāng)輸出處理特指在將大語言模型生成的輸出傳遞給下游組件和系統(tǒng)之前，對其進行不充分的驗證、凈化和處理。由于LLM生成的內(nèi)容可以通過提示輸入來控制，這種行為類似于為用戶提供對附加功能的間接訪問。

不當(dāng)輸出處理與過度依賴的區(qū)別在于，它處理LLM生成的輸出在傳遞到下游之前的問題，而過度依賴則關(guān)注對LLM輸出的準確性和適當(dāng)性過度依賴的更廣泛問題。成功利用不當(dāng)輸出處理漏洞可能導(dǎo)致Web瀏覽器中的XSS和CSRF，以及后端系統(tǒng)上的SSRF、權(quán)限提升或遠程代碼執(zhí)行。

以下條件可能增加此漏洞的影響:

1. 應(yīng)用程序授予LLM超出最終用戶預(yù)期的權(quán)限，從而能夠?qū)崿F(xiàn)權(quán)限提升或遠程代碼執(zhí)行；
2. 應(yīng)用程序容易受到間接提示注入攻擊，這可能允許攻擊者獲得對目標用戶環(huán)境的特權(quán)訪問；
3. 第三方擴展沒有充分驗證輸入；
4. 缺乏針對不同上下文的適當(dāng)輸出編碼；
5. 對LLM輸出的監(jiān)控和日志記錄不足；
6. 缺乏對LLM使用的速率限制或異常檢測。

LLM06過度代理權(quán)限

LLM系統(tǒng)通常被開發(fā)者授予一定程度的代理權(quán)限，即通過擴展調(diào)用函數(shù)或與其他系統(tǒng)交互的能力，以響應(yīng)提示并采取行動。對調(diào)用哪個擴展的決定，也可能委托給LLM"代理"根據(jù)輸入提示或LLM輸出動態(tài)來確定。基于代理的系統(tǒng)通常會使用先前調(diào)用的輸出來指導(dǎo)和引導(dǎo)后續(xù)調(diào)用，并反復(fù)調(diào)用LLM。

過度代理權(quán)限是一種漏洞，它使系統(tǒng)能夠響應(yīng)來自LLM的意外、模糊或被操縱的輸出而執(zhí)行有害操作，不管是什么導(dǎo)致LLM出現(xiàn)故障。

常見觸發(fā)因素包括:

1. 由設(shè)計不當(dāng)?shù)牧夹蕴崾净蛐阅懿患训哪Ｐ蛯?dǎo)致的幻覺/虛構(gòu)；
2. 來自惡意用戶、早期調(diào)用惡意/受損擴展或(在多代理/協(xié)作系統(tǒng)中)惡意/受損對等代理的直接/間接提示注入。

過度代理權(quán)限的根本原因通常是功能過度、權(quán)限過度和自主權(quán)過度，可能導(dǎo)致機密性、完整性和可用性方面的廣泛影響，這取決于基于LLM的應(yīng)用程序能夠與哪些系統(tǒng)進行交互。

LLM07系統(tǒng)提示泄露

提示泄露漏洞指的是用于引導(dǎo)模型行為的系統(tǒng)提示或指令可能包含敏感信息的風(fēng)險。系統(tǒng)提示旨在根據(jù)應(yīng)用程序的要求指導(dǎo)模型的輸出，但可能無意中包含機密信息，這些信息可能被用來促進其他攻擊。因此，系統(tǒng)提示語言中不應(yīng)包含憑證、連接字符串等敏感數(shù)據(jù)。

同樣，如果系統(tǒng)提示中包含描述不同角色和權(quán)限的信息，或者像連接字符串或密碼這樣的敏感數(shù)據(jù)，雖然披露這些信息可能有幫助，但根本的安全風(fēng)險不是這些信息被披露，而是應(yīng)用程序通過將這些委托給LLM而允許繞過強大的會話管理和授權(quán)檢查，以及敏感數(shù)據(jù)被存儲在不應(yīng)該存儲的地方。

LLM08向量和嵌入漏洞

在使用檢索增強生成(RAG)的大語言模型(LLM)系統(tǒng)中，向量和嵌入漏洞帶來重大安全風(fēng)險。向量和嵌入的生成、存儲或檢索方面的弱點可能被惡意行為(有意或無意)利用，從而注入有害內(nèi)容、操縱模型輸出或訪問敏感信息。

檢索增強生成(RAG)是一種模型適應(yīng)技術(shù)，通過將預(yù)訓(xùn)練語言模型與外部知識源結(jié)合，來提高LLM應(yīng)用程序響應(yīng)的性能和上下文相關(guān)性。檢索增強使用向量機制和嵌入。

LLM09錯誤信息

錯誤信息發(fā)生在LLM產(chǎn)生看似可信但實際是虛假或誤導(dǎo)性的信息時。這種漏洞可能導(dǎo)致安全漏洞、聲譽損害和法律責(zé)任。

錯誤信息的主要原因之一是幻覺：LLM生成看似準確但實際是虛構(gòu)的內(nèi)容。當(dāng)LLM使用統(tǒng)計模式填補訓(xùn)練數(shù)據(jù)中的空白而不真正理解內(nèi)容時，就會出現(xiàn)幻覺。因此，模型可能產(chǎn)生聽起來正確但完全沒有根據(jù)的答案。雖然幻覺是錯誤信息的主要來源，但它們不是唯一的原因；訓(xùn)練數(shù)據(jù)引入的偏見和不完整的信息也可能造成影響。

一個相關(guān)的問題是過度依賴。過度依賴發(fā)生在用戶過分信任LLM生成的內(nèi)容，未能驗證其準確性時。這種過度依賴加劇了錯誤信息的影響，因為用戶可能在沒有充分審查的情況下將錯誤數(shù)據(jù)整合到關(guān)鍵決策或流程中。

LLM10無界消耗

無界消耗風(fēng)險指的是LLM應(yīng)用在缺乏合理限制的情況下，可能被攻擊者利用進行過度推理，導(dǎo)致資源耗盡、服務(wù)中斷甚至模型被竊取的安全隱患。

推理是LLM的關(guān)鍵功能，涉及應(yīng)用學(xué)習(xí)到的模式和知識來產(chǎn)生相關(guān)的響應(yīng)或預(yù)測。成功實施旨在破壞服務(wù)、耗盡目標財務(wù)資源，甚至通過克隆模型行為來竊取知識產(chǎn)權(quán)的攻擊，都依賴于一類常見的安全漏洞。

無界消耗發(fā)生在LLM應(yīng)用程序允許用戶進行過度和不受控制的推理時，導(dǎo)致拒絕服務(wù)(DoS)、經(jīng)濟損失、模型盜竊和服務(wù)降級等風(fēng)險。LLM的高計算需求，特別是在云環(huán)境中，使其容易受到資源利用和未授權(quán)使用的影響。

OWASP項目負責(zé)人Steve Wilson最后指出，隨著AI技術(shù)快速發(fā)展，攻擊者也開始利用AI來發(fā)動更復(fù)雜的攻擊，企業(yè)必須與時俱進，采用新型安全工具來保護自己的AI應(yīng)用系統(tǒng)。