譯者 | 晶顏
審校 | 重樓
近日，開放全球應(yīng)用程序安全項目（OWASP）列出了在大型語言模型（LLM）應(yīng)用程序中最常見的十大關(guān)鍵漏洞類型。提示注入、有毒的訓(xùn)練數(shù)據(jù)、數(shù)據(jù)泄露和過度依賴LLM生成的內(nèi)容仍然在清單上，而新增加的威脅包括模型拒絕服務(wù)（DoS）、供應(yīng)鏈漏洞、模型盜竊和過度代理。
該列表旨在教育開發(fā)人員、設(shè)計人員、架構(gòu)師、管理人員和組織在部署和管理LLM時潛在的安全風(fēng)險，提高對漏洞的認(rèn)知，提出補(bǔ)救策略，并改進(jìn)LLM應(yīng)用程序的安全態(tài)勢。
以下是OWASP列出的影響LLM應(yīng)用程序的十大最關(guān)鍵漏洞類型。
1.提示注入
當(dāng)攻擊者通過精心設(shè)計的輸入操縱大型語言模型時，就會發(fā)生提示注入，導(dǎo)致LLM在不知情的情況下執(zhí)行攻擊者的意圖。這可以通過“越獄”系統(tǒng)提示符直接實現(xiàn)，也可以通過操縱外部輸入間接實現(xiàn)，進(jìn)而導(dǎo)致數(shù)據(jù)泄露、社會工程和其他問題。
OWASP表示，成功的提示注入攻擊的結(jié)果可能會存在很大差異，一些會獲取到敏感信息，一些則會以正常操作為幌子影響關(guān)鍵決策過程。
例如，用戶可以編寫一個精妙的提示，迫使公司聊天機(jī)器人透露用戶通常無法訪問的專有信息，或者將簡歷上傳到自動化系統(tǒng)，并在簡歷中隱藏指令，告訴系統(tǒng)推薦候選人。
針對此漏洞的預(yù)防措施包括：
- 實施嚴(yán)格的權(quán)限控制，限制LLM對后端系統(tǒng)的訪問。為LLM提供自己的API令牌以實現(xiàn)可擴(kuò)展功能，并遵循最小權(quán)限原則，將LLM限制為其預(yù)期操作所需的最低訪問級別。
- 對特權(quán)操作要求用戶額外確認(rèn)和驗證，以減少未經(jīng)授權(quán)操作的機(jī)會。
2.不安全的輸出處理
不安全的輸出處理是指在大型語言模型生成的輸出傳遞到下游的其他組件和系統(tǒng)之前，對它們進(jìn)行的驗證、清理和處理不足。由于LLM生成的內(nèi)容可以通過提示輸入來控制，因此這種行為類似于為用戶提供間接訪問附加功能的權(quán)限。
例如，如果LLM的輸出直接發(fā)送到系統(tǒng)shell或類似的函數(shù)中，則可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行。如果LLM生成JavaScript或Markdown代碼并將其發(fā)送到用戶的瀏覽器，則瀏覽器可以運行該代碼，從而導(dǎo)致跨站點腳本攻擊。
針對此漏洞的預(yù)防措施包括：
- 像對待任何其他用戶一樣對待模型，采用零信任方法，并對來自模型到后端函數(shù)的響應(yīng)應(yīng)用適當(dāng)?shù)妮斎腧炞C。
- 遵循OWASP ASVS（應(yīng)用程序安全驗證標(biāo)準(zhǔn)）指導(dǎo)方針，確保有效的輸入驗證和清理，并對輸出進(jìn)行編碼，以減少意外的代碼執(zhí)行。
3.訓(xùn)練數(shù)據(jù)中毒
訓(xùn)練數(shù)據(jù)中毒指的是對預(yù)訓(xùn)練數(shù)據(jù)或涉及微調(diào)或嵌入過程的數(shù)據(jù)進(jìn)行操縱，以引入可能危及模型的漏洞、后門或偏見。
例如，獲得訓(xùn)練數(shù)據(jù)集訪問權(quán)限的惡意攻擊者或內(nèi)部人員可以更改數(shù)據(jù)，使模型給出錯誤的指令或建議，從而損害公司或使攻擊者受益。來自外部來源的破損訓(xùn)練數(shù)據(jù)集還可能觸發(fā)供應(yīng)鏈危機(jī)。
針對此漏洞的預(yù)防措施包括：
- 驗證訓(xùn)練數(shù)據(jù)的供應(yīng)鏈，特別是來自外部的數(shù)據(jù)。
- 通過單獨的訓(xùn)練數(shù)據(jù)或針對不同的用例進(jìn)行微調(diào)來制作不同的模型，以創(chuàng)建更細(xì)粒度和準(zhǔn)確的生成式AI輸出。
- 確保足夠的沙箱以防止模型抓取意外的數(shù)據(jù)源。
- 對特定的訓(xùn)練數(shù)據(jù)或數(shù)據(jù)源類別使用嚴(yán)格的審查或輸入過濾器，以控制偽造數(shù)據(jù)的數(shù)量。
- 通過分析特定測試輸入上的模型行為來檢測中毒攻擊的跡象，并在偏差響應(yīng)超過閾值時進(jìn)行監(jiān)視和警報。
- 在循環(huán)中配置人員來審查響應(yīng)和審核。
4.模型拒絕服務(wù)
在模型拒絕服務(wù)中，攻擊者以一種使用異常大量資源的方式與LLM進(jìn)行交互，這會導(dǎo)致LLM和其他用戶的服務(wù)質(zhì)量下降，并可能導(dǎo)致高資源成本。根據(jù)OWASP的說法，由于LLM在各種應(yīng)用程序中的使用越來越多，它們對資源的密集利用，用戶輸入的不可預(yù)測性，以及開發(fā)人員對該漏洞的普遍認(rèn)知缺失，這個問題將變得越來越嚴(yán)重。
例如，攻擊者可以使用自動化向公司的聊天機(jī)器人發(fā)送大量復(fù)雜的查詢，每個查詢都需要花費時間和金錢來回答。
針對此漏洞的預(yù)防措施包括：
- 實現(xiàn)輸入驗證和清理，以確保用戶輸入符合定義的限制，并過濾掉任何惡意內(nèi)容。
- 為每個請求設(shè)置資源使用上限，對每個用戶或IP地址實施API速率限制，或者限制LLM響應(yīng)隊列的數(shù)量。
- 持續(xù)監(jiān)視LLM的資源利用情況，以識別可能指示拒絕服務(wù)攻擊的異常峰值或模式。
5.供應(yīng)鏈漏洞
LLM供應(yīng)鏈在很多方面都很脆弱，特別是當(dāng)公司使用開源、第三方組件、有毒或過時的預(yù)訓(xùn)練模型或損壞的訓(xùn)練數(shù)據(jù)集時。此漏洞還包括原始模型的創(chuàng)建者沒有正確審查訓(xùn)練數(shù)據(jù)，從而導(dǎo)致隱私或版權(quán)侵犯的情況。根據(jù)OWASP的說法，這可能導(dǎo)致有偏差的結(jié)果、安全漏洞，甚至是完全的系統(tǒng)故障。
針對此漏洞的預(yù)防措施包括：
- 仔細(xì)審查數(shù)據(jù)來源和供應(yīng)商。
- 只使用信譽良好的插件，并確保它們已經(jīng)針對你的應(yīng)用程序需求進(jìn)行了測試，并且在涉及外部模型和供應(yīng)商時使用模型和代碼簽名。
- 使用漏洞掃描、管理和修補(bǔ)來降低易受攻擊或過時組件的風(fēng)險，并維護(hù)這些組件的最新庫存，以快速識別新的漏洞。
- 掃描環(huán)境中未授權(quán)的插件和過時的組件，包括模型及其工件，并制定補(bǔ)丁策略來修復(fù)問題。
6.敏感信息披露
大型語言模型有可能通過其輸出泄露敏感信息、專有算法或其他機(jī)密細(xì)節(jié)。這可能導(dǎo)致對敏感數(shù)據(jù)、知識產(chǎn)權(quán)、隱私侵犯和其他安全漏洞的未經(jīng)授權(quán)訪問。
敏感數(shù)據(jù)可以在初始訓(xùn)練、微調(diào)、RAG嵌入期間進(jìn)入LLM，或者由用戶剪切和粘貼到他們的提示符中。
一旦模型訪問了這些信息，其他未經(jīng)授權(quán)的用戶就有可能看到它。例如，客戶可能會看到屬于其他客戶的私有信息，或者用戶可能能夠提取專有的公司信息。
針對此漏洞的預(yù)防措施包括：
- 使用數(shù)據(jù)清理和清除來防止LLM在訓(xùn)練期間或在推理期間訪問敏感數(shù)據(jù)。
- 對用戶輸入應(yīng)用過濾器，防止敏感數(shù)據(jù)被上傳。
- 當(dāng)LLM在推理過程中需要訪問數(shù)據(jù)源時，應(yīng)使用嚴(yán)格的訪問控制和最小特權(quán)原則。
7.不安全的插件設(shè)計
LLM插件是在用戶交互期間由模型自動調(diào)用的擴(kuò)展。它們由模型驅(qū)動，對執(zhí)行缺乏應(yīng)用程序控制，并且通常對輸入缺乏驗證或類型檢查。這將允許潛在的攻擊者構(gòu)造對插件的惡意請求，進(jìn)而可能導(dǎo)致一系列意外行為，包括數(shù)據(jù)泄露、遠(yuǎn)程代碼執(zhí)行和特權(quán)升級。
針對此漏洞的預(yù)防措施包括：
- 實施嚴(yán)格的輸入控制，包括類型和范圍檢查，以及OWASP在ASVS（應(yīng)用程序安全驗證標(biāo)準(zhǔn)）中的建議，以確保有效的輸入驗證和消毒。
- 適當(dāng)?shù)纳矸蒡炞C機(jī)制，如OAuth2和API密鑰進(jìn)行自定義授權(quán)。
- 部署前的檢查和測試。
- 插件應(yīng)遵循其預(yù)期操作所需的最低訪問級別。
- 對敏感操作需要額外的人工授權(quán)。
8.過度代理
隨著LLM變得越來越智能，公司希望賦予它們做更多事情、訪問更多系統(tǒng)和自主做事的權(quán)力。過度代理是指LLM獲得太多自主做事的權(quán)力或被允許做錯誤的事情。當(dāng)LLM出現(xiàn)幻覺，當(dāng)它淪為提示注入、惡意插件的受害者時，就可能執(zhí)行破壞性的操作。
根據(jù)LLM獲得的訪問權(quán)限和特權(quán)，這可能會導(dǎo)致各種各樣的問題。例如，如果允許LLM訪問一個插件，該插件允許它讀取存儲庫中的文檔，以便對它們進(jìn)行匯總，但該插件也允許它修改或刪除文檔，那么錯誤的提示可能導(dǎo)致它意外地更改或刪除內(nèi)容。
如果一家公司創(chuàng)建了一個LLM個人助理，為員工總結(jié)電子郵件，但也有發(fā)送電子郵件的權(quán)力，那么該LLM助理可能會開始發(fā)送垃圾郵件，無論是出于偶然還是惡意目的。
針對此漏洞的預(yù)防措施包括：
- 限制LLM允許調(diào)用的插件和工具，以及在這些插件和工具中實現(xiàn)的函數(shù)，盡量減少到必要操作所需的最低限度。
- 避免使用諸如運行shell命令或獲取URL之類的開放式功能，而使用具有更細(xì)粒度功能的功能。
- 將LLM、插件和工具授予其他系統(tǒng)的權(quán)限限制到最低限度。
- 跟蹤用戶授權(quán)和安全范圍，以確保代表用戶采取的操作在該特定用戶的情境中于下游系統(tǒng)上執(zhí)行，并且使用所需的最小權(quán)限。
9.過度依賴
當(dāng)LLM產(chǎn)生錯誤的信息并以權(quán)威的方式提供信息時，可能會發(fā)生過度依賴。雖然LLM可以產(chǎn)生創(chuàng)造性和信息豐富的內(nèi)容，但它們也可以產(chǎn)生事實上不正確、不適當(dāng)或不安全的內(nèi)容，這被稱為“幻覺”或虛構(gòu)。當(dāng)人們或系統(tǒng)在沒有監(jiān)督或確認(rèn)的情況下信任這些信息時，可能會導(dǎo)致安全漏洞、錯誤信息、錯誤溝通、法律問題和聲譽損害。
例如，如果一家公司依賴LLM生成安全報告和分析，而LLM生成的報告包含公司用于做出關(guān)鍵安全決策的不正確數(shù)據(jù)，那么由于依賴不準(zhǔn)確的LLM生成的內(nèi)容，可能會產(chǎn)生重大影響。
針對此漏洞的預(yù)防措施包括：
- 定期監(jiān)測和審查LLM的輸出結(jié)果。
- 使用可信的外部源交叉檢查LLM輸出，或者實現(xiàn)可以根據(jù)已知事實或數(shù)據(jù)交叉驗證生成的輸出的自動驗證機(jī)制。
- 通過微調(diào)或嵌入增強(qiáng)模型以提高輸出質(zhì)量。
- 與用戶溝通LLM使用風(fēng)險和限制，并構(gòu)建API和用戶界面，鼓勵負(fù)責(zé)任和安全地使用LLM。
10.模型盜竊
模型盜竊是指惡意行為者訪問并泄露整個LLM模型或其權(quán)重和參數(shù)，以便他們可以創(chuàng)建自己的版本。這可能導(dǎo)致經(jīng)濟(jì)或品牌聲譽損失，競爭優(yōu)勢的侵蝕，未經(jīng)授權(quán)使用模型，或未經(jīng)授權(quán)訪問模型中包含的敏感信息。
例如，攻擊者可能通過網(wǎng)絡(luò)或應(yīng)用程序安全設(shè)置中的錯誤配置訪問LLM模型存儲庫，心懷不滿的員工甚至可能泄露模型。攻擊者還可以查詢LLM以獲得足夠的問答對，以創(chuàng)建他們自己的模型“克隆”，或者使用響應(yīng)來微調(diào)他們的模型。根據(jù)OWASP的說法，通過這種類型的模型提取，雖不可能100%地復(fù)制LLM，但卻可以無限接近。
攻擊者可以利用這個新模型的功能，也可以將其作為提示注入技術(shù)的試驗場，然后利用提示注入技術(shù)侵入原始模型。OWASP警告稱，隨著大型語言模型變得越來越流行和有用，LLM盜竊將成為一個重大的安全問題。
針對此漏洞的預(yù)防措施包括：
- 實施強(qiáng)大的訪問控制，例如基于角色的訪問和最小權(quán)限規(guī)則，以限制對模型存儲庫和訓(xùn)練環(huán)境的訪問。
- 定期監(jiān)控和審計訪問日志和活動，及時發(fā)現(xiàn)任何可疑或未經(jīng)授權(quán)的行為。
- 通過輸入過濾器和API調(diào)用的速率限制，以減少模型克隆的風(fēng)險。
人工智能聊天機(jī)器人需要定期更新以保持對威脅的有效防御，而人類的監(jiān)督對于確保LLM的正常運作同樣至關(guān)重要。此外，LLM需要理解上下文，以提供準(zhǔn)確的響應(yīng)并捕捉任何安全問題，并應(yīng)定期進(jìn)行測試和評估，以識別潛在的弱點或漏洞。
原文標(biāo)題：10 most critical LLM vulnerabilities，作者：Maria Korolov、Michael Hill
