從提示注入到模型盜竊，OWASP 已經確定了基于大語言模型 (LLM) 的 AI 應用中最常見和影響最大的漏洞。

全球開放應用安全項目組(OWASP)列出了大語言模型應用中常見的十大關鍵漏洞。提示注入、被污染的訓練數據、數據泄漏和過度依賴 LLM 生成的內容依然在名單上，而新增的威脅包括模型拒絕服務、供應鏈漏洞、模型盜竊以及過度自主性。

該名單旨在教育開發人員、設計人員、架構師、管理人員和企業在部署和管理 LLM 時，了解潛在的安全風險，提高對漏洞的認識，提出補救策略，并改善 LLM 應用的安全狀況。

SANS Institute 的首席研究員兼教職負責人 Rob T. Lee 表示：“考慮部署GenAI 技術的企業需要關注與之相關的風險。OWASP 的前十名單很好地列出了當前 LLM 可能存在或被利用的漏洞。”他補充道，這份前十名單是討論 LLM 漏洞及如何保障這些 AI 安全的良好開端。

“我們才剛剛開始探索如何設置適當的控制措施、配置和部署指南，以隱私和安全為中心，最佳地保護數據。OWASP 前十名單是一個很好的起點，但這個話題遠未結束。”

以下是 OWASP 列出的影響 LLM 應用的十大關鍵漏洞：

1. 提示注入

提示注入是指攻擊者通過精心設計的輸入操縱大語言模型，使其在不知情的情況下執行攻擊者的意圖，這可以通過直接“破解”系統提示或通過操控的外部輸入間接實現，可能導致數據外泄、社會攻擊等問題。

成功的提示注入攻擊可能帶來多種結果——從獲取敏感信息到在正常操作的偽裝下影響關鍵決策過程，OWASP 指出。

例如，用戶可以編寫一個巧妙的提示，使公司的聊天機器人泄露用戶通常無法訪問的專有信息，或在上傳的簡歷中埋入指示系統推薦該候選人的隱秘指令。

防范此漏洞的措施包括：

? 對 LLM 訪問后端系統的權限進行控制。為 LLM 提供獨立的 API 令牌以擴展功能，并遵循最小權限原則，將 LLM 的訪問權限限制在其預期操作所需的最低水平。

? 對于最敏感的操作，引入人為干預，要求額外的審批步驟，以減少未授權行為的機會。

2. 不安全的輸出處理

不安全的輸出處理是指在將大語言模型生成的輸出傳遞給其他組件和系統之前，未能充分驗證、清理和處理這些輸出。由于 LLM 生成的內容可以通過提示輸入控制，這種行為類似于為用戶間接提供對額外功能的訪問。

例如，如果 LLM 的輸出直接發送到系統 shell 或類似功能中，可能導致遠程代碼執行。如果 LLM 生成 JavaScript 或 markdown 代碼并將其發送到用戶的瀏覽器，瀏覽器可能會運行該代碼，進而引發跨站腳本攻擊。

防范此漏洞的措施包括：

? 將模型視為其他用戶，采用零信任策略，并對從模型返回的響應進行適當的輸入驗證，以防止對后端功能的攻擊。

? 遵循 OWASP ASVS(應用安全驗證標準)指南，確保有效的輸入驗證和清理，并對輸出進行編碼，以降低意外代碼執行的風險。

3. 訓練數據投毒

訓練數據投毒是指對預訓練數據或在微調或嵌入過程中涉及的數據進行操控，從而引入漏洞、后門或偏見，這可能會損害模型的完整性，OWASP 解釋道。

例如，惡意攻擊者或擁有內部權限的人獲得訓練數據集的訪問權限后，可以更改數據，使模型提供錯誤的指示或建議，從而對公司造成損害或使攻擊者獲利。從外部來源獲取的損壞的訓練數據集也可能屬于供應鏈漏洞的范疇。

防范此漏洞的措施包括：

? 驗證訓練數據的供應鏈，尤其是當數據來自外部時。

? 通過不同的訓練數據或微調為不同的使用場景創建不同的模型，以生成更細粒度且準確的GenAI 輸出。

? 確保充足的沙箱環境，防止模型抓取不當的數據來源。

? 對特定的訓練數據或數據源類別進行嚴格的審查或輸入過濾，以控制偽造數據的數量。

? 通過分析模型在特定測試輸入上的行為，檢測投毒攻擊的跡象，并在偏差響應超出閾值時進行監控和警報。

? 通過人為審核和審計，參與循環中的審查。

4. 模型拒絕服務

在模型拒絕服務攻擊中，攻擊者通過與 LLM 進行交互，消耗大量資源，導致服務質量下降，影響自己和其他用戶，甚至可能導致高昂的資源成本。隨著 LLM 在各種應用中的使用不斷增加、資源密集型使用、用戶輸入的不可預測性以及開發人員對這一漏洞的普遍認識不足，OWASP 指出，該問題變得日益嚴重。

例如，攻擊者可能會使用自動化工具向公司的聊天機器人發送大量復雜查詢，每個查詢都需要時間來回答，且會產生費用。

防范此漏洞的措施包括：

? 實施輸入驗證和清理，確保用戶輸入符合定義的限制，并過濾掉任何惡意內容。

? 限制每個請求或步驟的資源使用量，使涉及復雜部分的請求執行得更慢，對每個用戶或 IP 地址實施 API 速率限制，或限制系統響應 LLM 輸出的排隊操作和總操作數量。

? 持續監控 LLM 的資源使用情況，識別可能指示拒絕服務攻擊的異常峰值或模式。

5. 供應鏈漏洞

LLM 供應鏈在多個環節存在漏洞，尤其是當公司使用開源、第三方組件、受污染或過時的預訓練模型，或損壞的訓練數據集時。此漏洞還涵蓋了原始模型創建者未對訓練數據進行充分審核的情況，導致隱私或版權違規。根據 OWASP，這可能導致偏見結果、安全漏洞，甚至系統完全崩潰。

防范此漏洞的措施包括：

? 嚴格審核數據來源和供應商。

? 僅使用信譽良好的插件，并確保它們已針對應用需求進行測試，在使用外部模型和供應商時，采用模型和代碼簽名。

? 使用漏洞掃描、管理和補丁程序來降低受漏洞影響或過時組件的風險，并保持這些組件的最新清單，以便快速識別新漏洞。

? 掃描環境中未授權的插件和過時組件，包括模型及其工件，并制定補丁策略以解決問題。

6. 敏感信息泄露

大語言模型可能通過其輸出泄露敏感信息、專有算法或其他機密細節，這可能導致未經授權訪問敏感數據、知識產權、隱私侵犯以及其他安全漏洞。

敏感數據可能在初始訓練、微調、RAG 嵌入過程中進入 LLM，或由用戶通過粘貼方式輸入提示。

一旦模型獲得這些信息，其他未授權的用戶就有可能看到它。例如，客戶可能會看到其他客戶的私人信息，或者用戶能夠提取公司專有信息。

防范此漏洞的措施包括：

? 使用數據清理和擦除技術，防止 LLM 在訓練或推理(即模型使用時)過程中訪問敏感數據。

? 對用戶輸入應用過濾器，防止上傳敏感數據。

? 當 LLM 在推理過程中需要訪問數據源時，使用嚴格的訪問控制并遵循最小權限原則。

7. 不安全的插件設計

LLM 插件是模型在用戶交互過程中自動調用的擴展功能，這些插件由模型驅動，應用程序無法控制其執行，通常也沒有對輸入進行驗證或類型檢查。

這使得潛在攻擊者能夠構造惡意請求對插件進行攻擊，可能導致各種不良行為，甚至包括數據外泄、遠程代碼執行和權限提升，OWASP 警告道。

防范此漏洞的措施包括：

? 實施嚴格的輸入控制，包括類型和范圍檢查，并遵循 OWASP 在 ASVS(應用安全驗證標準)中的建議，確保有效的輸入驗證和清理。

? 使用適當的身份驗證機制，例如反映插件路由而非默認用戶的 OAuth2 和 API 密鑰。

? 在部署前進行檢查和測試。

? 插件應遵循最小權限原則，并只暴露盡可能少的功能，同時仍能完成其預期的任務。

? 對于敏感操作，要求額外的人工授權。

8. 過度自主性

隨著 LLM 越來越智能，公司希望賦予它們更多的能力，使其能夠訪問更多系統并自主執行操作。過度自主性指的是 LLM 獲得了過多的權限或被允許執行錯誤操作。當 LLM 出現幻覺、受到提示注入攻擊、使用惡意插件、提示寫得不好，或者只是模型性能不佳時，可能會執行破壞性操作，OWASP 解釋道。

根據 LLM 獲得的訪問權限和操作權的不同，可能會引發各種問題。例如，如果 LLM 獲得了訪問某個插件的權限，該插件允許它讀取存儲庫中的文檔以進行總結，但插件同時也允許它修改或刪除文檔，那么一個錯誤的提示可能會導致意外地更改或刪除內容。

如果一家公司創建了一個 LLM 個人助理，用于為員工總結電子郵件，但該助理同時也有權發送電子郵件，那么該助理可能會開始發送垃圾郵件，無論是意外的還是惡意的。

防范此漏洞的措施包括：

? 限制 LLM 允許調用的插件和工具，以及這些插件和工具中實現的功能，僅保留最低必要的功能。

? 避免使用如運行 shell 命令或獲取 URL 等開放式功能，使用具有更細粒度功能的操作。

? 將 LLM、插件和工具對其他系統的權限限制在最低必要范圍內。

? 跟蹤用戶授權和安全范圍，確保在下游系統上代表用戶執行的操作是在該特定用戶的上下文中進行，并且使用最低的必要權限。

9. 過度依賴

當 LLM 生成錯誤信息并以權威的方式提供時，可能會導致過度依賴。盡管 LLM 能生成有創意和信息豐富的內容，但它也可能生成事實錯誤、不適當或不安全的內容。這被稱為幻覺或虛構。當人們或系統在沒有監督或確認的情況下信任這些信息時，可能導致安全漏洞、誤導信息、溝通失誤、法律問題以及聲譽損害。

例如，如果一家公司依賴 LLM 生成安全報告和分析，而 LLM 生成的報告包含錯誤數據，并且公司基于此做出關鍵安全決策，依賴于不準確的 LLM 內容可能帶來嚴重后果。

Omdia 的資深首席網絡安全分析師 Rik Turner 稱此現象為 LLM 幻覺。“如果 LLM 生成的內容明顯是胡說八道，分析師可以輕松識別并糾正它，幫助進一步訓練算法，但如果這種幻覺非常合理，看起來像是真的呢?”

防范此漏洞的措施包括：

? 定期監控和審查 LLM 輸出。

? 將 LLM 的輸出與可信的外部來源進行交叉檢查，或者實施自動驗證機制，將生成的輸出與已知的事實或數據進行比對。

? 通過微調或嵌入來提升模型輸出質量。

? 傳達使用 LLM 的相關風險和限制，并構建鼓勵負責任和安全使用 LLM 的 API 和用戶界面。

10. 模型盜竊

模型盜竊是指惡意行為者獲取并竊取整個 LLM 模型或其權重和參數，從而創建他們自己的版本，這可能導致經濟或品牌聲譽的損失、競爭優勢的削弱、模型的未授權使用，或對模型中包含的敏感信息的未授權訪問。

例如，攻擊者可能通過網絡或應用程序安全設置中的配置錯誤訪問 LLM 模型存儲庫，或不滿的員工可能會泄露模型。攻擊者還可以通過向 LLM 提交大量問題和答案對來創建自己的“影子”克隆模型，或者利用這些回答對他們的模型進行微調。根據 OWASP 的說法，雖然通過這種模型提取技術無法 100% 復制 LLM，但可以非常接近。

攻擊者可以利用這個新模型的功能，或者將其作為測試提示注入技術的試驗場，進而用這些技術攻擊原始模型。隨著大語言模型的普及和廣泛應用，LLM 盜竊將成為一個重要的安全隱患，OWASP 指出。

防范此漏洞的措施包括：

? 采用強大的訪問控制，例如基于角色的訪問控制和最小權限原則，以限制對模型存儲庫和訓練環境的訪問，例如通過設置集中化的模型注冊表。

? 定期監控和審計訪問日志和活動，及時發現任何可疑或未授權行為。

? 對 API 調用實施輸入過濾和速率限制，以降低模型克隆的風險。

安全負責人或團隊及其企業有責任確保安全使用采用 LLM 的GenAI 聊天界面。

Tovie AI 的 CEO Joshua Kaiser 早前向記者表示，AI 驅動的聊天機器人需要定期更新以有效應對威脅，并且人類監督對于確保 LLM 正常運行至關重要。“此外，LLM 需要具備上下文理解能力，才能提供準確的回應并發現任何安全問題，應該定期測試和評估以識別潛在的弱點或漏洞。”