OpenAI新的GPT-4V版本支持圖像上傳后，帶來了一條全新的攻擊途徑，使大型語言模型（LLM）容易受到多模態(tài)注入圖像攻擊。攻擊者可以在圖像中嵌入命令、惡意腳本和代碼，隨后模型會遵從行事。

多模態(tài)提示注入圖像攻擊可以泄露數(shù)據(jù)、重定向查詢、生成錯誤信息，并執(zhí)行更復雜的腳本以重新定義LLM如何解釋數(shù)據(jù)。它們可以改變LLM的用途，使其忽略之前設(shè)置的安全護欄，執(zhí)行可能危及企業(yè)組織的命令，從而構(gòu)成從欺詐到操作破壞的各種威脅。

雖然所有已采用LLM作為工作流程一部分的企業(yè)都面臨險境，但那些依賴LLM來分析和分類圖像作為其業(yè)務(wù)核心一部分的企業(yè)面臨最大的風險。使用各種技術(shù)的攻擊者可以迅速改變解釋和分類圖像的方式，因錯誤信息而釀成更混亂的結(jié)果。

一旦LLM的提示被覆蓋，它對惡意命令和執(zhí)行腳本更加視而不見的可能性就會變得更大。通過在上傳到LLM的一系列圖像中嵌入命令，攻擊者可以實施欺詐和操作破壞，同時促進社會工程攻擊。

圖像是LLM無法防御的攻擊途徑

由于LLM在其處理過程中沒有數(shù)據(jù)清理這個步驟，因此每個圖像都是可信賴的，就像在沒有對每個數(shù)據(jù)集、應(yīng)用程序或資源進行訪問控制的情況下，任由身份在網(wǎng)絡(luò)上自由漫游很危險，上傳到LLM中的圖像同樣很危險。

擁有私有LLM的企業(yè)必須采用最小特權(quán)訪問作為一個核心網(wǎng)絡(luò)安全策略。

Simon Willison在最近的一篇博文（https://simonwillison.net/2023/Oct/14/multi-modal-prompt-injection/）中詳細解釋了為什么GPT-4V是提示注入攻擊的主要途徑，并表示LLM從根本上來說很容易上當受騙。

Willison展示了提示注入如何能劫持Auto-GPT之類的自主人工智能代理。他解釋了一個簡單的視覺提示注入如何從嵌入在單單一個圖像中的命令開始，隨后變成了一起可視化提示注入滲透攻擊。

BDO英國公司的數(shù)據(jù)分析和人工智能高級經(jīng)理Paul Ekwere表示：“提示注入攻擊對LLM的安全性和可靠性構(gòu)成了嚴重威脅，尤其是處理圖像或視頻的基于視覺的模型。這些模型被廣泛應(yīng)用于人臉識別、自動駕駛、醫(yī)療診斷和監(jiān)控等各個領(lǐng)域。”

OpenAI還沒有拿出對付多模態(tài)提示注入圖像攻擊的解決方案——用戶和企業(yè)只能靠自己。英偉達開發(fā)者網(wǎng)站上的一篇博文（https://developer.nvidia.com/blog/mitigating-stored-prompt-injection-attacks-against-llm-applications/）提供了規(guī)范性指導，包括對所有數(shù)據(jù)存儲和系統(tǒng)強制執(zhí)行最小權(quán)限訪問。

多模態(tài)提示注入圖像攻擊的工作原理

多模態(tài)提示注入攻擊利用了GPT-4V處理視覺圖像方面的漏洞，以執(zhí)行未被檢測到的惡意命令，GPT-4V依靠視覺轉(zhuǎn)換編碼器將圖像轉(zhuǎn)換成潛在空間表示，圖像和文本數(shù)據(jù)被結(jié)合起來以生成響應(yīng)。

模型沒有在編碼之前對視覺輸入進行清洗的方法。攻擊者可以嵌入任意數(shù)量的命令，GPT-4會認為它們是合法的命令。自動對私有LLM進行多模態(tài)提示注入攻擊的攻擊者不會被注意到。

遏制注入圖像攻擊

令人不安的是，圖像這條未受防護的攻擊途徑的問題在于，攻擊者可能會使LLM訓練的數(shù)據(jù)隨著時間的推移變得不那么可信，數(shù)據(jù)保真度也會漸漸降低。

最近的一篇研究論文（https://arxiv.org/pdf/2306.05499.pdf）提供了關(guān)于LLM如何更好地保護自己免受提示注入攻擊的指導方針，為了確定風險的程度和潛在的解決方案，一組研究人員試圖確定攻擊在滲入整合LLM的應(yīng)用程序方面的有效性。研究小組發(fā)現(xiàn)，31個整合了LLM的應(yīng)用程序容易受到注入的影響。

該研究論文就遏制注入圖像攻擊提出了以下建議：

1. 改進用戶輸入的清潔和驗證

對于在私有LLM方面奉行標準化的企業(yè)來說，身份訪問管理（IAM）和最小特權(quán)訪問是基本配置。LLM提供商需要考慮如何在傳遞圖像數(shù)據(jù)進行處理之前先進行更全面的清潔。

2. 改進平臺架構(gòu)，將用戶輸入與系統(tǒng)邏輯分離

目的應(yīng)該是消除用戶輸入直接影響LLM代碼和數(shù)據(jù)的風險。任何圖像提示都需要加以處理，以免影響內(nèi)部邏輯或工作流程。

3. 采用多階段處理工作流程，以識別惡意攻擊

創(chuàng)建一個多階段流程以盡早捕獲基于圖像的攻擊，這有助于管理這條威脅途徑。

4. 定制防止越獄的防御提示

越獄是一種常見的提示工程技術(shù)，用于誤導LLM執(zhí)行非法行為，將提示附加到看起來惡意的圖像輸入中有助于保護LLM。然而研究人員警告說，高級攻擊仍然可以繞過這種方法。

一種勢頭迅猛的威脅

隨著更多的LLM變成多模態(tài)模型，圖像正成為攻擊者可以依賴的最新威脅途徑，以繞過和重新定義護欄。基于圖像的攻擊嚴重程度不一，有的是簡單的命令，有的是比較復雜的攻擊場景（造成工業(yè)破壞和散布廣泛的錯誤信息是目的）。

文章翻譯自：https://venturebeat.com/security/why-gpt-4-is-vulnerable-to-multimodal-prompt-injection-image-attacks/如若轉(zhuǎn)載，請注明原文地址