隨著大語言模型（LLM）開始整合多模態功能，攻擊者可能會在圖像和音頻中隱藏惡意指令，利用這些指令操縱AI聊天機器人（例如ChatGPT）背后的LLM對用戶提示的響應。在2023年歐洲黑帽大會上表示，研究人員指出，這樣的攻擊方式將很快稱為現實。

簡單來說，攻擊者可能會利用這些所謂的“間接提示注入”攻擊，將用戶重定向到惡意URL，從用戶那里提取個人信息，傳遞有效載荷，以及采取其他惡意行動。隨著LLM日益成為多模態或能夠對結合文本、音頻、圖片乃至視頻的上下文輸入作出回應，此類攻擊可能會成為一個重大問題。

隱藏在圖像和音頻中的惡意指令

在本周舉辦的2023年歐洲黑帽大會上，康奈爾大學的研究人員將展示他們開發的一種攻擊，該攻擊利用圖像和聲音向多模態LLM注入指令，導致模型輸出攻擊者指定的文本和指令。他們的概念驗證攻擊示例針對的是PandaGPT和LLaVa多模態LLM。

研究人員在一篇題為“濫用圖像和聲音進行多模態LLM中的間接指令注入”的論文中寫道：“攻擊者的目標是引導用戶與多模態聊天機器人之間的對話。”為此，攻擊者將提示融入圖像或音頻片段，并操縱用戶詢問聊天機器人有關它的問題。”研究人員計劃展示一旦聊天機器人處理了輸入，它將輸出隱藏在音頻或圖像文件中的攻擊者注入的提示，或者遵循攻擊者可能在提示中包含的任何指令。

例如，研究人員將一條指令混合到在線可用的音頻片段中，導致PandaGPT響應攻擊者特定的字符串。如果用戶將音頻片段輸入聊天機器人，并要求描述聲音，模型的響應將指導用戶訪問一個惡意URL，表面上是為了了解更多關于制造聲音的“非常罕見的鳥”。

在另一個示例中，研究人員將指令混合到一幢建筑物的圖像中，如果用戶將圖像輸入聊天機器人并詢問有關它的問題，那么LLaVa將會像哈利·波特一樣聊天。

康奈爾大學的研究員、報告的作者之一本·納西（Ben Nassi）表示，他們研究的目標之一是找到一種方式，可以以用戶無法察覺的方式間接地將提示注入到多模態聊天機器人中。另一個目標是確保他們能夠“擾動”圖像或音頻，而不影響LLM正確回答有關輸入的問題。

納西將這項研究描述為建立在其他人的研究基礎上，這些研究展示了LLM如何容易受到提示注入攻擊的影響，其中敵手可能以這樣的方式設計輸入或提示，以故意影響模型的輸出。一個最近的例子是谷歌DeepMind和六所大學的研究人員進行的一項研究，該研究表明，通過簡單地引導ChatGPT重復某些單詞，如“詩歌”和“公司”，可以操縱ChatGPT重復大量其訓練數據——包括敏感和個人身份信息。

納西和他的團隊將在黑帽大會上展示的攻擊不同之處在于它涉及間接提示。換句話說，用戶不太像常規提示注入中的攻擊者，而更像是受害者。

“我們不將用戶作為敵手，”康奈爾大學的研究員、報告的主要作者尤金·巴格達薩良（Eugene Bagdasaryan）說。報告的另外兩位作者是康奈爾大學的研究員蔡宗瀛（Tsung-Yin Hsieh）和維塔利·什馬蒂科夫（Vitaly Shmatikov）。巴格達薩良補充說：“在這種情況下，我們展示了用戶不知道圖像或音頻中包含有害的東西。”

間接提示注入攻擊

這篇新論文并不是首次探討間接提示注入作為攻擊LLM的方式。今年5月，德國薩爾蘭大學CISPA亥姆霍茲信息安全中心和Sequire Technology的研究人員發表了一份報告，描述了攻擊者如何通過將隱藏的提示注入模型在響應用戶輸入時可能檢索的數據中來利用LLM模型。研究人員得出結論：“LLM功能的易擴展性通過自然提示可以實現更直接的攻擊策略。

然而，在那種情況下，攻擊涉及策略性放置的文本提示。巴格達薩良表示，他們的攻擊不同，因為它展示了攻擊者如何也將惡意指令注入音頻和圖像輸入中，使它們潛在更難以檢測。

涉及操縱音頻和圖像輸入的攻擊的另一個區別在于，聊天機器人將在整個對話過程中繼續以其受指示的方式響應。例如，引導聊天機器人以哈利·波特式的方式回應，即使用戶可能已經停止詢問特定的圖像或音頻樣本，它也會繼續這樣做。

將用戶引導至武器化圖像或音頻片段的潛在方法可能包括將用戶通過網絡釣魚或社交工程誘騙至帶有有趣圖像的網頁，或通過帶有音頻片段的電子郵件。研究人員在他們的論文中寫道：“當受害者直接將圖像或片段輸入到一個孤立的LLM并詢問有關它的問題時，模型將受到攻擊者注入的提示的引導。”

這項研究很重要，因為許多組織正急于將LLM功能整合到他們的應用程序和操作中。那些設計出方法將有毒的文本、圖像和音頻提示悄悄帶入這些環境的攻擊者可能會造成重大損害。

參考來源：https://www.darkreading.com/vulnerabilities-threats/llms-open-manipulation-using-doctored-images-audio