生成式AI面臨新型越獄攻擊

最新研究發現，多款生成式人工智能（GenAI）服務存在兩類可誘導其生成非法或危險內容的越獄攻擊漏洞。其中代號為"Inception"的攻擊技術，通過指令讓AI工具虛構場景，進而在無安全限制的子場景中實施二次誘導。

美國計算機應急響應小組協調中心（CERT/CC）在近期公告中指出："在子場景中持續發送提示詞可繞過安全防護機制，最終生成惡意內容。"第二種越獄方式則是通過詢問AI"如何拒絕特定請求"的反向引導實現。CERT/CC補充說明："攻擊者可交替使用正常提示與越獄問題，使AI在安全機制失效狀態下持續響應。"

主流AI平臺集體淪陷

這些技術若被成功利用，攻擊者將能突破OpenAI ChatGPT、Anthropic Claude、微軟Copilot、谷歌Gemini、XAi Grok、Meta AI及Mistral AI等平臺的安全防護。潛在危害包括生成受控物質制備指南、武器設計圖紙、釣魚郵件模板及惡意軟件代碼等非法內容。

近月研究還發現三大新型攻擊手法：

• 上下文合規攻擊（CCA）：攻擊者在對話歷史中植入"愿意提供敏感信息"的虛擬助手回復
• 策略傀儡攻擊：將惡意指令偽裝成XML/INI/JSON等策略文件，誘使大語言模型（LLM）繞過安全校準
• 內存注入攻擊（MINJA）：通過查詢交互向LLM代理的內存庫注入惡意記錄，誘導其執行危險操作

代碼生成暗藏安全隱患

Backslash安全團隊指出，即便要求生成安全代碼，實際效果仍取決于提示詞詳細程度、編程語言、潛在通用缺陷枚舉（CWE）及指令明確性。研究表明，LLM在基礎提示下默認生成的代碼往往存在安全隱患，暴露出依賴GenAI進行"氛圍編程"的風險。

OpenAI最新發布的GPT-4.1模型更引發特殊擔憂。評估顯示，在未修改系統提示的情況下，該模型出現偏題及允許故意濫用的概率達到前代GPT-4o的三倍。SplxAI專家警告："升級模型絕非簡單修改代碼參數，每個版本都有獨特的性能與漏洞組合。"

協議漏洞催生數據泄露風險

Anthropic公司設計的模型上下文協議（MCP）開放標準被發現存在新型攻擊面。瑞士Invariant實驗室證實，惡意MCP服務器不僅能竊取用戶敏感數據，還可劫持代理行為覆蓋可信服務器指令，導致功能完全失控。

這種"工具投毒攻擊"通過將惡意指令嵌入用戶不可見但AI可讀的MCP工具描述實現。實驗演示顯示，攻擊者通過篡改已授權的工具描述，可從Cursor或Claude Desktop等代理系統中竊取WhatsApp聊天記錄。

近期曝光的可疑Chrome擴展程序更凸顯危機嚴重性——該擴展能與本地MCP服務器通信，完全突破瀏覽器沙箱防護。ExtensionTotal分析報告指出："該擴展無需認證即可全權訪問MCP服務器工具，其文件系統操作權限與服務器核心功能無異，可能造成災難性的系統級淪陷。"