Cato Networks作為一家安全訪問服務(wù)邊緣（SASE）解決方案提供商，近日發(fā)布了其《2025年Cato CTRL威脅報(bào)告》，揭示了一項(xiàng)重要發(fā)現(xiàn)。研究人員稱，他們成功設(shè)計(jì)了一種技術(shù)，使毫無編程經(jīng)驗(yàn)的個(gè)人也能夠利用現(xiàn)成的生成式AI（GenAI）工具創(chuàng)建惡意軟件。

通過“沉浸式世界”技術(shù)實(shí)現(xiàn)LLM越獄，打造Chrome信息竊取工具

該研究的核心是一項(xiàng)名為“沉浸式世界”（Immersive World）的新型大語言模型（LLM）越獄技術(shù)，由Cato CTRL威脅情報(bào)研究員開發(fā)。該技術(shù)通過構(gòu)建一個(gè)詳細(xì)的虛構(gòu)敘事環(huán)境，為包括DeepSeek、Microsoft Copilot和OpenAI的ChatGPT在內(nèi)的GenAI工具分派特定角色和任務(wù)。

通過這種敘事操縱，研究員成功繞過了這些AI工具的默認(rèn)安全控制，迫使它們生成能夠竊取Google Chrome登錄憑證的功能性惡意軟件。

“Cato CTRL威脅情報(bào)研究員在沒有惡意軟件編碼經(jīng)驗(yàn)的情況下，成功越獄多個(gè)LLM，包括DeepSeek-R1、DeepSeek-V3、Microsoft Copilot和OpenAI的ChatGPT，打造了一個(gè)完全可用的Google Chrome信息竊取工具，適用于Chrome 133。”

Cato Networks

這一“沉浸式世界”技術(shù)揭示了GenAI提供商所實(shí)施保護(hù)措施中的一個(gè)關(guān)鍵漏洞，因?yàn)樗p松繞過了旨在防止濫用的限制。Cato Networks威脅情報(bào)研究員Vitaly Simonovich表示：“我們認(rèn)為，零知識(shí)威脅分子的崛起對(duì)組織構(gòu)成了高度風(fēng)險(xiǎn)，因?yàn)镚enAI工具大幅降低了創(chuàng)建惡意軟件的門檻。”

報(bào)告的發(fā)布促使Cato Networks與受影響的GenAI工具提供商取得聯(lián)系。盡管微軟和OpenAI確認(rèn)收到了相關(guān)信息，但DeepSeek尚未作出回應(yīng)。

截圖顯示研究人員與DeepSeek互動(dòng)，最終生成了一個(gè)功能性的Chrome信息竊取工具（圖片來自Cato Networks）

谷歌拒絕審查惡意軟件代碼

研究人員稱，盡管谷歌被提供了審查所生成惡意軟件代碼的機(jī)會(huì)，但其拒絕進(jìn)行審查。各大科技公司對(duì)此缺乏統(tǒng)一回應(yīng)，突顯了應(yīng)對(duì)先進(jìn)AI工具威脅的復(fù)雜性。

LLM與越獄技術(shù)

盡管LLM相對(duì)較新，但越獄技術(shù)已與之同步發(fā)展。2024年2月發(fā)布的報(bào)告顯示，DeepSeek-R1 LLM在一次安全分析中未能阻止超過一半的越獄攻擊。同樣，SlashNext于2023年9月發(fā)布的報(bào)告展示了研究人員如何成功越獄多個(gè)AI聊天機(jī)器人以生成釣魚郵件。

防護(hù)措施

作為Cato Networks威脅情報(bào)團(tuán)隊(duì)的首期年度出版物，《2025年Cato CTRL威脅報(bào)告》強(qiáng)調(diào)了主動(dòng)、全面的AI安全策略的迫切需求。其中包括通過構(gòu)建包含預(yù)期提示和響應(yīng)的可靠數(shù)據(jù)集，以及全面測(cè)試AI系統(tǒng)，來防止LLM越獄。

常規(guī)的AI紅隊(duì)測(cè)試同樣重要，因?yàn)樗兄诎l(fā)現(xiàn)漏洞和其他安全問題。此外，應(yīng)設(shè)置明確的免責(zé)聲明和使用條款，告知用戶正在與AI交互，并定義可接受行為以防止濫用。