在采訪中，AutoRABIT的CTO Jason Lord探討了將智能體集成到現實世界中的系統所帶來的網絡安全風險。諸如幻覺、提示注入和嵌入式偏見等問題可能會使這些系統成為易受攻擊的目標。

Lord呼吁進行監督、持續監控和人為介入循環控制以應對這些威脅。

許多智能體都是建立在基礎模型或大型語言模型(LLM)之上的。當這些智能體嵌入到現實世界的系統中時，基礎模型和LLM固有的不可預測性(如幻覺或提示注入)是如何轉化為風險的?

基礎模型和LLM從海量數據中學習，這意味著任何潛在的偏見、低質量輸入或事實錯誤都會嵌入到它們的行為中。隨著時間的推移，這些不準確之處可能會累積——尤其是當模型遇到更多樣化的上下文時。

雖然LLM的固有不可預測性對于創意或對話目的可能是有用的，但在生產環境中它可能會暴露出重大風險。幻覺(捏造或錯誤陳述)和提示注入(對輸入的惡意操縱)可能會引入隱藏的漏洞。

在最壞的情況下，這些問題會成為攻擊載體，提供對關鍵系統或敏感數據的意外訪問。即使智能體的響應中存在輕微的不一致，也可能損害數據完整性或打開后門。這會產生從未經授權的披露到系統損壞等實際風險——所有這些都可能嚴重影響組織的安全態勢。

如果智能體能夠訪問企業系統、工具或數據，它們會引入哪些新的攻擊面或供應鏈風險?我們是否基本上是在創建新的特權身份?

是的，智能體實際上成為了一種新的特權身份類別，可能擁有訪問敏感信息和關鍵業務流程的權限。因為它們可以處理命令、檢索或修改數據，并與其他企業系統進行交互，所以智能體的憑據或邏輯一旦遭到單次破壞，其破壞性可能與整個特權用戶帳戶遭到攻擊一樣嚴重。

智能體特別具有挑戰性的一點是，與常規腳本或應用程序相比，它們的行為更不可預測且更難審計。它們依賴于可能被操縱的自然語言輸入——通過提示注入、對抗性示例或配置錯誤的訪問控制——來執行不需要的或惡意的操作。

組織還應考慮AI驅動的供應鏈風險。當智能體生成代碼或產生被持續集成/持續部署(CI/CD)管道使用的工件時，它們可能會無意中嵌入漏洞或將有缺陷的邏輯傳播到下游系統中。這些隱藏風險可能會一直存在，直到通過徹底審計或利用嘗試被發現，這強調了嚴格治理、訪問控制和持續監控AI生成輸出的必要性。

你是否預見智能體會成為與通過釣魚或社會工程學攻擊人類相同的目標?所謂的“智能體感知”對手會是什么樣子?

絕對的。智能體將簡單地被添加到目標列表中，但攻擊者不會使用操縱人類的戰術(如釣魚郵件)，而是可能會通過制作旨在操縱智能體行為的惡意輸入來進行提示注入。這些攻擊利用了智能體對看似良性的指令或數據的信任，導致其泄露信息、提升權限或采取有害行為。

“智能體感知”對手將研究特定智能體如何解釋語言、做出決策以及與工具進行交互。他們可能會在共享文檔、聊天消息或API響應中嵌入隱藏命令。這些攻擊看起來不會像傳統的漏洞利用——它們會看起來像正常的對話或常規數據流。

隨著智能體在企業系統中承擔更多責任——處理工單、更新記錄或管理基礎架構——攻擊者將更加關注直接操縱智能體。這使得AI特定的安全控制(如輸入驗證、行為監控和強大的審計跟蹤)對于檢測和防止這些攻擊至關重要。

當前，你對智能體在網絡安全中最興奮的應用場景是什么?以及你認為哪些應用場景仍然被過度炒作或過早?

AI在過去幾年中取得了長足的進步。威脅檢測和自動響應是智能體能夠為網絡安全團隊帶來切實益處的兩種方式。能夠分類警報、跨不同工具關聯信號并提供豐富上下文的智能體可以極大地提高分析師的效率。通過增強現有的安全運營中心(SOC)工作流程，智能體可幫助員工專注于戰略任務，而不是篩選原始數據。

然而，能夠在實時生產環境中做出單方面決策的完全自主的智能體仍然存在風險。幻覺或錯誤行為可能會關閉關鍵基礎設施或創建后門，而人類操作員卻未能及時發現錯誤。監督機制、手動審批和強大的防護欄仍然至關重要。

被過度炒作或過早的應用場景包括無需人類干預的端到端“自我修復”系統。在不斷變化的安全環境中，確保問責制和減輕意外后果需要人類審查過程。將智能體與人為介入循環策略相結合，在一段時間內很可能仍將是最佳實踐。

展望未來3到5年，一個成熟的智能體賦能的SOC會是什么樣子?哪些功能將成為常態，而我們仍將在應對哪些風險?

僅在過去一年我們就看到了如此多的增長，因此我想象在未來3到5年內，智能體將非常令人印象深刻。我預計，智能體賦能的SOC將配備在整個事件生命周期中嵌入的半自主智能體。它們將能夠分類警報、生成事件報告并實施補救操作。

跨工具集成(例如，漏洞掃描器、端點檢測和響應(EDR)解決方案或威脅情報源)是未來幾年將發展的另一種能力。人類分析師將能夠更專注于戰略分析、微調其智能體的行為，以及處理獨特的網絡安全情況。

成熟度的提高將伴隨著同樣成熟的攻擊和網絡安全風險。保持強大的安全態勢不僅需要先進的AI，還需要持續的驗證、紅隊測試和仔細的治理。沒有任何工具是萬能的——尤其是在不斷演變的威脅環境中。