在SOC中集成AI Agent工作流程,端到端自動處理警報
傳統SOC 不能承受之重
在傳統的模式下,網絡安全分析師團隊需要24/7運作,以調查警報、確定其嚴重性并采取必要行動。
在傳統的檢測和響應中,檢測并不容易實現,而且人工響應無法匹配所需的機器級速度。當檢測邏輯在滿足特定閾值或行為時,就會觸發"警報"。人工分析師需要執行多個決策,以準確響應每個警報。通常,處理一個警報關系到所涉及的用戶、相關活動、所涉系統的性質,并對發生的情況進行詳細調查。
為了處理一個警報,分析師需要做很多事情,比如查看網絡流量中的異常情況、檢查多個進程和日志源、檢查HTTP頭、沙箱分析、解碼混淆腳本、掃描和隔離設備、阻止惡意入侵指標、隔離惡意載荷、從用戶收件箱中刪除惡意郵件、收集工件、重置憑據、撰寫報告等,具體取決于情況。
分析師還需要使用多種工具和技術,如安全信息和事件管理(SIEM)、安全編排、自動化和響應(SOAR)、終端檢測和響應(EDR)、開源情報(OSINT)等,來完成這些任務。
如有必要,SOC分析師還需要牽涉多個其他團隊,如網絡情報、威脅搜尋、法律、事件響應和管理、數據保證、網絡安全、云安全、身份和訪問管理等。此外,分析師還必須留意在警報事件相應時間段內是否存在任何未被檢測到的可疑事件。分析師需要在巨大壓力下實時執行所有這些任務,以確保不會錯過任何真正的事件。是的,這確實是很多工作。
為了避免SOC分析師的倦怠和警報疲勞,需要通過使用 AI Agent自動執行日常任務來轉變 SOC 策略。
許多重復性人工任務都可以通過AI Agent和工作流程實現自動化,從而提高分析師的工作效率并縮短響應時間。在許多情況下,只要獲得所需權限進行更改,集成的AI Agent就可以端到端處理警報。
了解AI Agent的工作原理
每個行業都在依賴某種形式的自動化來替代簡單和機械的人力勞動。人們大量使用機器人流程自動化(RPA)來自動化重復性任務。RPA在使用預定義規則時表現出色,但它無法做出新的決策,無法從反饋中學習,需要持續的人工監督。
由多個此類代理組成的自動化系統缺乏靈活性,而且對這些系統進行更改可能會很麻煩。這些傳統的自動化代理沒有任何記憶或反饋循環來自行進化,也無法嘗試做出類似人類的決策。
大語言模型(LLM)的潛力不僅僅體現在生成出色的內容和程序上。AI Agent和智能AI系統利用生成式AI模型和LLM來自主執行任務代表最終用戶。
可以將AI Agent視為高級軟件程序,它們不僅可以像傳統自動化代理一樣自動執行任務,還可以動態調整其行為。與這些代理的交互可以采取用戶的自然語言提示(NLP)或來自另一個代理的函數調用的形式。
AI Agent可以根據以反饋形式接收的新訓練數據來調整其行為。在由LLM驅動的自主代理系統中,LLM充當代理的"大腦",并由多個其他工具、行動手冊和記憶組件來補充。為了構建更加健壯的代理,我們必須限制其范圍,可以在大規模使用一系列AI Agent來實現高度智能自動化,從而逐步發展并復制出類似人類的決策能力,而不是期望單個代理自主工作。
圖片
AI Agent以連續的循環方式運作,它們接收輸入并對其進行處理以采取必要行動。這個循環是連續的,允許代理根據需要動態改變行為。基于規則的系統、機器學習模型或決策樹都可以實現代理的功能。
以下是對AI Agent的簡單概述,這些類別可能存在不同的變體和重疊:
- 簡單反射代理:根據當前的環境狀態采取行動。使用預定義規則響應即時條件。
- 基于模型的反射代理:維護環境的內部模型??紤]過去的狀態以做出超出即時輸入的決策。
- 基于目標的代理:具有明確的目標,并根據實現這些目標的進展來評估行動。選擇使他們更接近目標的行動。
- 基于效用的代理:基于效用函數來優化性能。做出能最大化預期幸福感或滿意度的決策。
- 學習型代理:通過經驗學習來提高性能。隨著時間推移適應和完善其行為。
AI Agent驅動的半自主網絡SOC
為了處理警報,SOC分析師依賴標準操作程序(SOP)或行動手冊,以確保在應對潛在威脅時不會遺漏任何內容。SOP和行動手冊還確保了不同分析師采取的行動的一致性。
SOP和行動手冊是一組可以自動化的重復性任務。靜態自動化很難適應動態需求,并且難以修改。AI Agent可以通過適應新信息并相應調整行動來解決這個問題。將這些程序作為對代理的指令可以大幅提高響應速度并減少人為錯誤。
為了處理警報,SOC 分析師依靠標準作程序 (SOP) 或手冊來確保在解決潛在威脅時不會遺漏任何內容。SOP 和手冊還確保不同分析師采取的行動之間的一致性。
半自主SOC的架構圖
不同AI Agent的描述如下:
數據攝取和豐富代理
- 警報獲取器-從各種安全工具(SIEM、EDR、IDS/IPS等)接收警報;
- 警報聚合器-關聯、去重和優先級排序警報;
- 實體提取器-提取關鍵實體(IP地址、用戶賬戶、終端等);
- 上下文收集器-收集相關上下文信息(用戶角色、以前的警報、終端性質、訪問級別、成員資格、文件普及率等);
- 豐富代理-使用威脅情報和上下文豐富實體。
調查和分析代理
- 調查代理-將警報分配給AI SOC分析師,并嘗試根據觸發的規則制定上下文。該代理評估來自其他AI Agent的響應;
- 證據收集器-收集和保存與該警報相關的證據;
- 證據分析器-對文件進行沙箱分析、掃描URL、解碼腳本等。
決策和響應代理
- 行動確定器-建議采取適當行動(阻止、隔離、隔離);
- 行動排序代理-確定執行行動的最佳順序;
- 記錄制作代理-記錄事件調查和響應過程;
- 決策制定代理-評估整體響應策略;
- 響應代理-根據順序執行自動化行動;
- 升級代理-將關鍵事件升級給人工分析師。
控制和協調代理
- 通知代理-通知相關人員關鍵警報;
- 錯誤報告代理-監控并報告AI Agent和集成中的錯誤;
- 驗證代理-監控已執行的行動,確保所需行動已完成。
以上只是一個簡化的表示。實際實現過程中可能涉及更復雜的交互和其他AI Agent。
發現系統上存在不受歡迎的黑名單軟件的示例
假設在名為theonlyhost-win的主機上發現了一個名為ThisIsBad.exe的惡意工具。SIEM根據該可執行文件在設備上枚舉用戶名的不良聲譽觸發了警報。在這種情況下,EDR策略設置為僅發出警報,而不阻止或刪除。
警報獲取代理從SIEM接收警報,實體提取器代理提取關鍵實體,如用戶名theusualsuspect、主機名和文件名。豐富代理使用威脅情報(如通過動態分析獲得的聲譽和行為信息)豐富文件信息。
調查代理將警報分配給AI SOC分析師,并與證據收集代理和證據分析代理通信,以保存文件、在沙箱中運行它并獲取詳細行為。調查代理評估結果,并基于與經過訓練以識別文件執行行為中可疑模式的自定義LLM的不斷通信和集成,注意到基于枚舉設備上登錄的用戶的可疑行為。
決策和響應代理共同阻止該文件、刪除它、在設備上啟動實時掃描、記錄筆記并向人工分析師推薦政策更改。
下圖給出了AI Agent如何協同工作并采取行動的概念。這種表示在實際實現中可能會有所變化,可能涉及AI Agent、LLM、自定義行動手冊和所有必需信息源之間的更多通信。
如果下次發現同一文件,AI Agent將學習這種行為并自動執行操作。如果正確實施,AI Agent驅動的半自主SOC系統的這種能力將為組織節省大量時間和資源,并加強安全態勢。
AI Agent處理事件的高級視圖
將AI Agent驅動的工作流集成到SOC中
上述框架的真正威力在于將AI Agent與SOC工作流的其他領域相結合。在SOC中,除了處理警報之外,一些重要操作,如發送電子郵件、與不同團隊提出票證、更新和關閉案例、記錄以備將來參考等都是手動完成的。
創建工作流允許AI Agent在一定程度上獨立運作并持續改進。處理SOC中的實際場景需要超自動化。在保持一定自主性的同時,保持人工參與以實現高精度也是至關重要的。最新進展允許跨多個平臺和產品構建靈活的工作流,并實現本機集成。
快速生成用于處理自定義場景的復雜工作流的能力將是實現向半自主SOC過渡的關鍵。隨著我們對AI驅動的超自動化的依賴不斷增加,我們將充分利用人類專業知識來設計健壯的工作流,以管理重復性任務。
當前面臨的挑戰
- 模型會限制代理,因此在網絡安全環境中對它們進行嚴格訓練和測試至關重要。
- AI模型在類似于其訓練數據的數據上表現最佳。不熟悉的環境可能會嚴重影響其有效性。
- AI模型和AI Agent本身可能成為攻擊目標,從而損害系統的有效性。
- AI Agent的可追溯性也是確保SOC查看所有采取行動的關鍵,以防需要重新審視某一事件。
- 必須徹底評估授予訪問工具、用戶數據、文檔、SOP等的風險。
除了上述挑戰外,組織可能還會面臨基于其當前SOC能力成熟度水平和實施新方法所涉及的資源而產生的未知挑戰。
我們當前所面臨的網絡威脅錯綜復雜,來勢洶洶。我們要秉持開放、創新的心態,勇于擁抱新技術,才能掌握主動權。
參考鏈接:https://dzone.com/articles/integrating-ai-agent-workflows-soc