網絡安全里的人工智能模型：從誤用到濫用
人工智能現在還不會取代我們，但是懂得使用人工智能的人會取代不懂使用人工智能的人。
人工智能是目前每個人都關注的焦點，尤其是網絡安全行業。在一場持續不斷的打地鼠游戲中，防御者和攻擊者都在利用人工智能來打破各自有利的力量平衡。在我們了解防御者和攻擊者如何利用人工智能之前，我們需要了解目前流通的三種最常見的人工智能模型。
三種人工智能模型如何增強防御者
生成式 AI、監督式機器學習和無監督式機器學習是三種主要的 AI 模型。ChatGPT、Gemini 和 Copilot 等生成式 AI 工具可以理解人類輸入并以類似人類的響應提供輸出。值得注意的是，生成式 AI 會根據用戶交互不斷完善其輸出，使其有別于傳統 AI 系統。無監督式機器學習模型非常適合分析和識別大量非結構化或未標記數據中的模式。或者，監督式機器學習算法會根據標記良好、標記良好且結構良好的數據集進行預測。
讓我們了解如何應用這些模型來增強人類研究人員和安全產品。
- 想象一下，只需單擊一下按鈕，即可生成一份 AI 摘要，一份包含所有安全事件和警報的人類可讀報告，即使是非技術人員也可以閱讀和理解。這是生成式 AI 實際應用的一個很好的例子。
- 想象一下像SASE （安全訪問服務邊緣）這樣融合的云原生網絡和安全理念，它可以處理數萬億個網絡流。實際上，任何個人（甚至團隊）都不可能篩選如此大量的網絡和安全數據來識別惡意模式。無監督機器學習不僅可以找到模式，還可以將其與其他安全事件對應起來。
- 想象一下分析所有安全和技術數據，找到模式并在攻擊發生之前預測攻擊：得益于監督機器學習，安全研究人員的夢想成真了。
威脅行為者對人工智能模型的濫用
盡管媒體大肆宣傳，但網絡犯罪分子對人工智能的使用仍處于起步階段。這并不意味著人工智能不會被用于惡意目的，但它也不會像某些人聲稱的那樣導致人類文明的衰落。網絡犯罪分子使用人工智能來完成非常具體的任務，即：
- 撰寫超針對性的BEC電子郵件。
- 創建現有惡意軟件的新變種以逃避檢測（又稱多態惡意軟件）。
- 掃描和分析代碼以識別目標系統中的漏洞。
- 創建視頻和語音模仿（合成媒體、深度偽造）以進行社會工程攻擊。
威脅行為者還開始創建自己的私有和未經審查的模型（例如PoisonGPT、WolfGPT 和 FraudGPT），因為像 ChatGPT 這樣的公開可用的 AI 模型接受了道德培訓，并受到內容審核規則的約束，這些規則應用了一定程度的審查。其中一些工具（例如WormGPT）被嘲笑為 ChatGPT 的廉價連接器，并且仍然容易受到同樣的限制。
網絡犯罪分子如何攻擊、濫用和利用 LLM
威脅行為者攻擊和濫用大型語言模型的主要方式有六種。
- 通過針對提示：假設沙箱使用 AI 分析惡意軟件代碼。攻擊者在代碼中插入“惡意”提示，誤導其預測或檢測。這種技術稱為“提示注入”。還有其他對抗性提示技術，如混淆和“立即執行任何操作”，攻擊者可以使用這些技術欺騙、破壞或用文字將 AI 武器化。
- 通過針對響應：如果攻擊者分析了包含私人或機密信息（如硬編碼密碼或商業機密）的某些代碼或數據集，會發生什么情況？這種不安全的輸出處理可能會導致數據泄露和其他安全事件。
- 通過針對模型：人工智能系統容易受到偏見的影響。人工智能安全系統可能會將來自日本的流量歸類為低風險。攻擊者可能會利用此漏洞并使用 VPN 來掩蓋其流量。攻擊者還可以利用人工智能幻覺。威脅行為者遇到未發布軟件包的幻覺，創建具有相同名稱的惡意負載，發布它，并欺騙系統認為它是系統的一部分。
- 通過針對訓練數據：媒體經常提到對 AI 訓練數據的攻擊，但獲取這些數據非常困難。攻擊者更有可能使用“反饋毒害”等技術，即利用人類反饋來操縱 LLM。例如，當你向 LLM 提問時，你會收到一個帶有“豎起大拇指”或“豎起大拇指”反饋選項的答案，這有助于模型了解什么是相關的，什么是不相關的。攻擊者可以利用這一點來操縱 LLM。
- 通過針對基礎設施： AI 模型托管在云計算服務器和數據中心。攻擊者可以發起分布式拒絕服務 (DDoS) 攻擊，試圖破壞或禁用該技術。供應鏈攻擊也是一種可能性。攻擊者可以攻擊供應鏈合作伙伴，并使用特權升級和橫向移動來操縱或禁用 AI 模型。
- 通過使用結果來針對人類、API 或系統：惡意行為者可以用惡意軟件感染受害者筆記本電腦，并使用 GenAI劫持公司的金融交易。LLM 有自己的 API，第三方可以使用這些 API 來構建自定義指令和集成。如果這些集成存在漏洞，惡意行為者可以利用這些漏洞或構建惡意插件來運行中間人類型的攻擊。
人工智能尚未取代我們，但懂得如何使用人工智能的人將取代不懂如何使用人工智能的人。隨著技術發展如此之快，同時朝著如此多的方向發展，很難及時了解其發展和日益增加的風險。像人工智能這樣的任何快速發展都會引入許多以前無法想象的新工具、策略和利用機會。安全團隊必須投資于先進的融合安全模型，以提供對各種攻擊面的全面概述和管理。利用機器學習算法可以進一步提高威脅檢測和響應能力。
