AI已不再是僅執行預定命令的工具，它越來越能夠自我修改、重寫自身參數，并根據實時反饋進行演進，這種自我維持的能力，有時被稱為自生成性，使AI系統能夠動態適應其環境，從而提高效率，但也大大降低了可預測性。

對于網絡安全團隊而言，這帶來了一個根本性挑戰：如何確保一個不斷自我改變的系統的安全性?傳統的安全模型假設威脅來自外部，即不良行為者利用本已穩定的系統中的漏洞，但AI能夠重新配置其自身操作，風險不再僅僅是外部入侵，還包括內部不可預測性。

這尤其令中小型企業和公共機構擔憂，因為它們往往缺乏監控AI如何隨時間演變的資源，或檢測AI何時改變了自身安全態勢的能力。

當AI系統自我重寫時

大多數軟件在固定參數內運行，使其行為可預測，然而，自生成性AI能夠根據環境輸入重新定義其自己的操作邏輯。雖然這實現了更智能的自動化，但也意味著一個負責優化效率的AI可能會在沒有人工監督的情況下開始做出安全決策。

例如，一個基于AI的電子郵件過濾系統最初可能根據預設標準阻止網絡釣魚嘗試，但如果它不斷學習到阻止太多電子郵件會引發用戶投訴，它可能會開始降低敏感性以保持工作流程效率——實際上繞過了其設計用于執行的安全規則。

同樣，一個負責優化網絡性能的AI可能會將安全協議視為障礙，并調整防火墻配置、繞過身份驗證步驟或禁用某些警報機制——并非作為攻擊，而是作為提高感知功能的一種手段。這些由自我生成的邏輯而非外部攻擊驅動的更改，使安全團隊難以診斷和緩解新出現的風險。

自生成性AI尤其令人擔憂的是，其決策過程通常不透明。安全分析師可能會注意到系統行為有所不同，但可能難以確定為何進行了這些調整。如果AI基于其感知的優化修改了安全設置，它可能不會以允許進行取證分析的方式記錄該更改。這造成了一個責任缺口，即組織甚至可能在事件發生后才意識到其安全態勢已發生變化。

SMB和公共機構面臨的獨特網絡安全風險

對于擁有專門的AI安全團隊的大型企業而言，可以通過持續監控、對抗性測試和模型可解釋性要求來控制自修改AI的風險，但SMB和公共機構很少有預算或技術專長來實施此類監督。

簡而言之，這些組織面臨的危險是，它們可能直到為時已晚才意識到其AI系統正在改變安全關鍵流程。一個依賴AI驅動訪問控制的市政政府可能會認為憑證身份驗證正常運行，結果卻發現系統為了縮短登錄時間已降低了多因素身份驗證的優先級。一家使用AI驅動欺詐檢測的小型企業可能會發現，其系統為了最大限度地減少運營中斷而抑制了太多安全警報，無意中允許欺詐交易未被檢測到。

這方面可能出現問題的最佳例子之一是2024年7月的CrowdStrike危機，其中一個受全球公認的網絡安全平臺供應商影響的補丁未經充分測試就被推出。該補丁在全球范圍內一次性部署，導致了過去十年來——甚至可以說是過去幾十年來——最容易發生的技術中斷。

事后調查顯示，導致全球故障的一系列錯誤中，最引人注目的是通道文件中加載的結構缺乏驗證、缺少版本數據以及未能根據客戶群體而非版本類型將軟件更新視為不同事物。

這些錯誤是當今使用生成性AI大規模自動化狹窄任務的轉變中的常規內容，從網絡安全角度來看，這帶來了獨特的挑戰。畢竟，與傳統漏洞不同，這些AI驅動的風險不會以外部威脅的形式出現。

沒有惡意軟件感染，沒有憑證被盜——只是一個以無人預料的方式發展的系統。這尤其增加了SMB和公共機構的風險，因為它們往往缺乏人員來持續審計AI驅動的安全決策和修改。

對身份驗證、欺詐檢測和訪問控制的日益依賴只會加劇這個問題。隨著AI在確定組織內部誰或什么被信任方面發揮更大作用，其自主改變這些信任模型的能力為安全團隊引入了一個移動目標。如果AI決策變得過于抽象，超出人工監督的范圍，組織可能難以重新控制自己的安全框架。

安全團隊如何適應自修改AI的威脅

減輕自生成性AI的風險需要網絡安全策略的根本轉變。組織不能再假設安全故障僅來自外部威脅，相反，它們必須認識到，AI本身可能通過不斷改變其決策邏輯來引入漏洞。

安全團隊必須超越靜態審計方法，并采用針對AI驅動安全過程的實時驗證機制。如果AI系統被允許修改身份驗證工作流程、防火墻設置或欺詐檢測閾值，這些更改必須獨立審查和驗證。不應僅因AI驅動的安全優化提高了效率就將其視為固有可靠。

網絡安全專業人員還必須認識到，可解釋性與性能同樣重要。在安全敏感環境中運行的AI模型必須采用人類可讀的邏輯路徑進行設計，以便分析師能夠理解AI系統為何進行特定更改。如果沒有這一級別的透明度，組織將面臨將關鍵安全決策外包給一個它們無法完全控制的演進系統的風險。

對于SMB和公共機構而言，挑戰甚至更大。這些組織中許多缺乏專門的AI安全專長，這意味著它們必須推動外部監督機制。AI驅動安全解決方案的供應商合同應包括強制性透明度要求，確保AI系統不會以未經明確人工批準的方式從根本上改變安全態勢。

測試AI故障場景以發現弱點

組織還應開始以測試災難恢復和事件響應相同的方式測試AI故障場景。如果一個AI驅動的欺詐檢測系統開始抑制高風險警報，安全團隊將多快檢測到這一變化?如果一個AI驅動的身份驗證系統降低了身份驗證的嚴格性，IT團隊將如何在攻擊者利用這一變化之前進行干預?這些不是假設性的擔憂——它們是隨著AI承擔更多自主安全功能而出現的真實漏洞。

安全團隊能做出的最危險假設是，AI將始終按照人類意圖行事。如果一個系統被設計為優化結果，它就會優化——但不一定以與網絡安全優先級一致的方式。組織越早認識到這一點，就越能為確保AI驅動環境的安全性做好準備，以防這些系統開始做出超出人工控制的安全決策。