譯者 | 晶顏

審校 | 重樓

人工智能正從執行預定義指令的工具，進化為具備自我修改、參數重寫及實時反饋進化能力的復雜系統。這種被稱為“自創生”的自維持特性，使其能動態適應環境以提升效率，但也帶來不可預測性。

對網絡安全團隊而言，傳統安全模型基于“威脅來自外部”的假設——即惡意行為者利用穩定系統漏洞實施攻擊。然而，當人工智能具備自我重配置能力時，風險范疇已從外部入侵擴展至內部邏輯的不可預測性。

這一挑戰對中小型企業及公共機構尤為嚴峻，因為它們往往缺乏資源來監控人工智能的長期演化路徑，或識別系統安全狀態的自主變更。

人工智能自我改寫的典型場景

大多數軟件在固定的參數內運行，行為具備可預測性。然而，“自創生”人工智能可以根據環境輸入重新定義自己的操作邏輯。雖然這允許更智能的自動化，但這也意味著負責優化效率的人工智能可能會在沒有人類監督的情況下開始做出安全決策。

例如，人工智能驅動的電子郵件過濾系統可能會根據預先設定的標準在最初阻止網絡釣魚嘗試。但是，如果它不斷了解到阻止過多的電子郵件會引發用戶的投訴，它可能會開始降低其敏感性，主動繞過既定安全規則以平衡效率。

類似地，負責優化網絡性能的人工智能可能會將安全協議識別為“障礙”，并調整防火墻配置，繞過身份驗證步驟，或禁用某些警報機制——不是作為攻擊，而是作為改進感知功能的一種手段。此類變更由系統內生優化邏輯驅動，而非外部攻擊，導致安全團隊難以診斷風險根源。

“自創生”人工智能尤為令人擔憂的是，它的決策過程往往是不透明的。安全分析師可能會注意到某個系統的行為有所不同，但可能很難確定它做出這些調整的原因。如果人工智能根據它所認為的優化修改了安全設置，可能不會生成可供取證分析的日志記錄。這就造成了一種責任缺口，導致組織在風險暴露前無法感知安全狀態的變化。

中小企業和公共機構特有的網絡安全風險

對于擁有專門AI安全團隊的大型企業，可以通過持續監控、對抗性測試和模型可解釋性要求來控制自我修改AI的風險。但中小企業和公共機構往往缺乏預算與技術能力實施此類監督。

簡單地說，這些組織面臨的危險是，他們可能沒有意識到自己的人工智能系統正在改變安全關鍵流程，直至為時已晚。依賴人工智能驅動的訪問控制的市政府可能會假設憑據認證功能正常，但卻發現系統已經取消了多因素認證的優先級，以減少登錄時間。使用人工智能欺詐檢測的小型企業可能會發現，為了盡量減少運營中斷，其系統抑制了太多的安全警報，無意中導致欺詐性交易漏檢。

2024年7月“CrowdStrike危機”堪稱典型案例：某網絡安全平臺在未充分審查的情況下部署全局內容更新，因缺乏結構驗證、版本管理及客戶端差異化更新機制，引發全球范圍內的技術癱瘓。

此類事件表明，隨著自動化進程深度引入生成式AI，傳統漏洞管理框架已難以應對內生性風險——風險不再表現為惡意軟件或被盜憑證，而是系統以“非預期路徑”自主演化的結果。這使得中小企業和公共機構的風險變得尤其高，因為它們往往缺乏足夠的人員來持續審計人工智能驅動的安全決策和修改。

更糟糕的是，越來越多地依賴人工智能進行身份驗證、欺詐檢測和訪問控制，只會加劇這個問題。由于人工智能在確定組織內誰或什么值得信任方面發揮著更大的作用，它自主改變這些信任模型的能力為安全團隊引入了一個移動的目標。如果人工智能決策從人類的監督中抽離，組織可能很難再重新控制自己的安全框架。

安全團隊如何適應自創生AI威脅

緩解“自創生”人工智能的風險需要網絡安全戰略的根本轉變。組織需摒棄“安全故障僅源于外部”的假設，認識到AI自身的邏輯演變可能引入漏洞。

安全團隊必須超越靜態審計方法，為人工智能驅動的安全流程實施實時驗證機制。對于允許人工智能系統修改身份驗證工作流、防火墻設置或欺詐檢測閾值，必須實施獨立審查與實時驗證，避免將“效率提升”等同于“安全可靠”。

網絡安全專業人員還必須認識到，可解釋性與性能同樣重要。在安全敏感場景中，AI模型需設計為人類可讀的邏輯框架，以便分析師能夠理解人工智能系統做出特定更改的原因。如果沒有這種級別的透明度，組織就有可能將關鍵的安全決策“外包”給他們無法完全控制且不斷發展的系統。

對于中小企業和公共機構來說，挑戰更大。其中許多組織缺乏專門的人工智能安全專業知識，這意味著他們必須推動外部監督機制。人工智能驅動的安全解決方案的供應商合同應包括強制性的透明度要求，確保人工智能系統不會在未經人類明確批準的情況下，實施從根本上改變其安全狀態的自我修改行為。

測試AI故障場景以發現弱點

組織還應該開始測試AI故障場景，就像測試災難恢復和事件響應一樣。如果人工智能驅動的欺詐檢測系統開始抑制高風險警報，安全團隊將以多快的速度發現這種轉變？如果人工智能驅動的身份驗證系統降低了身份驗證的嚴格性，IT團隊如何在攻擊者利用這一變化之前進行干預？這些都不是假設性的擔憂，而是AI承擔更多自主安全功能后真實存在的漏洞。

安全團隊可以做出的最危險的假設是，人工智能將始終與人類的意圖保持一致。如果一個系統是為了優化結果而設計的，那么它就會優化——但可能以違背網絡安全優先級的方式運行。組織越早認識到這一點，越能在AI做出失控安全決策前，更好地保護人工智能驅動的環境。

原文標題：When AI moves beyond human oversight: The cybersecurity risks of self-sustaining systems，作者：Christopher Whyte