AI投毒:CISO面臨的信任危機
CISO的角色一直保護企業免受其尚未理解的威脅,AI投毒攻擊要求CISO重新思考風險、架構、關系以及共同責任。
2025年5月,美國國家安全局(NSA)、網絡安全與基礎設施安全局(CISA)和聯邦調查局(FBI)與澳大利亞、新西蘭和英國政府合作,發布了一份聯合公告,確認敵對勢力正通過篡改訓練數據,在各行業中對AI系統進行投毒攻擊,這些模型仍能運行,但不再與現實保持一致。
對于CISO而言,這標志著與云計算采納或勒索軟件興起同樣重大的轉變。安全邊界再次移動,這次是進入了用于訓練算法的大型語言模型(LLM)內部。公告中關于如何應對數據投毒導致的數據腐敗的指南,值得每位CISO關注。
AI投毒改變了企業攻擊面
在傳統安全框架中,目標往往是二元的:拒絕訪問、檢測入侵、恢復功能,但AI的破壞方式并不明顯,它會產生扭曲。被投毒的訓練數據可以重塑系統對金融交易的分類方式、對醫學掃描的解讀或對內容的過濾,而不會觸發警報。即使經過良好校準的模型,如果上游引入了污染信息,也可能學習到微妙的錯誤。
顯著案例包括:
? 基礎模型在吸收了由一個名為“真理網”(Pravda Network)的俄羅斯大型網絡播種的材料后,開始重復克里姆林宮的宣傳言論。
? 兩家美國新聞媒體發布的一份由AI生成的閱讀清單中,包含了10個被誤認為是真實作者所著的虛構書名。
? 研究人員展示了訓練圖像中的微小擾動如何觸發錯誤分類。
? 醫療領域的研究人員證明,在LLM中僅以0.001%的比例進行數據投毒,就能觸發醫療錯誤信息。
重新思考風險:從系統到認識論
網絡安全一直是關于防御系統的,但在以AI為先的環境中,系統并非靜態,這使CISO的角色從傳統的邊界防御轉向了推理防御。敵手不僅僅是侵入網絡;當使用AI時,敵手通過數據投毒來篡改知識本身。
2023年,我提出CISO需要開始將AI系統視為不可預測的隊友,而非工具,我與長期從事隱私和信息安全咨詢的麗貝卡·赫羅爾德(Rebecca Herold)討論了這種新對齊方式所需的內容。她提出了八個基礎性問題,對于每位探究AI系統保真度、推理漂移和機構信任的CISO來說仍然至關重要:
1. 用于訓練AI的數據來源是什么?你能追溯其來源、處理方式以及是經過整理還是抓取的嗎?
2. 你的AI能否以合規團隊理解的方式解釋其決策過程?當監管機構或審計員到來時,可解釋性至關重要。
3. 當你的AI出現幻覺或編造信息時會發生什么?你是否建立了檢測機制和升級協議?
4. 當你的AI犯錯時,誰負責?對于AI驅動的結果是否有明確的責任鏈?
5. 你如何檢測你的AI是否被篡改或投毒?你是否在監控行為漂移、對抗性輸入或訓練集污染?
6. 你的AI隊友是否與企業的倫理框架保持一致?它反映的是你的價值觀還是僅僅是你的數據?
7. 采取了哪些保障措施來防止對抗性操縱?你的團隊是否對模型進行了紅隊測試,以應對提示利用、數據投毒或合成身份注入?
8. 你是否準備好在法庭或公眾輿論中為AI的決策辯護?你能否向監管機構、客戶和媒體解釋并證明結果?
對齊需要架構
網絡安全協作者Airrived的首席執行官阿努拉格·古爾圖(Anurag Gurtu)長期警告說,如果沒有上下文強化,GenAI模型往往會趨向于合理的錯誤。他主張整合基于圖的結構和領域特定規則集,以幫助約束AI推理,這一建議現在變得更加緊迫。
教訓是明確的:當AI在沒有監督的情況下吸收信息,并在沒有可審計性的情況下輸出信息時,現實與響應之間的差距會擴大,這種差距成為了系統完整性、語義保真度和信任的破壞。
共同管理,中央責任
CISO仍然是企業韌性的關鍵人物,他們發現自己正在應對跨越多個領域的AI投毒風險,因此,合作伙伴關系至關重要。首席信任官(如果存在)帶來了將模型行為與機構價值觀和社會責任對齊的視角,首席數據官管理訓練資產的完整性、來源和生命周期,首席隱私官確保在整個AI流程中數據的合法和道德處理。
這些領導者進行協作,但CISO進行整合,最終,是CISO需要向內部和外部受眾解釋一個被破壞的模型是如何做出決策的,以及企業采取了哪些措施來防止這種情況的發生。
每位CISO現在可以采取的六項行動
為了降低風險并重新獲得對模型行為的可見性,安全領導者應采取以下六項與三個要務相一致的行動:可見性、警惕性和可行性。
可見性
1. 映射AI依賴關系:識別每個內部或第三方系統中AI影響重大決策的地方,包括SaaS平臺中的嵌入式AI和影子部署。
2. 建立數據來源協議:要求記錄每個模型構建的訓練輸入、版本控制和數字監管鏈。
警惕性
3. 監控行為漂移:使用已知基準、金絲雀輸入和對抗性探測來檢測隨時間、上下文和用戶群體發生的語義漂移。
4. 對意義而非僅對訪問進行紅隊測試:模擬投毒輸入、基于提示的利用和合成身份交互,以評估模型韌性。
可行性
5. 制定模型失敗應對方案:為涉及幻覺輸出、監管不合規或公眾虛假信息事件的場景做準備,包括升級路徑、回滾程序和公眾溝通協議。
6. 在整個企業中投資AI流利度:安全、法律、合規和風險領導者都必須了解如何質疑AI,而不僅僅是信任AI。
供CISO思考的問題
AI系統現在是企業決策的共同作者,它們預測信用風險、標記健康異常、篩選申請人并分類威脅,但當這些系統在投毒數據上訓練時,危害并非始于其部署,而是始于其形成過程。
CISO的角色一直是保護企業免受其尚未理解的威脅,AI投毒正是這種威脅。
一旦算法破壞了信任,就無法通過補丁來恢復,它必須被重建,且必須是故意和透明的,并在CISO的監督下進行。