成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

AI投毒:CISO面臨的信任危機

安全
2025年5月,美國國家安全局等機構聯合公告確認敵對勢力正對各行業AI系統發動投毒攻擊,篡改訓練數據使模型運行與現實脫節,這要求CISO重新審視風險、架構、關系與共同責任。

CISO的角色一直保護企業免受其尚未理解的威脅,AI投毒攻擊要求CISO重新思考風險、架構、關系以及共同責任。

2025年5月,美國國家安全局(NSA)、網絡安全與基礎設施安全局(CISA)和聯邦調查局(FBI)與澳大利亞、新西蘭和英國政府合作,發布了一份聯合公告,確認敵對勢力正通過篡改訓練數據,在各行業中對AI系統進行投毒攻擊,這些模型仍能運行,但不再與現實保持一致。

對于CISO而言,這標志著與云計算采納或勒索軟件興起同樣重大的轉變。安全邊界再次移動,這次是進入了用于訓練算法的大型語言模型(LLM)內部。公告中關于如何應對數據投毒導致的數據腐敗的指南,值得每位CISO關注。

AI投毒改變了企業攻擊面

在傳統安全框架中,目標往往是二元的:拒絕訪問、檢測入侵、恢復功能,但AI的破壞方式并不明顯,它會產生扭曲。被投毒的訓練數據可以重塑系統對金融交易的分類方式、對醫學掃描的解讀或對內容的過濾,而不會觸發警報。即使經過良好校準的模型,如果上游引入了污染信息,也可能學習到微妙的錯誤。

顯著案例包括:

? 基礎模型在吸收了由一個名為“真理網”(Pravda Network)的俄羅斯大型網絡播種的材料后,開始重復克里姆林宮的宣傳言論。

? 兩家美國新聞媒體發布的一份由AI生成的閱讀清單中,包含了10個被誤認為是真實作者所著的虛構書名。

? 研究人員展示了訓練圖像中的微小擾動如何觸發錯誤分類。

? 醫療領域的研究人員證明,在LLM中僅以0.001%的比例進行數據投毒,就能觸發醫療錯誤信息。

重新思考風險:從系統到認識論

網絡安全一直是關于防御系統的,但在以AI為先的環境中,系統并非靜態,這使CISO的角色從傳統的邊界防御轉向了推理防御。敵手不僅僅是侵入網絡;當使用AI時,敵手通過數據投毒來篡改知識本身。

2023年,我提出CISO需要開始將AI系統視為不可預測的隊友,而非工具,我與長期從事隱私和信息安全咨詢的麗貝卡·赫羅爾德(Rebecca Herold)討論了這種新對齊方式所需的內容。她提出了八個基礎性問題,對于每位探究AI系統保真度、推理漂移和機構信任的CISO來說仍然至關重要:

1. 用于訓練AI的數據來源是什么?你能追溯其來源、處理方式以及是經過整理還是抓取的嗎?

2. 你的AI能否以合規團隊理解的方式解釋其決策過程?當監管機構或審計員到來時,可解釋性至關重要。

3. 當你的AI出現幻覺或編造信息時會發生什么?你是否建立了檢測機制和升級協議?

4. 當你的AI犯錯時,誰負責?對于AI驅動的結果是否有明確的責任鏈?

5. 你如何檢測你的AI是否被篡改或投毒?你是否在監控行為漂移、對抗性輸入或訓練集污染?

6. 你的AI隊友是否與企業的倫理框架保持一致?它反映的是你的價值觀還是僅僅是你的數據?

7. 采取了哪些保障措施來防止對抗性操縱?你的團隊是否對模型進行了紅隊測試,以應對提示利用、數據投毒或合成身份注入?

8. 你是否準備好在法庭或公眾輿論中為AI的決策辯護?你能否向監管機構、客戶和媒體解釋并證明結果?

對齊需要架構

網絡安全協作者Airrived的首席執行官阿努拉格·古爾圖(Anurag Gurtu)長期警告說,如果沒有上下文強化,GenAI模型往往會趨向于合理的錯誤。他主張整合基于圖的結構和領域特定規則集,以幫助約束AI推理,這一建議現在變得更加緊迫。

教訓是明確的:當AI在沒有監督的情況下吸收信息,并在沒有可審計性的情況下輸出信息時,現實與響應之間的差距會擴大,這種差距成為了系統完整性、語義保真度和信任的破壞。

共同管理,中央責任

CISO仍然是企業韌性的關鍵人物,他們發現自己正在應對跨越多個領域的AI投毒風險,因此,合作伙伴關系至關重要。首席信任官(如果存在)帶來了將模型行為與機構價值觀和社會責任對齊的視角,首席數據官管理訓練資產的完整性、來源和生命周期,首席隱私官確保在整個AI流程中數據的合法和道德處理。

這些領導者進行協作,但CISO進行整合,最終,是CISO需要向內部和外部受眾解釋一個被破壞的模型是如何做出決策的,以及企業采取了哪些措施來防止這種情況的發生。

每位CISO現在可以采取的六項行動

為了降低風險并重新獲得對模型行為的可見性,安全領導者應采取以下六項與三個要務相一致的行動:可見性、警惕性和可行性。

可見性

1. 映射AI依賴關系:識別每個內部或第三方系統中AI影響重大決策的地方,包括SaaS平臺中的嵌入式AI和影子部署。

2. 建立數據來源協議:要求記錄每個模型構建的訓練輸入、版本控制和數字監管鏈。

警惕性

3. 監控行為漂移:使用已知基準、金絲雀輸入和對抗性探測來檢測隨時間、上下文和用戶群體發生的語義漂移。

4. 對意義而非僅對訪問進行紅隊測試:模擬投毒輸入、基于提示的利用和合成身份交互,以評估模型韌性。

可行性

5. 制定模型失敗應對方案:為涉及幻覺輸出、監管不合規或公眾虛假信息事件的場景做準備,包括升級路徑、回滾程序和公眾溝通協議。

6. 在整個企業中投資AI流利度:安全、法律、合規和風險領導者都必須了解如何質疑AI,而不僅僅是信任AI。

供CISO思考的問題

AI系統現在是企業決策的共同作者,它們預測信用風險、標記健康異常、篩選申請人并分類威脅,但當這些系統在投毒數據上訓練時,危害并非始于其部署,而是始于其形成過程。

CISO的角色一直是保護企業免受其尚未理解的威脅,AI投毒正是這種威脅。

一旦算法破壞了信任,就無法通過補丁來恢復,它必須被重建,且必須是故意和透明的,并在CISO的監督下進行。

責任編輯:姜華 來源: 企業網D1Net
相關推薦

2025-02-17 11:13:40

2021-09-10 15:28:43

零信任云計算防御

2017-09-01 09:48:44

云計算信任信息

2021-09-15 17:58:24

零信任網絡安全網絡攻擊

2021-07-31 23:03:29

人工智能數據技術

2009-12-30 13:39:10

2024-04-25 07:00:00

2024-10-22 15:35:20

2014-11-18 16:05:08

2013-07-26 15:21:31

2018-01-19 11:16:33

2011-07-04 09:16:46

CIOCFOIT服務

2011-06-29 10:42:19

首席信息官IT部門信任

2015-09-02 17:23:14

云計算數據安全云安全

2009-08-19 21:44:48

2011-10-08 15:51:56

甲骨文SPARC

2023-10-27 11:04:57

2023-04-26 10:14:37

AI聊天機器人

2009-03-09 13:22:23

2011-05-04 17:21:03

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 一级黄色片在线观看 | www.中文字幕.com| 中文字幕日韩在线观看 | 男女啪啪网站 | 欧美在线一级 | 国产欧美精品 | 亚洲午夜激情 | 亚洲国产中文字幕 | 一区二区三区在线免费观看 | 成人免费毛片嘿嘿连载视频 | 亚洲精品成a人在线观看 | 嫩草嫩草嫩草嫩草 | 精品aaa| 97福利视频| 日韩在线视频观看 | 日本精品国产 | 男女啪啪免费网站 | 一区二区网站 | av中文网| 狠狠干狠狠操 | 一区二区三区影视 | 成人免费精品 | 中文字幕av网站 | 中文字幕在线观看一区二区 | 久久久久精 | 日韩欧美小视频 | av在线播放观看 | 久久伊人精品 | 黄色三级视频网站 | 日本国产精品 | 久久黄色免费视频 | 欧美成人黄色 | 18视频在线观看男男 | a级片免费观看 | 国产小视频网站 | 成人毛片在线 | 日本免费一级片 | 亚洲第一av网站 | 国产黄色免费网站 | 亚洲一级片 | 亚洲欧美中文字幕 |