隨著人工智能技術的快速發展與安全威脅的持續演變，大規模保護人工智能系統、應用及用戶所面臨的挑戰，不僅要求開發者掌握已有的安全編碼最佳實踐，還需深入理解人工智能特有的隱私與安全風險。

在此背景下，Google發布了AI安全框架SAIF（Secure AI Framework），旨在幫助減輕AI系統特定的風險，如竊取模型、訓練數據的數據污染、通過提示注入注入惡意輸入和提取訓練數據中的機密信息。

本文梳理SAIF的六大核心要素以及SAIF風險地圖框架，為在快速發展的人工智能世界中構建和部署安全人工智能系統提供參考。

一、SAIF的六大核心要素

SAIF基于六大核心安全原則：

1. 筑牢AI生態安全基石

• 繼承互聯網時代的安全防護經驗，將默認安全（Secure-by-default）機制延伸至AI基礎設施
• 建立專業化AI安全團隊，持續跟蹤技術演進并優化防護體系
• 針對新型攻擊模式（如提示注入攻擊）優化防御策略，采用輸入凈化、權限限制等成熟防護手段

2. 構建AI威脅感知體系

• 建立AI系統輸入輸出監控機制，實時檢測異常行為
• 整合威脅情報系統，構建預測性防御能力
• 建立跨部門協同機制，聯動信任安全、威脅情報和反濫用團隊

3. 智能化防御響應體系

• 運用AI技術提升安全事件響應效率與規模
• 構建動態防御能力，通過對抗性訓練提升系統韌性
• 采用成本效益優化的防護策略，應對AI賦能的規模化攻擊

4. 統一平臺安全治理

• 實施跨平臺安全控制框架，確保防護策略一致性
• 將安全防護深度集成至AI開發全流程（如Vertex AI平臺）
• 通過API級防護（如Perspective API）實現規模化安全賦能

5. 動態安全調優機制

• 建立持續學習機制，基于事件反饋優化防護模型
• 實施戰略級防御調優：更新訓練數據集、構建行為異常檢測模型
• 定期開展紅隊演練，完善AI產品安全驗證體系

6. 業務全景風險評估

• 實施端到端風險評估，涵蓋數據溯源、驗證機制等關鍵環節
• 構建自動化檢測體系，持續監控AI系統運行狀態
• 建立業務場景化風險評估模型，實現精準風險管控

二、SAIF風險地圖框架解析

SAIF風險地圖將 AI 開發劃分為數據層、基礎設施層、模型層、應用層四大核心領域，構建了比傳統軟件開發更全面的風險評估框架：

1. 數據治理體系（數據層）

核心差異：AI 開發中數據取代代碼成為核心驅動要素，模型權重（訓練數據編碼的模式）成為新攻擊目標，其安全性直接影響模型行為。

SAIF數據層包含三大要素：

• 數據來源：數據庫、API、網絡爬取等原始數據采集渠道，影響模型能力基線。
• 數據處理：清洗、標注、合成等預處理流程，決定訓練數據質量。
• 訓練數據：最終用于模型訓練的精選數據集，直接塑造模型參數（權重）。

2. 基礎設施架構（基礎設施層）

核心作用：支撐數據與模型全生命周期的硬件、代碼、存儲及平臺安全，需兼顧傳統與 AI 特有的風險。

SAIF基礎設施層風險要素包括：

• 模型框架與代碼：定義模型架構（如層數、算法）的基礎代碼，需防范篡改導致的模型行為異常。
• 訓練調優評估：通過調整概率參數（訓練 / 調優）和新數據測試（評估）優化模型，預訓練模型微調是常見實踐。
• 數據模型存儲：涵蓋訓練過程臨時存儲、模型庫發布存儲，遠程 API 調用場景需關注存儲安全復用問題。
• 模型服務：生產環境部署系統，直接影響模型對外提供推理服務的安全性（如 API 調用風險）。

3. 模型治理體系（模型層）

核心功能：通過訓練數據提取的統計模式生成輸出（推理），需強化輸入輸出控制。

SAIF模型層包含：

• 模型本體：代碼與權重的結合體，AI 開發的核心產物，依賴數據與基礎設施組件構建。
• 輸入處理：過濾惡意輸入（如提示注入攻擊），是防范外部風險的第一道防線。
• 輸出處理：管控有害或意外輸出，需持續優化過濾機制（當前重點研發領域）。 

4. 應用交互體系（應用層）

核心風險：用戶交互模式變革引入新攻擊面（如自然語言 prompt 直接影響 LLM 推理），代理工具調用增加傳遞性風險。

SAIF應用層風險要素包含：

• 應用層：直接面向用戶（如客服機器人）或內部服務的功能載體，具備工具執行能力時稱為 “代理”。
• 代理 / 插件：調用外部服務完成特定任務的模塊，每次調用可能引入鏈式風險（如第三方數據接口漏洞）。

三、SAIF地圖風險詳解及緩解措施

1. DP 數據投毒

• 核心風險：通過篡改訓練數據（刪除、修改或注入對抗數據）降低模型性能、扭曲結果或植入后門，類似惡意修改應用邏輯。
• 攻擊場景：訓練 / 調優階段、數據存儲期或采集前（如污染公共數據源、內部人員投毒）。
• 緩解措施：數據凈化、訪問控制、完整性管理。

2. UTD 未經授權數據訓練

• 核心風險：使用未授權數據訓練（如用戶隱私數據、侵權版權數據），引發法律 / 倫理問題。
• 暴露環節：數據采集、處理或模型評估階段未過濾非法數據。
• 緩解措施：嚴格數據篩選與合規檢查。

3. MST 模型源碼篡改

• 核心風險：通過供應鏈攻擊或內部人員篡改模型代碼、依賴項或權重，引入漏洞或異常行為（如架構后門）。
• 攻擊影響：依賴鏈傳遞風險，后門可抵御重新訓練。
• 緩解措施：訪問控制、完整性管理、默認安全工具。

4.EDH 過度數據處理

• 核心風險：超范圍收集、存儲或共享用戶數據，違反政策法規（如用戶交互數據、偏好數據）。
• 暴露問題：數據元數據管理缺失或存儲架構未設計生命周期控制。
• 緩解措施：數據過濾、自動化歸檔 / 刪除、過期數據預警。

5. MXF 模型竊取

• 核心風險：未經授權獲取模型（如竊取代碼或權重），涉及知識產權與安全風險。
• 攻擊場景：云端 / 本地存儲、硬件設備（如物聯網終端）。
• 緩解措施：強化存儲與服務安全，訪問控制。

6. MDT 模型部署篡改

• 核心風險：篡改部署組件（如服務框架漏洞）導致模型行為異常。
• 攻擊類型：修改部署工作流、利用 TorchServe 等工具漏洞遠程代碼執行。
• 緩解措施：默認安全工具加固服務基礎設施。

7. DMS 機器學習拒絕服務

• 核心風險：通過高資源消耗查詢（如 “海綿示例”）導致模型不可用，包括傳統 DoS 和能耗延遲攻擊。
• 攻擊影響：拖垮服務器或耗盡設備電池（如物聯網終端）。
• 緩解措施：應用層速率限制、負載均衡、輸入過濾。

8. MRE 模型逆向工程

• 核心風險：通過輸入輸出分析克隆模型（如高頻 API 調用收集數據），用于仿造或對抗攻擊。
• 技術手段：基于輸入輸出對重建模型，與模型竊取不同。
• 緩解措施：API 速率限制、應用層訪問控制。

9. IIC 不安全集成組件

• 核心風險：插件 / 庫漏洞被利用，導致未授權訪問或惡意代碼注入（如操縱輸入輸出引發鏈式攻擊）。
• 攻擊關聯：與提示注入相關，但可通過投毒、規避等多種手段實施。
• 緩解措施：嚴格組件權限控制，輸入輸出驗證。

10. PIJ 提示注入

• 核心風險：利用提示中 “指令 - 數據” 邊界模糊性，注入惡意命令（如越獄攻擊 “忽略此前指令”）。
• 攻擊形式：直接輸入或間接從文檔 / 圖像等載體注入（多模態場景）。
• 緩解措施：輸入輸出過濾、對抗訓練。

11. MEV 模型規避

• 核心風險：輕微擾動輸入（如貼紙遮擋路標）導致模型錯誤推理，影響安全關鍵系統。
• 技術手段：對抗樣本、同形異義詞攻擊、隱寫術編碼。
• 緩解措施：多樣化數據訓練、對抗測試。

12. SDD 敏感數據泄露

• 核心風險：模型輸出泄露訓練數據、用戶對話或提示中的隱私信息（如記憶性數據、日志存儲漏洞）。
• 泄露途徑：用戶查詢日志、訓練數據記憶、插件集成漏洞。
• 緩解措施：輸出過濾、隱私增強技術、數據去標識化。

13. ISD 推斷敏感數據

• 核心風險：模型通過輸入推斷未包含在訓練數據中的敏感信息（如用戶屬性、隱私關聯）。
• 風險差異：與 SDD 不同，非直接泄露訓練數據，而是推斷關聯信息。
• 緩解措施：輸出過濾、訓練階段敏感推斷測試。

14. IMO 不安全模型輸出

• 核心風險：未經驗證的模型輸出包含惡意內容（如釣魚鏈接、惡意代碼）。
• 攻擊場景：意外觸發或主動誘導生成有害輸出。
• 緩解措施：輸出驗證與凈化。

15. RA 惡意操作

• 核心風險：代理工具因輸入擾動或惡意攻擊執行意外操作（如權限過度導致系統受損）。
• 風險類型：任務規劃錯誤（意外）或提示注入誘導（惡意）。
• 緩解措施：最小權限原則、人工審核介入。

SAIF 的設計靈感融入了對 AI 系統特有安全趨勢和風險的深度理解。Google指出建立覆蓋公私部門的統一框架至關重要，這能確保技術開發者與應用者共同守護支撐 AI 發展的底層技術，讓 AI 模型從部署之初即具備“默認安全”能力。

參考來源：https://saif.google/