近日，云安全提供商 Wiz 發現上傳到 Hugging Face 的生成式 AI 模型存在兩個關鍵的架構缺陷。

在最新發表的一篇博文中，Wiz Research 描述了這兩個缺陷及其可能給 AI 即服務提供商帶來的風險。

• 共享推理基礎設施接管風險
• 共享持續集成和持續部署（CI/CD）接管風險

共享推理基礎設施接管風險

在分析上傳到 Hugging Face 上的幾個 AI 模型時，Wiz 的研究人員發現其中一些模型在共享推理基礎設施。

在生成式 AI 中，推理指的是根據先前訓練的模型和輸入數據進行預測或決策的模型。

推理基礎設施允許執行 AI 模型，可以是 "邊緣"（如 Transformers.js）、通過應用編程接口（API）或按照推理即服務（Inference-as-a-Service）模式（如 Hugging Face 的推理端點）。

Wiz 研究人員發現，推理基礎設施經常運行使用 'pickle' 格式的不受信任的、潛在惡意的模型。'pickle' 格式的 AI 模型是使用 Python pickle 模塊保存的訓練模型的序列化壓縮版本，比存儲原始訓練數據更緊湊、占用空間更少。

但是，惡意的 pickle 序列化模型可能包含遠程代碼執行有效載荷，使攻擊者的權限升級并跨租戶訪問其他客戶的模型。

共享持續集成和持續部署（CI/CD）接管風險

持續集成和持續部署（CI/CD）管道是一種自動化軟件開發工作流程，可簡化應用程序的構建、測試和部署過程。

它實質上是將原本需要手動完成的步驟自動化，從而加快發布速度并減少錯誤。

Wiz 研究人員發現，攻擊者可能會試圖接管 CI/CD 管道本身，并發起供應鏈攻擊。

來源：Wiz

AI基礎設施風險的潛在利用方式

在這篇博文中，Wiz 還描述了攻擊者可能利用這兩種風險的一些方法，包括：

• 利用輸入使模型產生錯誤預測（例如，adversarial.js）
• 使用產生正確預測結果的輸入，但這些預測結果卻在應用程序中被不安全地使用（例如，產生會導致數據庫 SQL 注入的預測結果）
• 使用特制的、pickle 序列化的惡意模型執行未經授權的活動，如遠程代碼執行 (RCE)

Wiz 研究人員還通過利用 Hugging Face 上的已命名基礎設施漏洞展示了對云中使用的生成式AI模型的攻擊。

來源：Wiz

Wiz 研究人員發現，Hugging Face 平臺上的生成式 AI 模型在收到惡意預設關鍵詞（后門）時會執行命令。

缺乏檢查 AI 模型完整性的工具

Wiz 解釋稱，目前只有極少數工具可用于檢查特定模型的完整性，并驗證其確實沒有惡意行為。不過，Hugging Face 提供的 Pickle Scanning 可以幫助驗證 AI 模型。

另外，開發人員和工程師在下載模型時必須非常謹慎。使用不受信任的 AI 模型可能會給應用程序帶來完整性和安全風險，相當于應用程序中包含不受信任的代碼。

Wiz 研究人員強調，這些風險并非 Hugging Face 所獨有，它們代表了許多 AI 即服務公司將面臨的租戶分離挑戰?？紤]到這些公司運行客戶代碼和處理大量數據的模式，它們的增長速度超過以往任何行業，安全界應該與這些公司密切合作，確保建立安全基礎設施和防護措施，同時不會阻礙公司迅速增長。