在Black Hat USA 2024，一位研究人員披露了微軟AI助手Copilot存在的多個安全隱患，攻擊者能夠借此漏洞竊取敏感數據和企業憑證。

微軟聲稱，通過將任務委派給AI助手Copilot，每天可以節省數百小時的工作時間。Copilot是微軟在2023年2月推出的AI驅動助手，它允許企業構建和訓練自己的AI助手，使得微軟應用程序中的任務自動化。Copilot基于大型語言模型，能夠接受文本、圖像和語音輸入，并在新的Windows 11 PC和Copilot PC上運行。

然而，使用AI技術始終伴隨著風險。隨著關于大型科技公司如何處理用戶數據的討論愈發激烈，微軟堅稱Copilot提供企業級安全保護，確保用戶數據不會被用于AI模型的訓練。

盡管微軟做出了這樣的承諾，但網絡安全研究員Micahel Bargury卻在Black Hat USA 2024上展示了Copilot Studio的機器人如何輕松地繞過現有防護措施，竊取企業敏感數據。

泄露不僅可能，而且很可能

根據研究人員的說法，不安全的默認設置、過度寬松的插件和過于樂觀的設計思維，使得數據泄露變得“很可能”。因為用戶創建的大多數 Copilot Studio 機器人都不安全，很容易在網絡上被發現，所以必須將它們作為應用程序安全計劃的一部分，以確保敏感數據不會泄露。

而且，Copilot 的界面和系統并不能防止錯誤和惡意攻擊。

為此，Bargury創建了一個名為CopilotHunter的工具，它可以掃描公開可訪問的Copilot，并利用模糊測試和生成性AI技術來濫用它們，以提取敏感的企業數據。研究結果顯示，針對數千個可訪問的機器人進行攻擊，揭示了惡意行為者可能利用的敏感數據和企業憑證。

Bargury表示，攻擊者可以遠程控制你與Copilot的交互，使Copilot代表你執行任何操作，操縱你并誤導你的決策，甚至完全控制Copilot向你發送的每一個字。

利用微軟Copilot的方法

研究人員指出，創建Copilot的初始步驟就存在安全隱患。用戶在創建自己的Copilot時，需要選擇一個“知識”來源來訓練AI模型。

這些來源可能包括公共網站、上傳的文件、SharePoint、OneDrive或云數據庫Dataverse。Bargury警告說，即使是在這個階段，也存在潛在的安全風險，例如上傳的文件可能包含隱藏的元數據，或者敏感數據可能被不當共享。

此外，使用SharePoint、OneDrive或Dataverse作為輸入源也可能引發數據過度共享的問題。盡管數據存儲在公司的云環境中，但用戶授權Copilot訪問所有子頁面，這可能導致數據泄露。

Bargury還提到，Copilot的“主題”功能也可能成為安全問題。主題定義了如何與AI進行對話，一個主題包含一組觸發短語，即用戶在討論特定問題時可能會使用的短語、關鍵詞和問題，觸發短語有助于Copilot對問題做出恰當的反應。

除了16個預設的主題外，用戶還可以創建自己的主題來定制Copilot，但名稱相似的主題可能會影響執行路徑。

關于硬編碼憑證

某些連接和流程可能包含硬編碼憑證。硬編碼意味著將用戶名、密碼、API密鑰或其他敏感信息等驗證數據直接嵌入到軟件或應用程序的源代碼中。

雖然這是一種不安全的網絡安全做法，但這種情況仍然可能發生。如果這些憑證被輸入到AI模型中，情況可能會變得更加棘手。AI模型可能會分析這些資源并“學會”憑證，在Copilot的回答中提供硬編碼的憑證。

另一個潛在的薄弱點是通道和身份驗證。目前，Copilot的默認身份驗證設置為“Teams”。然而，"無身份驗證 "選項在界面中只需點擊一下即可完成，這很容易誘使用戶疏忽。

Bargury強調，賦予AI數據訪問權限可以使其變得有用，但同時也使其變得脆弱。每個組織都需要進行風險評估找出問題所在，確保安全團隊密切監控這些AI助手的交互。特別是在使用Copilot Studio構建自定義助手時，不應僅僅依賴開發人員或公民開發者的決定，而應與安全團隊共同作出決策。

參考來源：https://cybernews.com/security/black-hat-microsoft-copilot-data-leak/