成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

微軟詳解防御間接提示注入攻擊的技術方案

安全
這套綜合方案從根本上解決了間接提示注入這一由現代LLM概率特性和語言靈活性引發的固有風險,使微軟在AI安全創新領域保持領先地位。

微軟近日公布了一套縱深防御策略,旨在應對企業環境中大型語言模型(LLM)面臨的最嚴峻安全威脅——間接提示注入攻擊。該公司的多層次防護方案結合了預防技術、檢測工具和影響緩解策略,可有效防范攻擊者在LLM處理的外部數據源中嵌入惡意指令的行為。

核心要點:

  • 微軟采用先進工具與嚴格管控措施防范AI提示注入
  • 用戶授權機制與強數據策略協同防止數據泄露
  • 持續研究確保微軟保持AI安全領域領先地位

多層次預防與檢測框架

微軟的防御策略圍繞三大核心保護機制展開。該公司不僅實施了強化的系統提示方案,還開發了名為"聚光"(Spotlighting)的創新技術,幫助LLM區分合法用戶指令與潛在惡意的外部內容。

"聚光"技術包含三種運行模式:定界模式(使用隨機文本分隔符如<< {{文本}} >>)、數據標記模式(在詞語間插入?等特殊字符)以及編碼模式(采用base64或ROT13等算法轉換不可信文本)。

在檢測能力方面,微軟部署了基于概率分類器的"提示防護盾"(Microsoft Prompt Shields)系統,可識別多語言外部內容中的提示注入攻擊。該檢測工具與Microsoft Defender for Cloud無縫集成,作為AI工作負載威脅防護的一部分,使安全團隊能夠通過Defender XDR門戶監控和關聯AI相關安全事件。該系統為企業提供了針對基礎設施中LLM應用潛在攻擊的全方位可視化能力。

微軟的研究計劃包括開發名為TaskTracker的新型檢測技術,該技術通過分析推理過程中的LLM內部狀態(激活值)而非檢查文本輸入輸出來實現檢測。公司還舉辦了首個公開自適應提示注入挑戰賽LLMail-Inject,吸引了800多名參與者,并生成了超過37萬條提示的數據集供后續研究使用。

影響緩解措施

為降低潛在安全影響,微軟針對已知數據外泄方法(包括HTML圖片注入和惡意鏈接生成)實施了確定性攔截機制。公司通過Microsoft 365 Copilot與敏感度標簽、Microsoft Purview數據丟失防護策略的集成,實現了細粒度數據治理控制。此外,"人在回路"(HitL)模式要求對潛在風險操作獲取用戶明確授權,Outlook Copilot的"使用Copilot起草"功能便采用了該機制。

這套綜合方案從根本上解決了間接提示注入這一由現代LLM概率特性和語言靈活性引發的固有風險,使微軟在AI安全創新領域保持領先地位。

責任編輯:趙寧寧 來源: FreeBuf
相關推薦

2017-05-08 14:33:51

2019-02-22 09:00:00

2014-07-09 15:41:51

2010-09-08 13:10:03

2010-09-30 15:20:01

2015-11-09 15:58:03

2019-04-08 18:23:31

2013-12-13 10:45:26

2017-05-16 10:39:02

2009-07-07 15:57:35

2025-07-30 09:01:21

2012-11-30 15:23:32

2014-09-18 09:42:15

2018-07-12 07:21:34

2016-03-01 11:34:55

2013-05-22 17:43:21

2011-04-06 13:02:31

2013-11-04 09:15:58

2013-05-22 18:06:41

2011-03-31 11:20:18

點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 国产网友自拍 | 日本色综合| 在线观看小视频 | 免费三级黄色片 | 国产精品久久久久永久免费看 | 免费a在线| 中文字幕免费观看 | 久久精品欧美 | 国产精品99久久久久久www | 免费观看av | 国产精品久久久久久久成人午夜 | 久久久成人免费视频 | 久久久综合 | 一区二区三区四区精品 | 亚洲国产成人在线 | 又黄又爽的网站 | 黄色片免费观看 | 午夜精品一区二区三区在线播放 | 日韩一区二区在线观看视频 | 精品国产aⅴ麻豆 | 日本美女一级片 | 久久机热这里只有精品 | 中文字幕在线观看一区二区三区 | 人人干人人草 | 久久久久精 | 秋霞一区二区三区 | 午夜影院在线观看视频 | 精品黄色 | 成人免费看 | 日本在线一区二区三区 | 黄色国产精品 | 国产精品视频专区 | 国产精品久久久国产盗摄 | 香蕉视频一区二区三区 | 中文字幕观看 | 韩日在线视频 | 四虎影院www| 成人三级在线观看 | 五月婷婷色综合 | 日韩一区中文字幕 | av在线资源网 |