成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

深度研究 | 解構(gòu)國內(nèi)外代表性Agentic AI系統(tǒng)風(fēng)險模型

人工智能
在AI賦能萬物的新時代,唯有全面把握風(fēng)險本質(zhì),才能構(gòu)建起堅實(shí)的安全防線,讓智能科技在可控、可信的環(huán)境中健康發(fā)展。

Agentic AI正在走向現(xiàn)實(shí)應(yīng)用。這些擁有自主決策能力的AI系統(tǒng)也帶來了全新的安全挑戰(zhàn)。與傳統(tǒng)網(wǎng)絡(luò)安全風(fēng)險不同,Agentic AI系統(tǒng)面臨著更為復(fù)雜、多維度的威脅態(tài)勢,需要我們以創(chuàng)新的視角重新審視安全防護(hù)體系。傳統(tǒng)的針對信息系統(tǒng)、網(wǎng)絡(luò)系統(tǒng)的風(fēng)險評估模型,在面向大模型和Agentic AI系統(tǒng)的風(fēng)險識別時,呈現(xiàn)出明顯不足,特別是在模型自身的生成內(nèi)容風(fēng)險和對抗性風(fēng)險方面。行業(yè)對數(shù)字風(fēng)險研究,也隨著AI的發(fā)展從早期的信息系統(tǒng)安全、網(wǎng)絡(luò)系統(tǒng)安全逐漸向Agentic AI系統(tǒng)安全演進(jìn)。本文將帶您深入探索國內(nèi)外代表性的Agentic AI系統(tǒng)風(fēng)險模型,從傳統(tǒng)網(wǎng)絡(luò)安全威脅框架出發(fā),剖析Gartner、OWASP、CSA等國際權(quán)威機(jī)構(gòu),以及TC260、騰訊等國內(nèi)領(lǐng)先組織對AI安全風(fēng)險的前沿研究,以及安全牛獨(dú)創(chuàng)的"洋蔥風(fēng)險模型"。

在AI賦能萬物的新時代,唯有全面把握風(fēng)險本質(zhì),才能構(gòu)建起堅實(shí)的安全防線,讓智能科技在可控、可信的環(huán)境中健康發(fā)展。

圖片圖片

傳統(tǒng)網(wǎng)絡(luò)安全威脅模型

傳統(tǒng)網(wǎng)絡(luò)安全風(fēng)險源自資產(chǎn)、威脅、脆弱性多個方面。“未知攻,焉知防”。為提高攻擊行為的可視性,安全研究組織從風(fēng)險識別、分析、評估和管理等多個維度對網(wǎng)絡(luò)風(fēng)險開展了研究,積累了很多有代表性的風(fēng)險模型。目前常見及被廣泛認(rèn)可的模型有:STRIDE(威脅建模模型)、ATT&CK(殺傷鏈模型)、CVSS(漏洞評估模型)、PASTA(攻擊模擬和威脅分析模型)、OCTAVE(關(guān)鍵威脅、資產(chǎn)和漏洞評估操作)、NIST《SP800-37風(fēng)險管理框架》等。 

圖片圖片

常見網(wǎng)絡(luò)安全風(fēng)險模型說明如下:

STRIDE(威脅建模模型)。該模型是微軟提出的以威脅為中心的一種威脅建模方法,用于識別和評估軟件系統(tǒng)的安全性。該模型將威脅分為假冒、篡改、抵賴、信息泄露、拒絕服務(wù)、權(quán)限提升六類,為威脅建模提供了系統(tǒng)的框架。隨著隱私風(fēng)險日益凸顯,在傳統(tǒng) STRIDE 模型中加入了隱私威脅(Privacy),逐漸擴(kuò)展為 ASTRIDE 模型,使其能更全面地應(yīng)對現(xiàn)代系統(tǒng)中的各種安全威脅。

ATT&CK(攻擊鏈知識庫)。該模型是美國非營利性組織MITRE基于網(wǎng)絡(luò)殺傷鏈模型Cyber Kill Chain描述攻擊者在網(wǎng)絡(luò)攻擊過程中使用的戰(zhàn)術(shù)、技術(shù)和過程的知識框架。最初是基于對高級持續(xù)性威脅(APT)組織的研究而開發(fā)的,逐漸在網(wǎng)絡(luò)安全領(lǐng)域被廣泛使用。目前該模型已更新到V13版本,涉及14個戰(zhàn)術(shù),191種技術(shù)和386個子技術(shù)。

CVSS(通用漏洞評分系統(tǒng))。該模型是用于評估計算機(jī)系統(tǒng)漏洞嚴(yán)重程度的開放標(biāo)準(zhǔn),由美國國家漏洞數(shù)據(jù)庫(NVD)等組織開發(fā)和維護(hù)。自2005年發(fā)布以來,已經(jīng)經(jīng)歷了多個版本的更新,目前最新版本是 CVSS 3.1。每個版本都在不斷改進(jìn)和完善評分機(jī)制,以更準(zhǔn)確地反映漏洞的實(shí)際危害程度。

PASTA(攻擊模擬和威脅分析)。該模型是IBM提出的一種以風(fēng)險為中心的威脅建模框架,主要用于指導(dǎo)組織進(jìn)行全面的網(wǎng)絡(luò)風(fēng)險評估和管理,通過模擬攻擊過程來識別潛在的威脅和風(fēng)險,幫助組織確定風(fēng)險優(yōu)先級并制定相應(yīng)的緩解策略。

OCTAVE(關(guān)鍵威脅、資產(chǎn)和漏洞評估操作)。該模型美國卡內(nèi)基梅隆大學(xué)(SEI)提出的一種用于識別和評估組織信息安全風(fēng)險評估的方法。它由建立資產(chǎn)威脅概覽、識別基礎(chǔ)設(shè)施漏洞、制定安全戰(zhàn)略和計劃三個階段組成,強(qiáng)調(diào)組織內(nèi)部的人員在風(fēng)險評估中的作用,通過自下而上的方式,讓組織的各個層面參與到風(fēng)險評估過程中,重點(diǎn)關(guān)注組織的關(guān)鍵資產(chǎn)、威脅和漏洞,并制定相應(yīng)的風(fēng)險管理策略。

圖片圖片

代表性Agentic AI系統(tǒng)風(fēng)險模型

隨著AI的發(fā)展,行業(yè)對數(shù)字風(fēng)險研究也從早期的信息系統(tǒng)安全、網(wǎng)絡(luò)系統(tǒng)安全逐漸向Agentic AI系統(tǒng)安全演進(jìn)。Agentic AI系統(tǒng)風(fēng)險開始成為當(dāng)前國內(nèi)外網(wǎng)絡(luò)安全組織爭相研究的熱點(diǎn)。其中:

  • 國外代表性Agentic AI風(fēng)險模型有:Gartner TRiSM、OWASP LLM top10、CSA MAESTRO;
  • 國內(nèi)代表性Agentic AI風(fēng)險模型有:TC260《人工智能安全治理框架》、騰訊AI Sec Matrix。

Gartner的AI TRiSM

AI TRiSM框架是Gartner 于2022年提出的AI信任、風(fēng)險和安全管理框架,旨在通過控制措施和信任機(jī)制,提供應(yīng)對AI使用風(fēng)險和自身安全風(fēng)險的管理措施,幫助企業(yè)確保人工智能模型的治理、可信度、公平性、可靠性、穩(wěn)健性、有效性和數(shù)據(jù)保護(hù)。從2025年Gen AI的技術(shù)成熟度曲線來看,AI TRiSM已經(jīng)攀升到了炒作周期的頂峰,目前正處于備受矚目的關(guān)鍵階段。

圖片來源:Gartner Gartner AI TRiSM框架圖片來源:Gartner Gartner AI TRiSM框架

 CSA的MAESTRO

MAESTRO(Multi-Agent Environment, Security, Threat Risk and Outcome)是云安全聯(lián)盟(CSA)研究員Ken Huang專門針對Agentic AI系統(tǒng)安全挑戰(zhàn)設(shè)計的威脅建模框架。該框架立足于AI特有風(fēng)險因素,包括對抗性機(jī)器學(xué)習(xí)攻擊、訓(xùn)練數(shù)據(jù)投毒和模型提取等,在此基礎(chǔ)上擴(kuò)展了STRIDE、PASTA和LINDDUN等傳統(tǒng)安全分類方法,構(gòu)建了更為全面的威脅識別與風(fēng)險緩解體系。MAESTRO框架與Ken Huang提出的"七層智能體架構(gòu)"緊密結(jié)合,該架構(gòu)將AI系統(tǒng)分為七個功能層,使安全防護(hù)措施能夠精準(zhǔn)對應(yīng)到每個層級的特定風(fēng)險點(diǎn),實(shí)現(xiàn)了從宏觀到微觀的立體化安全防護(hù)策略。

MAESTRO模型基于特定層的威脅建模方法,幫助人們使用特定于某層的威脅來識別Agentic AI的風(fēng)險。各層級及其關(guān)注的風(fēng)險內(nèi)容如表所示:

圖片圖片

 OWASP的LLM應(yīng)用程序風(fēng)險TOP10

OWASP在2023年首次發(fā)布了LLM應(yīng)用程序的十大安全風(fēng)險。2025年,根據(jù)LLM實(shí)際應(yīng)用的最新進(jìn)展,OWASP對LLM的十大風(fēng)險進(jìn)行了更深層次的理解和細(xì)粒度修訂,風(fēng)險范圍覆蓋了脆弱性、插件嵌入、應(yīng)用部署、供應(yīng)鏈等多個方面。變化示意圖如下圖所示。相比2023年的風(fēng)險內(nèi)容,2025年的風(fēng)險變化主要有以下幾點(diǎn):

  •  “提示注入”和“數(shù)據(jù)泄露風(fēng)險”仍位列榜首;
  • “供應(yīng)鏈”和“系統(tǒng)提示泄露”作為兩項新增風(fēng)險引起了高度關(guān)注;
  •  “過度自主性風(fēng)險”被進(jìn)一步擴(kuò)展,考慮了越來越多的自主性風(fēng)險情況;
  • “漏洞”和“訪問控制”風(fēng)險,被進(jìn)一步收斂到了“向量和嵌入的脆弱性”層面。

2023年和2025年LLM TOP10風(fēng)險對比2023年和2025年LLM TOP10風(fēng)險對比

TC260的《人工智能安全治理框架》

國內(nèi)Agentic AI風(fēng)險研究的代表性研究成果是TC260的《人工智能安全治理框架》,該框架將Agentic AI風(fēng)險典型的歸為內(nèi)生安全風(fēng)險和應(yīng)用安全風(fēng)險兩類:

AI內(nèi)生安全風(fēng)險具體包括:模型算法安全風(fēng)險、數(shù)據(jù)安全風(fēng)險、系統(tǒng)安全風(fēng)險;

應(yīng)用安全風(fēng)險具體包括:網(wǎng)絡(luò)域安全風(fēng)險、實(shí)現(xiàn)域安全風(fēng)險、認(rèn)知域安全風(fēng)險、倫理域安全風(fēng)險。

TC260的風(fēng)險類型 騰訊的AI Sec MatrixTC260的風(fēng)險類型 騰訊的AI Sec Matrix

參考ATT&CK范式,騰訊AI安全實(shí)驗室提出了“AI安全威脅風(fēng)險矩陣”。該矩陣聚焦人工智能風(fēng)險,涵蓋AI模型生產(chǎn)、運(yùn)行環(huán)境下全生命周期過程中的安全風(fēng)險。該模型旨在向AI開發(fā)和維護(hù)人員提供有關(guān)AI系統(tǒng)安全問題的更好指南,以避免惡意控制、影響、欺詐、錯誤和隱私泄露所造成的嚴(yán)重后果。

圖片來源:騰訊AI安全實(shí)驗室 安全牛洋蔥風(fēng)險模型圖片來源:騰訊AI安全實(shí)驗室 安全牛洋蔥風(fēng)險模型

 Agentic AI系統(tǒng)在應(yīng)用中不僅面臨AI固有的特性所帶來的安全風(fēng)險,還會與傳統(tǒng)的網(wǎng)絡(luò)安全和數(shù)據(jù)安全風(fēng)險相互疊加。Agentic AI系統(tǒng)安全的根本目標(biāo)是構(gòu)建安全可信的AI系統(tǒng)。

結(jié)合當(dāng)前我國國情,安全牛基于數(shù)字安全與風(fēng)險管理體系及各層級的安全風(fēng)險分析,提出了層層嵌套的風(fēng)險模型,并形象地稱之為Agentic AI“洋蔥風(fēng)險模型”(如下圖所示)。該模型基于Agentic AI系統(tǒng)的生命周期,按風(fēng)險場景將Agentic AI風(fēng)險劃分為:內(nèi)生性風(fēng)險、使用性風(fēng)險、供應(yīng)鏈風(fēng)險、倫理沖突與安全合規(guī)風(fēng)險4層。在風(fēng)險類別上覆蓋了Agentic AI面臨的6種風(fēng)險類型,同時在風(fēng)險管理上覆蓋到Agentic AI系統(tǒng)的全生命周期。

圖片來源:安全牛《Agentic AI安全技術(shù)應(yīng)用指南》報告圖片來源:安全牛《Agentic AI安全技術(shù)應(yīng)用指南》報告

洋蔥風(fēng)險模型以Agentic AI系統(tǒng)為核心,從內(nèi)向外依次是:內(nèi)生性風(fēng)險、使用性風(fēng)險、供應(yīng)鏈風(fēng)險、倫理沖突與安全合規(guī)性風(fēng)險。其中,內(nèi)生性風(fēng)險、使用性風(fēng)險根據(jù)風(fēng)險產(chǎn)生的原因又可以細(xì)分為網(wǎng)絡(luò)風(fēng)險、數(shù)據(jù)風(fēng)險、開發(fā)風(fēng)險和模型算法風(fēng)險。

內(nèi)生性風(fēng)險 

是指由于模型算法、開發(fā)設(shè)計、組件引用等因素而導(dǎo)致的Agentic AI應(yīng)用程序自身的脆弱性和漏洞風(fēng)險。主要風(fēng)險有:模型幻覺、生成內(nèi)容風(fēng)險、過度自主性風(fēng)險、提示泄露風(fēng)險、API安全缺失、脆弱性風(fēng)險、設(shè)計缺陷等。在風(fēng)險管理體系中,內(nèi)生性風(fēng)險對應(yīng)開發(fā)過程,安全措施主要體現(xiàn)為:開發(fā)安全、應(yīng)用加固、模型增強(qiáng)。

使用性風(fēng)險 

是指系統(tǒng)使用過程中外部因素導(dǎo)致的網(wǎng)絡(luò)風(fēng)險和數(shù)據(jù)風(fēng)險。主要風(fēng)險有:DDoS攻擊、越權(quán)訪問、對抗攻擊、提示注入、數(shù)據(jù)泄露風(fēng)險、個人隱私風(fēng)險、API調(diào)用風(fēng)險等。在風(fēng)險管理體系中,使用風(fēng)險對應(yīng)縱深防護(hù),安全措施主要體現(xiàn)為:網(wǎng)絡(luò)安全防護(hù)、數(shù)據(jù)安全防護(hù)、內(nèi)容安全防護(hù)等。

供應(yīng)鏈風(fēng)險 

是指在系統(tǒng)整個生命周期中,由于應(yīng)用程序集成、流轉(zhuǎn)、部署、訓(xùn)練而從組織外部(第三方)引入的軟、硬件資源導(dǎo)致的風(fēng)險。主要風(fēng)險有:軟件供應(yīng)鏈攻擊、開源組件風(fēng)險、訓(xùn)練數(shù)據(jù)投毒風(fēng)險、基礎(chǔ)設(shè)施風(fēng)險等。在風(fēng)險管理體系中,供應(yīng)鏈風(fēng)險對應(yīng)生態(tài)管理,包括:軟件供應(yīng)鏈管理、數(shù)據(jù)供應(yīng)管理、基礎(chǔ)設(shè)施管理等。

倫理沖突和安全合規(guī)風(fēng)險 

是指由于系統(tǒng)自身健全性、安全防護(hù)、風(fēng)險管控等基礎(chǔ)安全措施不足而導(dǎo)致系統(tǒng)使用過程中未遵循相關(guān)的法律法規(guī)、行業(yè)標(biāo)準(zhǔn),從而產(chǎn)生相應(yīng)的法律沖突和合規(guī)風(fēng)險問題。主要風(fēng)險有:倫理道德與偏見、決策責(zé)任風(fēng)險、網(wǎng)絡(luò)安全合規(guī)風(fēng)險、數(shù)據(jù)安全合規(guī)風(fēng)險、法律責(zé)任風(fēng)險等。

責(zé)任編輯:武曉燕 來源: 安全牛
相關(guān)推薦

2025-04-30 00:00:00

AgenticAI系統(tǒng)

2013-07-29 10:45:51

BaaS后端即服務(wù)云存儲

2009-06-15 09:11:12

Java論壇Java

2018-03-21 15:21:52

互聯(lián)網(wǎng)研究平臺

2023-08-28 13:37:00

前端技術(shù)前端技術(shù)大會

2012-04-17 16:41:53

蘋果

2012-09-07 09:43:23

云計算

2020-05-03 12:42:23

數(shù)據(jù)泄露漏洞信息安全

2009-01-06 11:10:44

2018-06-27 14:07:35

2010-09-25 08:51:00

SNS網(wǎng)站Facebook人人網(wǎng)

2013-07-27 17:23:49

2022-01-06 10:50:58

網(wǎng)絡(luò)安全信息安全技術(shù)

2009-11-20 09:37:57

2011-08-23 14:46:59

云計算

2013-12-11 10:54:35

硬件創(chuàng)業(yè)創(chuàng)業(yè)環(huán)境創(chuàng)業(yè)

2017-02-21 12:00:20

光通信格局市場

2015-10-14 09:39:22

物聯(lián)網(wǎng)云巨頭
點(diǎn)贊
收藏

51CTO技術(shù)棧公眾號

主站蜘蛛池模板: 久久久久91 | 午夜日韩视频 | 老司机午夜性大片 | 久久午夜精品 | 亚洲激情在线观看 | 综合国产在线 | 日日精品 | 色综合天天天天做夜夜夜夜做 | 日韩高清成人 | 久久久国产精品入口麻豆 | 日韩一区二区在线视频 | 久久久久无码国产精品一区 | 超碰在线亚洲 | 久久黄色网 | 我想看一级黄色毛片 | 毛片一级片 | 九九爱这里只有精品 | 日本久久综合 | 欧美成人一区二区三区 | 国产亚洲欧美在线 | 久热9| 91成人午夜性a一级毛片 | 一区二区影视 | 国产亚洲成av人在线观看导航 | 91在线精品视频 | 亚洲一区二区精品视频在线观看 | 亚洲区视频 | 精品国产成人 | 精品国产精品一区二区夜夜嗨 | 国产成人精品一区二区三 | 人人九九精 | 国产东北一级毛片 | 亚洲国产精品久久 | 国产精品高潮呻吟久久 | 国产一区不卡 | 免费不卡视频 | 伊人色综合久久久天天蜜桃 | 欧美精品久久久久 | 免费的av网站 | 午夜影院| 99re在线视频|