危險的速度競賽

人工智能(AI)和大語言模型(LLM)正在重塑各行各業(yè)，提高效率，并開啟新的商業(yè)機(jī)會，AI的快速采用也帶來了重大的安全、合規(guī)和治理挑戰(zhàn)。然而，大多數(shù)組織在加速AI部署的過程時，更傾向于期待顛覆性創(chuàng)新，而非采用可靠的安全實踐。

Lakera 全球 GenAI 安全就緒報告顯示，90%的組織正在積極實施或計劃探索 LLM 使用案例；但是5%對他們的 AI 安全準(zhǔn)備工作充滿信心；22%的組織正在進(jìn)行特定于 AI 的威脅建模。

世界經(jīng)濟(jì)論壇與埃森哲合作進(jìn)行的一項研究結(jié)果顯示，63%的企業(yè)在部署前未能評估AI工具的安全性，從而給企業(yè)帶來了一系列風(fēng)險。

其中既包括現(xiàn)成的AI解決方案，也包括與軟件開發(fā)團(tuán)隊合作創(chuàng)建的內(nèi)部實施方案。根據(jù)Tricentis的《2025年質(zhì)量轉(zhuǎn)型報告》，這些團(tuán)隊壓倒性地專注于提高交付速度(45%)，而非提升軟件質(zhì)量(13%)。而Tricentis的調(diào)查結(jié)果顯示，三分之一(32%)的受訪者承認(rèn)，質(zhì)量低下的軟件可能會導(dǎo)致更頻繁的安全漏洞或合規(guī)失敗。

這些漏洞和失敗確實越來越頻繁。思科5月7日發(fā)布的最新網(wǎng)絡(luò)安全就緒指數(shù)發(fā)現(xiàn)，86%的組織在過去一年中經(jīng)歷過與人工智能相關(guān)的安全事件。不到一半(45%)的組織認(rèn)為他們擁有進(jìn)行全面人工智能安全評估的內(nèi)部資源和專業(yè)知識。

可見，組織必須平衡AI創(chuàng)新與風(fēng)險管理，確保監(jiān)管一致性、客戶信任和董事會層面的監(jiān)督。缺乏系統(tǒng)化的安全策略，企業(yè)可能會面臨敏感數(shù)據(jù)暴露、遭受對抗性操縱以及利益相關(guān)者信心削弱的風(fēng)險。

AI安全不再僅僅是一個運(yùn)營問題；它是一項戰(zhàn)略性要務(wù)，直接影響企業(yè)風(fēng)險、監(jiān)管暴露和長期業(yè)務(wù)可行性。

匆忙上馬帶來的8大安全風(fēng)險

網(wǎng)絡(luò)安全專業(yè)媒體CSO在采訪眾多專家后得出結(jié)論，未能在部署前充分測試AI系統(tǒng)會使組織面臨一系列與傳統(tǒng)軟件風(fēng)險顯著不同的漏洞。以下是一些最普遍的風(fēng)險：

1.數(shù)據(jù)暴露

人工智能系統(tǒng)通常處理大量敏感信息，如果沒有經(jīng)過強(qiáng)大的測試，組織可能會忽視這些數(shù)據(jù)通過不安全的存儲、過于寬松的API響應(yīng)或薄弱的訪問控制而輕易泄露的可能性。

"許多人工智能系統(tǒng)在推理過程中提取用戶數(shù)據(jù)或存儲上下文以保持會話持久性。"AI安全測試供應(yīng)商Mindgard首席執(zhí)行官兼聯(lián)合創(chuàng)始人Peter Garraghan表示，"如果不審核數(shù)據(jù)處理，就有很高的風(fēng)險通過模型輸出、日志暴露或濫用微調(diào)數(shù)據(jù)集導(dǎo)致數(shù)據(jù)泄露。LLM（大語言模型）的記憶功能或流式輸出模式會加劇這些風(fēng)險。"

2.模型級漏洞

這類漏洞包括提示注入、越獄和對抗性提示鏈接。如果沒有嚴(yán)格測試，模型可能被操縱以繞過輸出限制、泄露敏感數(shù)據(jù)或執(zhí)行非預(yù)期任務(wù)。

英國蘭卡斯特大學(xué)講師Garraghan解釋說，這些攻擊通常利用模型對齊機(jī)制中的缺陷，或其對基于token之間的統(tǒng)計關(guān)系進(jìn)行預(yù)測和推理的依賴。

舉例來說，攻擊者可能使用特定的提示模式，讓模型"忘記"之前的安全指令，或者利用模型對某些詞語組合的處理方式，誘導(dǎo)它生成本應(yīng)被禁止的內(nèi)容。這些攻擊方法能夠繞過模型的安全保護(hù)機(jī)制，導(dǎo)致模型執(zhí)行不當(dāng)行為。

3.模型完整性和對抗性攻擊

.如果不測試對抗性操縱或受污染的訓(xùn)練數(shù)據(jù)，攻擊者很容易影響人工智能模型的行為，特別是當(dāng)它被用于支持業(yè)務(wù)決策或自動化敏感任務(wù)時，組織可能面臨模型被操縱而做出錯誤決策的風(fēng)險。

全球網(wǎng)絡(luò)咨詢公司CyXcel的首席運(yùn)營官Jano Bermudes表示："攻擊者可以操縱輸入數(shù)據(jù)來欺騙人工智能模型，導(dǎo)致其做出錯誤決策。這包括規(guī)避攻擊和數(shù)據(jù)投毒。"

所謂規(guī)避攻擊，是一種對抗性操縱，攻擊者精心設(shè)計輸入數(shù)據(jù)，使模型產(chǎn)生錯誤的輸出或決策。例如，通過微調(diào)圖像中的像素，使圖像識別系統(tǒng)將停車標(biāo)志誤認(rèn)為限速標(biāo)志。

數(shù)據(jù)投毒是指在模型訓(xùn)練階段，攻擊者向訓(xùn)練數(shù)據(jù)集中注入惡意或有偏見的數(shù)據(jù)，從而使模型學(xué)習(xí)到錯誤的模式或偏見。當(dāng)模型部署后，這些"毒素"會導(dǎo)致模型在特定情況下做出有利于攻擊者的決策。

4.系統(tǒng)集成風(fēng)險

 AI模型通常不是獨立運(yùn)行的，而是作為更大應(yīng)用系統(tǒng)的一個組成部分被集成進(jìn)去。這種集成主要通過API、MCP、A2A、插件和RAG架構(gòu)（檢索增強(qiáng)生成）等方式實現(xiàn)。

Mindgard公司的Garraghan指出，這些集成點的安全測試不足，可能導(dǎo)致模型輸入和輸出的不安全處理、通過序列化數(shù)據(jù)格式的注入路徑以及托管環(huán)境內(nèi)的權(quán)限提升三類主要安全問題，而這些安全風(fēng)險點在傳統(tǒng)應(yīng)用安全工作流程中經(jīng)常被忽視：

模型輸入和輸出的不安全處理：例如，未經(jīng)驗證的用戶輸入可能被直接傳遞給模型，或模型的輸出未經(jīng)過濾就被執(zhí)行，這可能導(dǎo)致注入攻擊或信息泄露。

通過序列化數(shù)據(jù)格式的注入路徑：序列化是將數(shù)據(jù)結(jié)構(gòu)或?qū)ο筠D(zhuǎn)換為可存儲或傳輸格式的過程。攻擊者可能利用這些數(shù)據(jù)格式中的漏洞注入惡意代碼，例如通過JSON、XML或其他數(shù)據(jù)交換格式。

托管環(huán)境內(nèi)的權(quán)限提升：AI模型可能需要訪問各種資源，如果權(quán)限管理不當(dāng)，攻擊者可能利用這些權(quán)限訪問敏感數(shù)據(jù)或執(zhí)行未授權(quán)操作。

因此，僅僅關(guān)注AI模型本身的安全性遠(yuǎn)遠(yuǎn)不夠，還必須考慮模型如何與更廣泛的應(yīng)用環(huán)境集成，以及這些集成點可能引入的安全漏洞。

5.訪問控制失敗

AI工具在與更廣泛的系統(tǒng)（如數(shù)據(jù)庫、云服務(wù)、企業(yè)應(yīng)用等）相連接時，如果配置不當(dāng)，可能導(dǎo)致三類主要安全問題，使濫用行為難以被發(fā)現(xiàn)。：

暴露的API密鑰：如果這些密鑰被硬編碼在代碼中、存儲在不安全的位置或意外公開（如上傳到公共代碼倉庫），攻擊者可能獲取這些密鑰并冒充合法用戶訪問系統(tǒng)。例如，一個暴露的OpenAI API密鑰可能被攻擊者用來生成大量內(nèi)容，導(dǎo)致賬單激增。

糟糕的身份驗證：諸如弱密碼策略、缺少多因素認(rèn)證、過于寬松的訪問控制或不安全的會話管理這樣的糟糕的身份驗證，可能允許未授權(quán)用戶訪問AI系統(tǒng)或通過AI系統(tǒng)訪問其連接的資源。例如，如果AI聊天機(jī)器人的身份驗證機(jī)制存在缺陷，攻擊者可能繞過限制，訪問敏感信息或執(zhí)行特權(quán)操作。

不足的日志記錄：如果系統(tǒng)沒有適當(dāng)記錄訪問和操作日志，或日志存儲不安全，管理員可能無法發(fā)現(xiàn)正在進(jìn)行的攻擊或事后調(diào)查安全事件。這使得濫用行為難以被檢測和追蹤，攻擊者可能長時間不被發(fā)現(xiàn)地操作系統(tǒng)。

6.運(yùn)行時安全故障

AI系統(tǒng)可能會表現(xiàn)出"新興行為"（emergent behavior）。這是指系統(tǒng)在實際運(yùn)行環(huán)境中展現(xiàn)出的、在開發(fā)和測試階段未被預(yù)見的行為模式。這種現(xiàn)象特別容易在兩種情況下發(fā)生：系統(tǒng)面對動態(tài)變化的輸入條件時，系統(tǒng)與其他服務(wù)進(jìn)行復(fù)雜交互時。

Garraghan表示，"邏輯損壞、上下文溢出或輸出反射等漏洞通常只在運(yùn)行時出現(xiàn)，需要運(yùn)營紅隊測試或?qū)崟r流量模擬才能檢測到。"

由此可見AI系統(tǒng)安全測試的復(fù)雜性，僅依靠開發(fā)階段的靜態(tài)測試是不夠的，還需要在部署環(huán)境中進(jìn)行動態(tài)安全監(jiān)控和測試，以發(fā)現(xiàn)那些只在實際運(yùn)行條件下才會出現(xiàn)的安全漏洞。

7.合規(guī)違規(guī)

企業(yè)如果未能確保其AI工具符合相關(guān)監(jiān)管標(biāo)準(zhǔn)，可能面臨法律后果。這種風(fēng)險主要來自兩個方面：未經(jīng)授權(quán)的數(shù)據(jù)處理和未經(jīng)測試的模型行為在規(guī)模下導(dǎo)致的中斷。

其中，未經(jīng)測試的模型行為在規(guī)模下導(dǎo)致的中斷指的是AI系統(tǒng)在大規(guī)模部署后出現(xiàn)的問題，例如：AI系統(tǒng)做出有歧視性的決策；自動化系統(tǒng)故障導(dǎo)致大規(guī)模服務(wù)中斷；AI系統(tǒng)提供不準(zhǔn)確或有害建議，導(dǎo)致用戶損失；算法偏見導(dǎo)致不公平結(jié)果，影響特定群體。

隨著全球AI監(jiān)管框架的不斷發(fā)展（如歐盟的《人工智能法案》、中國的《生成式人工智能服務(wù)管理暫行辦法》等），企業(yè)面臨的合規(guī)要求越來越嚴(yán)格。

8.更廣泛的運(yùn)營影響

AI安全不僅是技術(shù)問題，而是涉及整個組織的風(fēng)險管理問題。忽視AI安全測試可能導(dǎo)致技術(shù)漏洞轉(zhuǎn)化為業(yè)務(wù)風(fēng)險，包括數(shù)據(jù)泄露、合規(guī)違規(guī)、聲譽(yù)損害和財務(wù)損失。組織需要將AI安全視為戰(zhàn)略優(yōu)先事項，而不僅僅是技術(shù)考量。

"如果不進(jìn)行測試，這些技術(shù)漏洞不會孤立存在，"Mindgard的Garraghan表示。"它們表現(xiàn)為跨越工程領(lǐng)域的更廣泛組織風(fēng)險。從運(yùn)營影響的角度來看，人工智能安全測試不足的后果直接映射到安全、保障和業(yè)務(wù)保證的失敗。"

合規(guī)專家ISMS.online的首席產(chǎn)品官Sam Peters看到，由于組織傾向于忽視適當(dāng)?shù)腁I安全審查，導(dǎo)致了廣泛的運(yùn)營影響。

"當(dāng)AI系統(tǒng)匆忙投入生產(chǎn)時，我們看到三個關(guān)鍵領(lǐng)域存在反復(fù)出現(xiàn)的漏洞：模型完整性（包括投毒和規(guī)避攻擊）、數(shù)據(jù)隱私（如訓(xùn)練數(shù)據(jù)泄露或敏感數(shù)據(jù)處理不當(dāng)）以及治理差距（從缺乏透明度到訪問控制薄弱）。"他說。

Peters強(qiáng)調(diào)，這些問題不再是一種猜測，而是已經(jīng)在實際環(huán)境中被利用了。

測試的重要性及要點

當(dāng)"速度"成為唯一追求時，安全往往成為第一個被犧牲的方面，這種匆忙部署AI的做法正在為企業(yè)埋下定時炸彈。

AI項目部署交付之前的測試就顯得尤為重要。以下是AI安全測試的幾個要點：

1.平衡快速部署與安全需求

.CSO們正面臨快速部署AI與確保安全之間的困境。Sparrow公司的James Lei建議抵制不受約束的熱情，將基本安全實踐引入部署過程。

他說："組織應(yīng)該像測試任何高風(fēng)險軟件一樣測試人工智能工具，運(yùn)行模擬攻擊，檢查濫用場景，驗證輸入和輸出流，并確保任何處理的數(shù)據(jù)都得到適當(dāng)保護(hù)。"

2.實施全面的AI測試策略

組織需要采用多層次的測試方法來保障AI系統(tǒng)安全：

• 滲透測試：通過模擬攻擊識別系統(tǒng)漏洞
• 偏見和公平性審計：確保AI決策公平且無歧視
• 合規(guī)檢查：驗證系統(tǒng)是否遵守相關(guān)法規(guī)和標(biāo)準(zhǔn)

通過將安全測試集成到AI開發(fā)生命周期中，組織可以利用人工智能的好處，同時防范潛在威脅。

"在部署AI工具之前，組織應(yīng)該進(jìn)行針對AI的威脅建模，對抗性輸入的紅隊測試，以及對模型漂移和數(shù)據(jù)泄露的穩(wěn)健測試，"ISMS.online的Peters表示，同時還應(yīng)該將AI特定控制集成到風(fēng)險管理和合規(guī)計劃中。

3.采用AI特定的安全測試方法

Intigriti的首席黑客官Inti De Ceukelaire指出了AI測試的獨特挑戰(zhàn)："與常規(guī)軟件測試不同，你不能僅僅通過查看神經(jīng)網(wǎng)絡(luò)的代碼來判斷它是否安全。即使它是在干凈、高質(zhì)量的數(shù)據(jù)上訓(xùn)練的，它仍然可能表現(xiàn)出奇怪的行為。這使得很難知道何時測試足夠了。"

ISMS.online的Peters強(qiáng)調(diào)了AI系統(tǒng)需要特殊的安全測試方法："在部署AI工具之前，組織應(yīng)該進(jìn)行針對AI的威脅建模，對抗性輸入的紅隊測試，以及對模型漂移和數(shù)據(jù)泄露的穩(wěn)健測試。"

Mindgard的Garraghan補(bǔ)充了更具體的測試框架： "這包括靜態(tài)模型分析、動態(tài)提示模糊測試、集成層攻擊模擬和運(yùn)行時行為監(jiān)控。這些實踐應(yīng)該嵌入到人工智能部署生命周期中，就像DevSecOps實踐集成到軟件CI/CD管道中一樣。"

4.拓展測試范圍

測試人員需要擴(kuò)展測試范圍，不僅關(guān)注AI應(yīng)該做什么，還要考慮它能做的其他事情。

"AI工具通常為簡單問題提供復(fù)雜解決方案。測試人員可能只關(guān)注工具應(yīng)該做什么，而忽略它能做的其他事情。"Intigriti的 De Ceukelaire舉例，翻譯工具可能被誘騙打開帶有惡意代碼的PDF或訪問內(nèi)部文件并將其翻譯給公司外部的人。"

5.利用標(biāo)準(zhǔn)框架進(jìn)行AI治理

Peters強(qiáng)調(diào)了標(biāo)準(zhǔn)框架在AI治理中的價值："這正是新的ISO/IEC 42001標(biāo)準(zhǔn)能真正幫助的地方。它提供了負(fù)責(zé)任地治理AI的框架，包括風(fēng)險評估、數(shù)據(jù)處理、安全控制和持續(xù)監(jiān)控的指導(dǎo)。"

將AI特定控制集成到組織的風(fēng)險管理和合規(guī)計劃中，可以建立更全面的安全保障體系。

參考鏈接：8 security risks overlooked in the rush to implement AI | CSO Online