基于大型語(yǔ)言模型(LLM)的生成式AI技術(shù)應(yīng)用已經(jīng)成為當(dāng)前全球企業(yè)普遍關(guān)注的熱點(diǎn)。作為一種創(chuàng)新技術(shù)，企業(yè)組織在未來數(shù)字化發(fā)展中有很多機(jī)會(huì)應(yīng)用ChatGPT或類似AI工具。因此，CISO們需要提前做好準(zhǔn)備，以避免可能出現(xiàn)的安全隱患和隱私泄露風(fēng)險(xiǎn)。

日前，OWASP(全球開放應(yīng)用軟件安全項(xiàng)目組織)發(fā)布了LLM應(yīng)用風(fēng)險(xiǎn)草案清單，并梳理總結(jié)了最嚴(yán)重的10大LMM應(yīng)用安全漏洞類型，包括提示注入、數(shù)據(jù)泄漏、不充分的沙箱機(jī)制和未經(jīng)授權(quán)的代碼執(zhí)行等。OWASP研究人員表示，這份清單旨在讓LLM應(yīng)用的開發(fā)者、設(shè)計(jì)者、架構(gòu)師和管理者，更好地了解在部署和管理LLM應(yīng)用過程中可能存在的潛在風(fēng)險(xiǎn)，并提高漏洞防范認(rèn)識(shí)，從而改善LLM未來應(yīng)用中的安全態(tài)勢(shì)。

1、提示注入(LLM01:2023)

提示注入是指通過精心制作的提示繞過內(nèi)容監(jiān)管過濾，使其忽略先前的指令或執(zhí)行非法的操作。這類漏洞可能導(dǎo)致意想不到的后果，包括數(shù)據(jù)泄露、未經(jīng)授權(quán)的訪問或其他安全隱患。常見的提示注入漏洞包括：通過使用特定的語(yǔ)言模式或token繞過過濾器或限制，利用LLM的文本分詞或編碼機(jī)制中的弱點(diǎn)，以及通過提供欺騙性上下文誤導(dǎo)LLM執(zhí)行意外操作。

防護(hù)建議

針對(duì)該類型漏洞的預(yù)防措施包括：

• 對(duì)用戶提供的提示執(zhí)行嚴(yán)格的輸入驗(yàn)證和凈化。
• 使用上下文感知過濾和輸出編碼來防止提示操縱。
• 定期更新和微調(diào)LLM，以提高理解惡意輸入和極端情況的能力。

2、數(shù)據(jù)泄漏(LLM02:2023)

當(dāng)LLM通過其響應(yīng)意外泄露敏感信息、專有算法或其他機(jī)密資料時(shí)，就會(huì)發(fā)生數(shù)據(jù)泄漏。這可能導(dǎo)致未經(jīng)授權(quán)訪問敏感數(shù)據(jù)、侵犯?jìng)€(gè)人隱私及其他安全隱患。

常見的數(shù)據(jù)泄露漏洞包括：對(duì)LLM響應(yīng)中的敏感信息過濾不完整或不恰當(dāng)，記憶LLM訓(xùn)練過程中的敏感數(shù)據(jù)，以及因LLM算法錯(cuò)誤而導(dǎo)致機(jī)密信息的意外泄露。攻擊者可以通過精心設(shè)計(jì)的提示來故意探測(cè)LLM，試圖提取LLM憑訓(xùn)練數(shù)據(jù)所記憶的敏感信息，或者合法用戶無意中向LLM提出的包含機(jī)密信息的提問。

防護(hù)建議

針對(duì)該類型漏洞的預(yù)防措施包括：

• 實(shí)施嚴(yán)格的輸出過濾和上下文感知機(jī)制，以防止LLM泄露敏感信息。
• 在LLM訓(xùn)練過程中使用差分隱私技術(shù)或其他數(shù)據(jù)匿名化方法，以減小過擬合或記憶的風(fēng)險(xiǎn)。
• 定期審計(jì)和審查L(zhǎng)LM的響應(yīng)，以確保敏感信息不會(huì)無意中泄露。

3、不充分的沙箱機(jī)制(LLM03:2023)

如果LLM在訪問外部資源或敏感系統(tǒng)時(shí)未加適當(dāng)隔離，不充分的沙箱機(jī)制就會(huì)導(dǎo)致潛在的漏洞、未經(jīng)授權(quán)的訪問或LLM違規(guī)操作。和不充分的沙箱機(jī)制相關(guān)的常見漏洞包括：LLM環(huán)境與其他關(guān)鍵系統(tǒng)的數(shù)據(jù)存儲(chǔ)區(qū)隔離不足，不充分的限制任由LLM訪問敏感資源，以及LLM執(zhí)行系統(tǒng)級(jí)操作/與其他進(jìn)程交互。

防護(hù)建議

針對(duì)該類型漏洞的預(yù)防措施包括：

• 將LLM環(huán)境與其他關(guān)鍵系統(tǒng)和資源隔離開來。
• 限制LLM對(duì)敏感資源的訪問，并將訪問功能限制在最低限度。
• 定期審計(jì)和審查L(zhǎng)LM的環(huán)境和訪問控制，以確保保持適當(dāng)?shù)母綦x。

4、未經(jīng)授權(quán)執(zhí)行代碼(LLM04:2023)

當(dāng)攻擊者通過自然語(yǔ)言提示利用LLM在底層系統(tǒng)上執(zhí)行惡意代碼、命令或操作時(shí)，就會(huì)發(fā)生未經(jīng)授權(quán)的代碼執(zhí)行。典型的攻擊類型包括：攻擊者設(shè)計(jì)提示以指令LLM執(zhí)行命令，該命令在底層系統(tǒng)上啟動(dòng)反向shell，從而授予攻擊者未經(jīng)授權(quán)的訪問權(quán)限;LLM無意中被允許與系統(tǒng)級(jí)API進(jìn)行交互，攻擊者操縱該API在系統(tǒng)上執(zhí)行未經(jīng)授權(quán)的操作。

防護(hù)建議

針對(duì)該類型漏洞的預(yù)防措施包括：

• 實(shí)施嚴(yán)格的輸入驗(yàn)證和凈化流程，以防止LLM處理惡意或意外的提示。
• 確保適當(dāng)?shù)纳诚錂C(jī)制，并限制LLM的功能，以限制其與底層系統(tǒng)交互的能力。

5、服務(wù)器請(qǐng)求偽造(LLM05:2023)

當(dāng)攻擊者利用LLM執(zhí)行意外請(qǐng)求或訪問受限制的資源(比如內(nèi)部服務(wù)、API或數(shù)據(jù)存儲(chǔ))時(shí)，就會(huì)出現(xiàn)服務(wù)器請(qǐng)求偽造(SSRF)漏洞。常見的SSRF漏洞包括：輸入驗(yàn)證不足，允許攻擊者操縱LLM提示發(fā)起未經(jīng)授權(quán)的請(qǐng)求，以及網(wǎng)絡(luò)或應(yīng)用安全設(shè)置中的錯(cuò)誤配置將內(nèi)部資源暴露給LLM。為了執(zhí)行攻擊，攻擊者還可以設(shè)計(jì)提示，指令LLM向內(nèi)部服務(wù)發(fā)出請(qǐng)求，繞過訪問控制，并獲得對(duì)敏感信息未經(jīng)授權(quán)的訪問。

防護(hù)建議

針對(duì)該類型漏洞的預(yù)防措施包括：

• 實(shí)施嚴(yán)格的輸入驗(yàn)證和凈化策略，防止通過惡意輸入發(fā)起未經(jīng)授權(quán)的請(qǐng)求。
• 定期審計(jì)和審查網(wǎng)絡(luò)/應(yīng)用軟件安全設(shè)置，以確保內(nèi)部資源不會(huì)無意中暴露給LLM。

6、過度依賴模型生成的內(nèi)容(LLM06:2023)

過度依賴LLM生成的內(nèi)容是指組織和用戶未經(jīng)驗(yàn)證就信任LLM生成的內(nèi)容，從而導(dǎo)致不正確的誤導(dǎo)信息大量傳播，降低人在決策中的參與度，并弱化批判性思考。與過度依賴LLM生成的內(nèi)容相關(guān)的常見問題包括：未經(jīng)驗(yàn)證就接受LLM生成的內(nèi)容，以為L(zhǎng)LM生成的內(nèi)容沒有偏誤或錯(cuò)誤信息，以及在沒有人參與或監(jiān)督的情況下依賴LLM生成的內(nèi)容用于關(guān)鍵決策。

如果一家公司依賴LLM生成安全報(bào)告和分析，而LLM生成的報(bào)告含有大量的不正確數(shù)據(jù)，那么如果企業(yè)依賴這份由LLM生成的內(nèi)容進(jìn)行關(guān)鍵決策，就可能會(huì)釀成重大后果。網(wǎng)絡(luò)安全分析師稱這種現(xiàn)象為L(zhǎng)LM幻覺。

防護(hù)建議

針對(duì)該類型漏洞的預(yù)防措施包括：

• 對(duì)LLM生成的內(nèi)容進(jìn)行充分驗(yàn)證;
• 嚴(yán)格限制使用那些未經(jīng)驗(yàn)證的LLM生成內(nèi)容;
• 定期開展LLM生成內(nèi)容的安全風(fēng)險(xiǎn)審計(jì)。

7、對(duì)LLM目標(biāo)和行為對(duì)齊不足(LLM07:2023)

當(dāng)企業(yè)的LLM應(yīng)用行為與預(yù)期中的應(yīng)用目標(biāo)不一致時(shí)，就會(huì)導(dǎo)致不良的應(yīng)用后果或安全漏洞，這種漏洞被稱為AI應(yīng)用對(duì)齊不足。常見問題包括：定義不明確的目標(biāo)導(dǎo)致LLM優(yōu)先考慮了那些不良或有害的行為，不一致的獎(jiǎng)勵(lì)機(jī)制引發(fā)意想不到的模型行為，以及對(duì)LLM行為測(cè)試和驗(yàn)證不足。如果旨在協(xié)助系統(tǒng)管理任務(wù)的LLM出現(xiàn)未對(duì)齊漏洞，就可能會(huì)執(zhí)行有害的命令或降低系統(tǒng)的安全防護(hù)級(jí)別。

防護(hù)建議

針對(duì)該類型漏洞的預(yù)防措施包括：

• 在設(shè)計(jì)和開發(fā)過程中明確定義LLM的目標(biāo)和預(yù)期行為。
• 確保獎(jiǎng)勵(lì)機(jī)制和訓(xùn)練數(shù)據(jù)與預(yù)期結(jié)果相一致，不鼓勵(lì)任何有害的違規(guī)行為。
• 定期測(cè)試和驗(yàn)證LLM在眾多場(chǎng)景、輸入和上下文中的行為，以識(shí)別和解決對(duì)齊問題。

8、不完善的訪問控制(LLM08:2023)

這種漏洞是指LLM在應(yīng)用中未正確實(shí)施訪問控制或身份驗(yàn)證，允許未經(jīng)授權(quán)的用戶與 LLM 進(jìn)行交互，從而產(chǎn)生可被利用的安全漏洞。常見例子包括：未對(duì)訪問LLM執(zhí)行嚴(yán)格的身份驗(yàn)證要求，基于角色的訪問控制(RBAC)實(shí)施不充分，允許用戶執(zhí)行超出預(yù)期權(quán)限的操作，以及未為L(zhǎng)LM生成的內(nèi)容和操作提供適當(dāng)?shù)脑L問控制。

防護(hù)建議

針對(duì)該類型漏洞的防護(hù)措施包括：

• 實(shí)施強(qiáng)身份驗(yàn)證機(jī)制，比如多因素身份驗(yàn)證(MFA);
• 應(yīng)確保只有授權(quán)用戶才能訪問LLM;
• 對(duì)LLM生成的內(nèi)容和操作實(shí)施適當(dāng)?shù)脑L問控制，以防止未經(jīng)授權(quán)的操作。

9、不恰當(dāng)?shù)腻e(cuò)誤處置(LLM09:2023)

錯(cuò)誤處置漏洞主要指由于LMM的錯(cuò)誤處置或調(diào)試信息被公開暴露，從而導(dǎo)致了向威脅分子泄露敏感信息、系統(tǒng)資料或潛在攻擊途徑。常見的錯(cuò)誤處置漏洞包括：通過錯(cuò)誤消息暴露敏感信息或系統(tǒng)資料，泄露可能幫助攻擊者識(shí)別潛在漏洞或攻擊途徑的調(diào)試信息，以及未能有效處理應(yīng)用中的錯(cuò)誤，從而可能導(dǎo)致意外行為或系統(tǒng)崩潰。

防護(hù)建議

針對(duì)該類型漏洞的預(yù)防措施包括：

• 實(shí)施適當(dāng)?shù)腻e(cuò)誤處理機(jī)制，以確保錯(cuò)誤被及時(shí)地獲取、記錄和處理。
• 確保錯(cuò)誤消息和調(diào)試信息中不包含敏感信息或系統(tǒng)資料，同時(shí)考慮使用通用的錯(cuò)誤消息，為開發(fā)者和管理員記錄詳細(xì)的錯(cuò)誤數(shù)據(jù)。

10、訓(xùn)練數(shù)據(jù)中毒(LLM10:2023)

訓(xùn)練數(shù)據(jù)中毒是指攻擊者操縱LLM的訓(xùn)練數(shù)據(jù)或微調(diào)程序，以引入漏洞、后門或偏誤，從而危害模型的安全性、有效性或道德。常見的訓(xùn)練數(shù)據(jù)中毒問題包括：通過惡意操縱訓(xùn)練數(shù)據(jù)向LLM引入后門或漏洞，以及向LLM注入誘導(dǎo)數(shù)據(jù)，導(dǎo)致LLM生成有偏差或不適當(dāng)?shù)捻憫?yīng)。

防護(hù)建議

針對(duì)該類型漏洞的防護(hù)措施包括：

• 從可信來源獲取訓(xùn)練數(shù)據(jù)并驗(yàn)證其質(zhì)量，確保訓(xùn)練數(shù)據(jù)的完整性。
• 實(shí)施可靠的數(shù)據(jù)凈化和預(yù)處理技術(shù)，以消除訓(xùn)練數(shù)據(jù)中的潛在漏洞或欺騙內(nèi)容。
• 使用監(jiān)測(cè)和警報(bào)機(jī)制來檢測(cè)LLM中的異常行為或安全問題，這些問題可能會(huì)幫助企業(yè)及時(shí)發(fā)現(xiàn)訓(xùn)練數(shù)據(jù)中毒。

參考鏈接：https://www.csoonline.com/article/3698533/owasp-lists-10-most-critical-large-language-model-vulnerabilities.html