了解最常見(jiàn)的 LLM 漏洞，網(wǎng)絡(luò)犯罪分子如何利用它們以及如何預(yù)防它們。

譯自7 LLM Risks and API Management Strategies to Keep Data Safe，作者 Ash Osborne。

盡管?chē)@大型語(yǔ)言模型 (LLM)的熱情激增，但任何新的基于云的軟件解決方案都可能產(chǎn)生或暴露新的漏洞。讓我們探討 Open Web Application Security (OWASP) 項(xiàng)目發(fā)布的七種 LLM 漏洞，以及如何通過(guò)應(yīng)用 API 管理安全來(lái)緩解這些風(fēng)險(xiǎn)。每節(jié)將詳細(xì)介紹一個(gè)特定的漏洞，例如提示注入或不安全的輸出處理，解釋網(wǎng)絡(luò)犯罪分子如何利用這些弱點(diǎn)，并提供實(shí)用的API 管理技術(shù)來(lái)防止這些威脅。

1. 提示注入

提示注入是指黑客能夠通過(guò)偽裝成合法提示的惡意提示，誘使 GenAI 模型做出意想不到的輸出。在這種攻擊中，如果我們不限制可以傳遞給 LLM 的提示，攻擊者可以精心設(shè)計(jì)一個(gè)請(qǐng)求，導(dǎo)致意外結(jié)果。例如，一個(gè)聊天機(jī)器人，而不是幫助用戶(hù)，開(kāi)始侮辱他們。

為了緩解這種類(lèi)型的攻擊，開(kāi)發(fā)人員應(yīng)該實(shí)施傳統(tǒng)的身份驗(yàn)證和訪(fǎng)問(wèn)控制，以確保只有授權(quán)用戶(hù)可以與 LLM 交互。然后，在將請(qǐng)求發(fā)送到模型之前，應(yīng)該執(zhí)行提示檢查 - 或者通過(guò)使用預(yù)處理器和后處理器來(lái)限制 LLM 可以做什么，或者通過(guò)使用模板來(lái)限制實(shí)際請(qǐng)求成為參數(shù)化形式。另一種選擇是使用自訓(xùn)練的 LLM 或第三方服務(wù)來(lái)檢查 LLM 請(qǐng)求和響應(yīng)的內(nèi)容安全。

2. 不安全的輸出處理

通過(guò)盲目信任從 LLM 返回的響應(yīng)，后端系統(tǒng)可能會(huì)無(wú)意中暴露，這可能導(dǎo)致跨站點(diǎn)腳本、跨站點(diǎn)請(qǐng)求偽造、服務(wù)器端請(qǐng)求偽造、權(quán)限提升或遠(yuǎn)程代碼執(zhí)行等問(wèn)題。

對(duì)抗這種漏洞的第一步是實(shí)施提示范圍，這將提示的范圍限制在 LLM。響應(yīng)也應(yīng)該在返回給請(qǐng)求者之前進(jìn)行審查，這可以像應(yīng)用正則表達(dá)式模式一樣簡(jiǎn)單，也可以像使用 LLM 本身來(lái)掃描內(nèi)容以查找有害響應(yīng)一樣高級(jí)。

3. 模型拒絕服務(wù)

用請(qǐng)求過(guò)載 LLM 會(huì)導(dǎo)致服務(wù)質(zhì)量下降或資源成本增加，這對(duì)任何組織來(lái)說(shuō)都是最糟糕的結(jié)果。然而，在模型拒絕服務(wù)中，這就是風(fēng)險(xiǎn)所在。當(dāng)攻擊者對(duì) LLM 造成資源密集型操作時(shí)，就會(huì)發(fā)生這種情況。這可能看起來(lái)像比正常情況更高的任務(wù)生成或重復(fù)的長(zhǎng)輸入，僅舉幾例。

身份驗(yàn)證和授權(quán)可用于防止未經(jīng)授權(quán)的用戶(hù)與 LLM 交互。每個(gè)用戶(hù)的令牌數(shù)量的速率限制也應(yīng)該用于阻止用戶(hù)消耗組織的積分，導(dǎo)致高成本和使用大量計(jì)算導(dǎo)致延遲注入。

4. 敏感信息泄露

合規(guī)團(tuán)隊(duì)對(duì)敏感信息泄露的擔(dān)憂(yōu)可能是限制 LLM 采用的最嚴(yán)重漏洞之一。當(dāng)模型無(wú)意中可以返回敏感信息時(shí)，就會(huì)發(fā)生這種情況，導(dǎo)致未經(jīng)授權(quán)的數(shù)據(jù)訪(fǎng)問(wèn)、隱私侵犯和安全漏洞。

開(kāi)發(fā)人員可以實(shí)施的一種技術(shù)是使用專(zhuān)門(mén)訓(xùn)練的 LLM 服務(wù)來(lái)識(shí)別并刪除或混淆敏感數(shù)據(jù)。這也可以用于非 LLM 基于的用例。此外，可以指示 LLM不返回某些類(lèi)型的數(shù)據(jù)，限制它們將如何響應(yīng)。

5. 不安全的插件設(shè)計(jì)

如果訪(fǎng)問(wèn)控制不足且輸入不安全，您將面臨不安全的插件設(shè)計(jì)。當(dāng)擴(kuò)展在用戶(hù)交互期間由模型自動(dòng)調(diào)用時(shí)，就會(huì)發(fā)生這種情況。擴(kuò)展由模型本身驅(qū)動(dòng)，應(yīng)用程序?qū)?zhí)行沒(méi)有控制權(quán)。通過(guò)利用這一點(diǎn)，攻擊者可以構(gòu)建一個(gè)惡意請(qǐng)求，導(dǎo)致各種不希望的行為。

為了緩解這種風(fēng)險(xiǎn)，通過(guò)授權(quán)和身份驗(yàn)證來(lái)限制誰(shuí)以及什么可以訪(fǎng)問(wèn)底層 LLM。這通過(guò)限制對(duì)敏感操作的訪(fǎng)問(wèn)來(lái)降低被利用的風(fēng)險(xiǎn)。還應(yīng)將清理和控制應(yīng)用于提示請(qǐng)求，以限制在操作調(diào)用中可以執(zhí)行的操作。

6. 過(guò)度代理

當(dāng)授予過(guò)多的功能、權(quán)限或自主權(quán)時(shí)，LLM 系統(tǒng)可能會(huì)采取導(dǎo)致意外后果的行動(dòng)。這是一個(gè)威脅，應(yīng)通過(guò)可觀察性和流量檢查持續(xù)監(jiān)控，以了解哪些內(nèi)容與 LLM 交互以及如何使用它。還應(yīng)使用授權(quán)和身份驗(yàn)證來(lái)實(shí)施嚴(yán)格的訪(fǎng)問(wèn)控制，以限制誰(shuí)可以訪(fǎng)問(wèn)和與系統(tǒng)交互。對(duì)于更敏感的操作，需要更高的授權(quán)級(jí)別。

7. 過(guò)度依賴(lài)

過(guò)度依賴(lài)是另一個(gè)與授予使用 LLM 的用戶(hù)或系統(tǒng)自主權(quán)有關(guān)的擔(dān)憂(yōu)。如果沒(méi)有監(jiān)督，由于模型生成的內(nèi)容，可能會(huì)出現(xiàn)錯(cuò)誤信息、誤傳甚至法律/安全問(wèn)題。

解決方案：同樣，應(yīng)通過(guò)授權(quán)和身份驗(yàn)證實(shí)施訪(fǎng)問(wèn)控制，并對(duì)更敏感的操作進(jìn)行限制。與過(guò)度代理監(jiān)控類(lèi)似，應(yīng)實(shí)施對(duì)流經(jīng)系統(tǒng)的流量的可觀察性，使組織能夠了解正在發(fā)生的交互。還應(yīng)使用提示控制來(lái)限制與 LLM 的交互方式。

最終，LLM 是通過(guò) API 調(diào)用訪(fǎng)問(wèn)的，應(yīng)以與管理傳統(tǒng) API 流量相同的方式進(jìn)行管理。生態(tài)系統(tǒng)中的縱深防御和可觀察性是了解流量如何流經(jīng)系統(tǒng)的關(guān)鍵。所有這些都可以通過(guò)具有專(zhuān)門(mén)集成以管理 AI API 流量細(xì)微差別的 AI 網(wǎng)關(guān)來(lái)實(shí)現(xiàn)。