雖然AI威脅的格局每天都在變化，但我們知道有幾個(gè)大語(yǔ)言模型(LLM)漏洞對(duì)當(dāng)今的公司運(yùn)營(yíng)構(gòu)成了重大風(fēng)險(xiǎn)。如果網(wǎng)絡(luò)團(tuán)隊(duì)對(duì)這些漏洞是什么以及如何緩解這些漏洞有很強(qiáng)的把握，公司就可以繼續(xù)利用低成本管理進(jìn)行創(chuàng)新，而不會(huì)承擔(dān)不必要的風(fēng)險(xiǎn)。

提示和數(shù)據(jù)泄露

在LLM中，數(shù)據(jù)泄露的可能性是一個(gè)真實(shí)且日益令人擔(dān)憂的問(wèn)題，LLM可能會(huì)被“騙”泄露敏感的公司或用戶信息，導(dǎo)致一系列隱私和安全問(wèn)題，迅速泄密是另一個(gè)大問(wèn)題，如果惡意用戶訪問(wèn)系統(tǒng)提示符，公司的知識(shí)產(chǎn)權(quán)可能會(huì)受到損害。

這兩個(gè)漏洞都與快速注入有關(guān)，這是一種日益流行和危險(xiǎn)的黑客技術(shù)。直接和間接的快速注射攻擊正在變得普遍，并伴隨著嚴(yán)重的后果。成功的提示注入攻擊可能導(dǎo)致跨插件請(qǐng)求偽造、跨站點(diǎn)腳本編寫(xiě)和培訓(xùn)數(shù)據(jù)提取，其中每一項(xiàng)都會(huì)將公司機(jī)密、個(gè)人用戶數(shù)據(jù)和基本培訓(xùn)數(shù)據(jù)置于風(fēng)險(xiǎn)之中。

因此，公司需要在AI應(yīng)用程序開(kāi)發(fā)生命周期中實(shí)施檢查系統(tǒng)。從尋找和處理數(shù)據(jù)到選擇和培訓(xùn)應(yīng)用程序，每一步都應(yīng)該有限制，以降低入侵風(fēng)險(xiǎn)。沙箱、白名單和API網(wǎng)關(guān)等常規(guī)安全實(shí)踐在處理LLM時(shí)同樣有價(jià)值(如果不是更高的話)。除此之外，在將所有插件與LLM應(yīng)用程序集成之前，團(tuán)隊(duì)?wèi)?yīng)該仔細(xì)檢查所有插件，并且對(duì)于所有高權(quán)限任務(wù)，人工批準(zhǔn)應(yīng)該仍然是必不可少的。

折衷的模型性能

AI模型的有效性取決于數(shù)據(jù)質(zhì)量，但在整個(gè)模型開(kāi)發(fā)過(guò)程中——從預(yù)訓(xùn)練到微調(diào)和嵌入——訓(xùn)練數(shù)據(jù)集很容易受到黑客的攻擊。

大多數(shù)公司利用第三方模式，由不知名的人管理數(shù)據(jù)，網(wǎng)絡(luò)團(tuán)隊(duì)不能盲目相信數(shù)據(jù)沒(méi)有被篡改。無(wú)論你是使用第三方模式還是自己擁有的模式，總會(huì)有不良行為者的“數(shù)據(jù)中毒”風(fēng)險(xiǎn)，這可能會(huì)對(duì)模式的表現(xiàn)產(chǎn)生重大影響，進(jìn)而損害品牌的聲譽(yù)。

開(kāi)源的AutoPoison框架清楚地概述了數(shù)據(jù)中毒如何在指令調(diào)優(yōu)過(guò)程中影響模型。此外，以下是網(wǎng)絡(luò)團(tuán)隊(duì)可以實(shí)施的一系列戰(zhàn)略，以降低風(fēng)險(xiǎn)并最大限度地提高AI模型的性能。

• 供應(yīng)鏈審查：仔細(xì)審查供應(yīng)鏈，以驗(yàn)證數(shù)據(jù)來(lái)源是否干凈，并采取嚴(yán)密的安全措施。問(wèn)一些問(wèn)題，比如“數(shù)據(jù)是如何收集的?”以及“是否考慮到了適當(dāng)?shù)耐夂偷赖驴剂?”你還可以查詢誰(shuí)為數(shù)據(jù)添加了標(biāo)簽和注釋?zhuān)麄兊馁Y格，以及標(biāo)簽中是否存在任何偏見(jiàn)或不一致。此外，解決數(shù)據(jù)所有權(quán)和許可問(wèn)題，包括誰(shuí)擁有數(shù)據(jù)以及許可條款和條件是什么。
• 數(shù)據(jù)清理和清理：確保在進(jìn)入模型之前檢查所有數(shù)據(jù)和來(lái)源。例如，在將PII放入模型之前，必須對(duì)其進(jìn)行編輯。
• 紅色團(tuán)隊(duì)演習(xí)：在模型生命周期的測(cè)試階段進(jìn)行以LLM為重點(diǎn)的紅色團(tuán)隊(duì)演習(xí)。具體地說(shuō)，對(duì)涉及操縱訓(xùn)練數(shù)據(jù)以注入惡意代碼、偏見(jiàn)或有害內(nèi)容的測(cè)試場(chǎng)景進(jìn)行優(yōu)先排序，并采用多種攻擊方法，包括對(duì)抗性輸入、中毒攻擊和模型提取技術(shù)。

受損的互聯(lián)系統(tǒng)

像GPT-4這樣的高級(jí)型號(hào)通常集成到系統(tǒng)中，在系統(tǒng)中它們與其他應(yīng)用程序進(jìn)行通信，但只要涉及到API，下游系統(tǒng)就會(huì)面臨風(fēng)險(xiǎn)，這意味著一個(gè)惡意提示可能會(huì)對(duì)互聯(lián)系統(tǒng)產(chǎn)生多米諾骨牌效應(yīng)。要降低此風(fēng)險(xiǎn)，請(qǐng)考慮以下幾點(diǎn)：

• 如果允許LLM調(diào)用外部API，請(qǐng)?jiān)趫?zhí)行可能具有破壞性的操作之前請(qǐng)求用戶確認(rèn)。
• 在互連不同的系統(tǒng)之前檢查L(zhǎng)LM輸出。檢查它們是否存在可能導(dǎo)致遠(yuǎn)程代碼執(zhí)行(RCE)等風(fēng)險(xiǎn)的潛在漏洞。
• 特別注意這些產(chǎn)出促進(jìn)不同計(jì)算機(jī)系統(tǒng)之間互動(dòng)的情況。
• 對(duì)互聯(lián)系統(tǒng)中涉及的所有API實(shí)施強(qiáng)有力的安全措施。
• 使用強(qiáng)大的身份驗(yàn)證和授權(quán)協(xié)議，防止未經(jīng)授權(quán)的訪問(wèn)和數(shù)據(jù)泄露。
• 監(jiān)控API活動(dòng)中的異常和可疑行為跡象，例如異常請(qǐng)求模式或利用漏洞的嘗試。

網(wǎng)絡(luò)帶寬飽和

網(wǎng)絡(luò)帶寬飽和漏洞可被攻擊者作為拒絕服務(wù)(DoS)攻擊的一部分加以利用，并可能對(duì)LLM的使用成本造成痛苦的影響。

在模型拒絕服務(wù)攻擊中，攻擊者以過(guò)度消耗帶寬或系統(tǒng)處理能力等資源的方式與模型接觸，最終損害目標(biāo)系統(tǒng)的可用性。反過(guò)來(lái)，公司可能會(huì)面臨服務(wù)質(zhì)量下降和天價(jià)賬單。由于DoS攻擊在網(wǎng)絡(luò)安全環(huán)境中并不新鮮，因此可以使用幾種策略來(lái)防御模型拒絕服務(wù)攻擊，并降低成本快速上升的風(fēng)險(xiǎn)。

• 速率限制：實(shí)施速率限制，防止你的系統(tǒng)被過(guò)多的請(qǐng)求淹沒(méi)。為你的應(yīng)用程序確定正確的速率限制將取決于模型的大小和復(fù)雜性、硬件和基礎(chǔ)設(shè)施以及平均請(qǐng)求數(shù)和高峰使用時(shí)間。
• 字符限制：設(shè)置用戶在查詢中可以包含的字符數(shù)量限制，以保護(hù)你的基于LLM的API免受資源耗盡的影響。
• 框架提供的方法：利用框架提供商提供的方法加強(qiáng)對(duì)攻擊的防御。例如，如果你使用的是LangChain，請(qǐng)考慮使用max_iterations參數(shù)。

保護(hù)LLM需要多方面的方法，包括仔細(xì)考慮數(shù)據(jù)處理、模型培訓(xùn)、系統(tǒng)集成和資源使用，但通過(guò)實(shí)施建議的戰(zhàn)略并保持警惕，公司可以利用低成本管理的力量，同時(shí)將相關(guān)風(fēng)險(xiǎn)降至最低。