人工智能（AI）和機(jī)器學(xué)習(xí)（ML）已經(jīng)進(jìn)入企業(yè)環(huán)境。

根據(jù)IBM 的《2024 年人工智能在行動(dòng)》報(bào)告，兩大群體正在加入人工智能：領(lǐng)導(dǎo)者和學(xué)習(xí)者。領(lǐng)導(dǎo)者看到了可量化的成果，三分之二的人報(bào)告收入增長(zhǎng)了 25%（或更多）。與此同時(shí)，學(xué)習(xí)者表示他們正在遵循人工智能路線圖（72%），但只有 40% 的人表示他們的高管完全了解人工智能投資的價(jià)值。

他們有一個(gè)共同點(diǎn)？那就是數(shù)據(jù)安全挑戰(zhàn)。盡管他們?cè)谌斯ぶ悄芎蜋C(jī)器學(xué)習(xí)方面取得了成功，但安全仍然是首要關(guān)注的問題。原因如下。

全速前進(jìn)：人工智能和機(jī)器學(xué)習(xí)如何變得更智能

從歷史上看，計(jì)算機(jī)按照指令行事。跳出思維定式不是一種選擇——代碼行決定了什么是可能的和允許的。

AI和ML模型采用了不同的方法。AI 和 ML 模型沒有嚴(yán)格的結(jié)構(gòu)，而是有一般的指導(dǎo)方針。公司提供大量訓(xùn)練數(shù)據(jù)，幫助這些模型“學(xué)習(xí)”，從而提高其輸出。

一個(gè)簡(jiǎn)單的例子是用于識(shí)別狗圖像的 AI 工具。底層 ML 結(jié)構(gòu)提供了基本指導(dǎo)——狗有四條腿、兩只耳朵、一條尾巴和毛皮。數(shù)千張狗和非狗的圖像被提供給 AI。它“看到”的圖片越多，它區(qū)分狗的能力就越強(qiáng)。

脫軌：未經(jīng)授權(quán)的模型修改的風(fēng)險(xiǎn)

如果攻擊者能夠訪問 AI 模型，他們就可以修改模型輸出。請(qǐng)考慮上述示例。惡意行為者會(huì)破壞業(yè)務(wù)網(wǎng)絡(luò)，并用未標(biāo)記的貓圖像和錯(cuò)誤標(biāo)記為狗的圖像充斥訓(xùn)練模型。隨著時(shí)間的推移，模型準(zhǔn)確性會(huì)受到影響，輸出不再可靠。

《福布斯》報(bào)道了最近的一場(chǎng)比賽，黑客試圖“越獄”流行的人工智能模型，并誘騙它們產(chǎn)生不準(zhǔn)確或有害的內(nèi)容。生成工具的興起使這種保護(hù)成為優(yōu)先事項(xiàng)——2023 年，研究人員發(fā)現(xiàn)，只需在查詢末尾添加一串隨機(jī)符號(hào)，他們就可以說服生成人工智能 (gen AI)工具提供繞過模型安全過濾器的答案。

而且這種擔(dān)憂不僅僅是概念上的。正如The Hacker News所指出的，一種名為“Sleepy Pickle”的攻擊技術(shù)對(duì) ML 模型構(gòu)成了重大風(fēng)險(xiǎn)。通過將惡意負(fù)載插入 pickle 文件（用于序列化 Python 對(duì)象結(jié)構(gòu)），攻擊者可以更改模型權(quán)衡和比較數(shù)據(jù)的方式并更改模型輸出。這可能使他們能夠生成對(duì)用戶造成傷害的錯(cuò)誤信息、竊取用戶數(shù)據(jù)或生成包含惡意鏈接的內(nèi)容。

堅(jiān)持到底：提高安全性的三個(gè)要素

為了降低人工智能和機(jī)器學(xué)習(xí)受損的風(fēng)險(xiǎn)，有三個(gè)要素至關(guān)重要：

1）保護(hù)數(shù)據(jù)

準(zhǔn)確、及時(shí)和可靠的數(shù)據(jù)是可用模型輸出的基礎(chǔ)。然而，集中和關(guān)聯(lián)這些數(shù)據(jù)的過程為攻擊者創(chuàng)造了一個(gè)誘人的目標(biāo)。如果他們能夠滲透到大規(guī)模人工智能數(shù)據(jù)存儲(chǔ)中，他們就可以操縱模型輸出。

因此，企業(yè)需要能夠自動(dòng)、持續(xù)監(jiān)控人工智能基礎(chǔ)設(shè)施以發(fā)現(xiàn)受損跡象的解決方案。

2）保護(hù)模型

人工智能和機(jī)器學(xué)習(xí)模型的更改可能會(huì)導(dǎo)致輸出看似合法，但實(shí)際上已被攻擊者修改。在最好的情況下，這些輸出會(huì)給客戶帶來不便并減慢業(yè)務(wù)流程。在最壞的情況下，它們可能會(huì)對(duì)聲譽(yù)和收入產(chǎn)生負(fù)面影響。

為了降低模型操縱的風(fēng)險(xiǎn)，組織需要能夠識(shí)別安全漏洞和檢測(cè)錯(cuò)誤配置的工具。

3）確保使用安全

誰在使用模型？使用什么數(shù)據(jù)？用于什么目的？即使數(shù)據(jù)和模型是安全的，惡意行為者的使用也可能使公司面臨風(fēng)險(xiǎn)。持續(xù)的合規(guī)性監(jiān)控對(duì)于確保合法使用至關(guān)重要。

充分利用模型

AI 和 ML 工具可以幫助企業(yè)發(fā)現(xiàn)數(shù)據(jù)洞察并增加收入。然而，如果模型受到攻擊，它們可能會(huì)被用來提供不準(zhǔn)確的輸出或部署惡意代碼。

借助Guardium AI 安全，企業(yè)可以更好地管理敏感模型的安全風(fēng)險(xiǎn)。了解具體方法。