ChatGPT的熱烈炒作、廣泛使用和快速蔓延提升了最終用戶對(duì)LLM和GenAI的認(rèn)識(shí)，引發(fā)了一波商業(yè)實(shí)驗(yàn)和AI初創(chuàng)企業(yè)的浪潮。2023年4月的Gartner網(wǎng)絡(luò)研討會(huì)發(fā)現(xiàn)，381名中國參會(huì)人員有70%已經(jīng)或計(jì)劃啟動(dòng)GenAI項(xiàng)目，其中6%已在生產(chǎn)環(huán)境部署了GenAI，26%在試點(diǎn)GenAI，38%處于規(guī)劃階段。

CIO及其安全團(tuán)隊(duì)需要為GenAI的影響做好準(zhǔn)備，在以下四個(gè)方面采取措施：

• 為構(gòu)建GenAI應(yīng)用提供安全保護(hù)：AI應(yīng)用攻擊面不斷擴(kuò)大，產(chǎn)生了新的潛在風(fēng)險(xiǎn)，需要對(duì)現(xiàn)有應(yīng)用安全實(shí)踐進(jìn)行調(diào)整。
• 管理和監(jiān)控使用GenAI的方式：各企業(yè)機(jī)構(gòu)正在探索如何使用嵌入現(xiàn)有應(yīng)用的GenAI助手，這些應(yīng)用都有獨(dú)特的安全要求，是傳統(tǒng)安全控制措施無法滿足的。
• 利用生成式網(wǎng)絡(luò)安全AI進(jìn)行防御：有效抓住GenAI機(jī)遇，從而改善安全和風(fēng)險(xiǎn)管理、 優(yōu)化資源、抵御新興攻擊技術(shù)，甚至降低成本。Gartner將生成式網(wǎng)絡(luò)安全AI定義為 GenAI技術(shù)在網(wǎng)絡(luò)安全中的應(yīng)用。
• 為受到GenAI攻擊做好準(zhǔn)備：GenAI工具和技術(shù)不斷發(fā)展，各企業(yè)機(jī)構(gòu)必須適應(yīng)惡意行為者不斷發(fā)展的技術(shù)或新的攻擊向量。

圖1對(duì)此進(jìn)行了說明

CIO及其安全團(tuán)隊(duì)不應(yīng)只是試圖跟上新技術(shù)發(fā)展的步伐，也需要規(guī)劃和建立一致而有效的AI安全治理計(jì)劃，以應(yīng)對(duì)GenAI采用激增的局面和各類新興場景。

AI安全治理項(xiàng)目應(yīng)整體覆蓋組織架構(gòu)、技術(shù)和政策。其早期任務(wù)之一就是制定所有構(gòu)建或部署AI的團(tuán)隊(duì)必須遵循的標(biāo)準(zhǔn)，包括安全AI開發(fā)、AI數(shù)據(jù)安全和AI安全應(yīng)急響應(yīng)標(biāo)準(zhǔn)。中國CIO和安全團(tuán)隊(duì)?wèi)?yīng)與利益相關(guān)者和企業(yè)機(jī)構(gòu)領(lǐng)導(dǎo)者合作，制定五個(gè)階段的AI安全治理計(jì)劃（見表1）。

表1: AI安全治理項(xiàng)目的五個(gè)階段及主要行動(dòng)