所有人工智能項目在某種程度上都存在一些風險，生成式人工智能的快速增長和部署凸顯了安全控制措施的局限性，同時也開辟了新的脆弱性。

如果市場研究表明人工智能的使用方向，那么首席信息安全官可以預期70%的企業將通過使用ChatGPT來探索生成式人工智能。調研機構普華永道公司在今年5月發布的一份研究報告表明，幾乎所有的商界領袖都表示，他們的公司在短期內至少優先考慮一項與人工智能系統有關的舉措。

生成式人工智能出現了投資熱潮。調研機構高盛公司預測，生成式人工智能可以將全球GDP提高7%。麥肯錫公司表示，人工智能的主要用例是客戶運營、營銷和銷售、研發和軟件工程。例如在軟件領域，根據全球戰略咨詢機構Altman Solon公司進行的一項調查，近25%的科技公司已經在使用人工智能進行軟件開發，另有66%的企業可能在2024年采用人工智能。

人工智能驅動網絡攻擊

根據Gartner公司進行的調查，68%的企業高管認為生成式人工智能的好處大于風險，相比之下，只有5%的高管認為風險大于好處。然而，Gartner公司的分析師Frances Karamouzis在報告中表示，隨著投資的深化，企業高管可能會開始轉變他們的觀點。Karamouzis說：“隨著企業開始開發和部署生成式人工智能，他們可能會遇到一系列信任、風險、安全、隱私和道德問題?！?/p>

最新的風險之一是提示注入攻擊，這是一個全新的企業威脅載體。Gartner公司的分析師Avivah Litan表示：“這是一種新的攻擊媒介，也是一種新的危害媒介，傳統的安全控制措施不夠好。”她表示，在其他情況下，聊天機器人用戶可以看到其他人的提示。

許多“越獄”的ChatGPT和其他大型語言模型的公開實例已經被看到欺騙。它做了一些不應該做的事情——例如編寫惡意軟件或提供炸彈制作方法。一旦企業開始推出自己的生成式人工智能，例如用于客戶服務的人工智能，“越獄”的ChatGPT可能會讓不良行為者訪問他人的賬戶或實施其他有害行為。

今年早些時候，全球性安全組織OWASP發布了在大型語言模型中發現的十大嚴重漏洞列表，提示注入排在第一位。網絡攻擊者還可以利用這些大型語言模型來執行惡意代碼、訪問受限資源或毒化訓練數據。當用戶自己部署模型時，他們可以在提示環境中設置防火墻，并在提示環境周圍采取可觀察性和異常檢測措施。Litan說，“用戶可以看到發生了什么，也可以建立控制?！?/p>

第三方供應商不一定是這樣。即使供應商對最初用于創建模型的訓練數據有一流的安全控制，聊天機器人也需要訪問操作數據才能發揮作用。Litan說：“傳統的保護控制不適用于進入模型的數據和及時注入。把所有這些都保留在內部部署設施確實很有意義，但必須將安全保護措施落實到位?！?/p>

降低使用人工智能帶來的數據暴露風險

求職招聘網站Glassdoor公司對9000多名美國專業人士進行的一項調查表明，他們都很喜歡采用ChatGPT，80%的受訪者反對禁止這項技術。但是ChatGPT和類似的大型語言模型是基于它們與用戶的交互而不斷訓練的。問題是，如果用戶請求幫助編輯一份充滿企業機密的文件，人工智能系統可能會了解到這些秘密，并在未來向其他用戶透露這些秘密。Forrester Research公司的分析師Jeff Pollard表示：“這些都是非常合理和現實的擔憂?！?/p>

Cyberhaven公司的首席安全官Chris Hodson表示：“我們已經看到醫生將患者信息上傳到ChatGPT，以便為患者描述病情?！?/p>

Forrester公司的Pollard表示，專門為企業用戶設計的平臺確實很重視這個問題。他說：“他們對保留他人的數據不感興趣，因為他們明白這是采用的障礙。”

部署生成式人工智能最安全的方法是企業在自己的基礎設施上運行私有模型。然而，Altman Solon表示，這并不是最受歡迎的選擇，只有20%的企業更喜歡這一選擇。大約三分之一的企業選擇通過使用提供商自己的運營環境，利用公共基礎設施來部署生成式人工智能。這是最不安全的選擇，要求企業對生成式人工智能供應商給予極大的信任。

很多企業 (48%)部署在第三方云計算環境中，例如虛擬私有云。例如，微軟公司在其Azure云中為企業客戶提供安全并且隔離的ChatGPT部署。微軟公司聲稱，今年3月，已有1000多家企業客戶在Azure OpenAI服務上使用ChatGPT和其他OpenAI模型，到今年5月中旬，這一數字已增長到4500家。使用這項服務的企業包括梅賽德斯-奔馳、強生、AT&T、CarMax、DocuSign、沃爾沃以及宜家。

人工智能在治理和合規方面的風險

生成式人工智能創紀錄的采用率遠遠超過了企業監管這項技術的能力。禮德律師事務所(Reed Smith LLP)專注于網絡安全和機器學習的合伙人Gerry Stegmaier表示：“我認識的一些人采用ChatGPT工作，每周節省了大量時間，但這些人所在的企業卻不知道這一點。如今，員工在個人層面上的生產率正在大幅提高，但在很大程度上，企業高管并沒有意識到員工生產率的提高。”

根據Fishbowl公司在今年2月發布的一項調查報告，43%的專業人士使用過ChatGPT這樣的工具，但其中近70%的人是在企業高管不知情的情況下使用的。Stegmaier說，這意味著企業可能會以法律和監管風險的形式承擔技術債務，他們不知道也無法衡量這些債務。

Netskope公司最近的一份基于使用數據的報告表明，ChatGPT的使用量每月增長25%，大約1%的員工每天使用ChatGPT。因此，目前約有10%的企業禁止員工使用ChatGPT。

企業可能對員工的所作所為缺乏了解，此外還缺乏對法律法規的了解。Stegmaier說，“大型企業需要一定的可預測性，而目前的不確定性是不可估量的?！?/p>

知識產權和進入模型的訓練數據存在不確定性，隱私和數據安全法規存在不確定性，新的法律和合規風險一直在出現。例如，今年6月，OpenAI公司由于ChatGPT聲稱一名電臺主持人挪用資金而被起訴。OpenAI公司或其他公司由于其聊天機器人回答的內容而被起訴，這些公司可能對機器人所說的內容負責，也可能不負責。這取決于產品責任法的適用方式。Stegmaier說：“如果為了獲利，人們就會在他們的法律理論中發揮創造性。”

Stegmaier認為，關于軟件是否是一種產品的問題已經發生了一些變化，潛在的影響可能是巨大的。也有可能出臺有關數據隱私的新法律，其中包括歐盟的《人工智能法案》。他預計美國在不久的將來并不會出臺類似的法律，因為很難達成共識，美國聯邦貿易委員會一直在發布有關人工智能的聲明。他表示：“人工智能對消費者、對企業、對監管機構都非常有吸引力。當這三件事結合在一起時，往往會出現新的執法或新的監管活動?！?/p>

為了保持行業領先地位，他建議企業提高他們的生成式人工智能學習曲線，這樣他們就可以應用他們目前的最佳實踐工具，包括隱私設計、安全設計和反歧視原則。Stegmaier表示：“就生成式人工智能而言，‘快速運行并打破現狀’在規模上不會是一種可接受的策略，尤其是對大型企業來說?！?/p>

不幸的是，根據部署的不同模型，企業可能很少或根本不了解生成式人工智能正在發生什么，即使他們知道它正在發生。例如，如果一名員工要求ChatGPT幫助給客戶寫信，那么ChatGPT將需要獲得有關客戶的一些信息，至少在提出答案時是這樣。這意味著在一段時間內，數據將存儲在OpenAI公司的服務器上。此外，如果員工使用ChatGPT保存會話歷史記錄，則數據將無限期地保留在這些服務器上。

Insight Enterprises公司杰出工程師Carm Taglienti表示，在歐洲和其他有數據駐留法的司法管轄區，數據遷移問題尤為重要。他說：“人們并不真正了解它的去向，也不知道在提交的數據上發生了什么操作。一旦無法控制，它就成為了一個漏洞。”他建議，如果企業計劃使用生成式人工智能，他們應該認真考慮需要采取的控制措施。他建議，可以從美國國家標準與技術研究院(NIST)的人工智能風險管理框架開始。

在理想情況下，企業在選擇平臺之前應該考慮治理問題。然而，根據畢馬威公司進行的一項調查，只有6%的企業有專門的團隊來評估生成人工智能的風險并實施風險遷移策略。此外，只有35%的企業高管表示，他們的公司計劃在未來12個月內專注于改善人工智能系統的治理，只有32%的風險專業人士表示，他們現在參與了生成式人工智能應用的規劃和戰略階段。最后，只有5%的企業制定了成熟的負責任的人工智能治理計劃，盡管19%的企業正在制定這樣的計劃，近一半的企業表示將制定這樣的計劃。

企業首先應該做什么?Omdia公司企業安全管理首席分析師Curtis Franklin表示：“我的建議是，企業領導者應該立即開始教育員工，讓他們了解使用生成式人工智能的潛在風險。他們不太可能阻止生成式人工智能的使用，但需要讓員工知道與之相關的風險。這是直接的措施。人們應該在考慮如何做到這一點?！?/p>

下一步措施是成立一個來自不同業務部門的利益相關者參與的委員會，研究如何在企業中合法地使用生成式人工智能，并開始平衡這些好處和風險。Franklin說，“企業應該有一個基于風險的框架，在這個基礎上決定將如何使用它，并保護企業免受潛在的濫用或不良使用。”