經驗豐富的激流漂流練習者都知道，當他們到達河灣聽到嘩嘩的水聲但卻看不到前方有什么的時候，就是把船停到最近河岸并觀察路線的好時機。在當前生成式AI使用場景呈現爆炸式增長的背景下，網絡安全行業也進入到這種“湍流”時刻。

近日在美國拉斯維加斯舉辦的Black Hat 2023網絡安全大會期間，這一點得到了充分的印證，有多位演講者都談到了快速變化的AI領域，特點就是問題多于答案。

威脅行為者是否正在積極使用ChatGPT？有可能，但迄今為止證據還很少。大型語言模型是否會被毒害而產生惡意行為？當然，但他們是如何操控模型進行最大限度的攻擊，這一點還在研究中。

盡管目前還存在不確定性，但安全研究人員和高管們都明確一點：生成式AI將重塑網絡安全世界，這是一場很少有人能想象到的變革。

三年前，McAfee公司和FireEye公司前首席執行官、NightDragon創始人Dave DeWalt曾提出網絡安全“超級周期”，將其描述為推動網絡安全行業增長的關鍵時期，他還談到了當前AI浪潮背后的意義。

DeWalt說：“威脅無處不在，生成式AI創造了這個全新的模型。這個超級周期看起來可能是我見過的最大的周期之一。”

實踐分析

安全研究人員一直在努力收集信息，以便更清楚地了解生成式AI日益普及而引發的新興威脅。在這次Black Hat大會上，很多公司設立了實驗室，供與會者試驗涉及AI的各種安全技術。Nvidia DGX系統在如何完善數據和應對AI方面發揮了重要作用，這次Nvidia合作舉辦了多場研討會，供研究人員審查安全性并試驗AI安全工具。

隨著惡意行為者開發和部署復雜威脅行為的能力不斷提高，實踐研究也迫在眉睫。在一次會議演講中，研究人員讓我們一睹了類人數字孿生的風采，也就是在線角色創建，有時甚至配備100%數字生成的假照片，以實現逼真的對話互動。

來自Beyond Layer Seven的研究人員描述了一個惡意行為者利用AI冒充在線服務治療師并說服一名用戶自殺的事件。

中佛羅里達大學應用神經科學家Ben Sawyer博士在演講中表示：“人類可以攻擊這些模型，而這些模型可以很快變成高級威脅行為者，數字孿生顯然有能力攻擊人類，這是一種真正全新的生態系統，并且發展非常迅速。”

通過生成AI模仿人類互動的能力，也為網絡釣魚攻擊注入了強大動力。在一個演講中，哈佛大學的一名研究人員提供了證據表明，大型語言模型使得以前欺詐性電子郵件中發現的拼寫錯誤或錯誤語法的相關線索，現在已經完全消失。

哈佛大學哈佛工程與應用科學院研究員Fredrik Heiding說：“現在創建非常高效的網絡釣魚電子郵件變得非常容易，而且你不需要具備太多知識。”

在社會工程領域利用數據

復雜的網絡釣魚攻擊所造成的損害和社會工程這個更廣泛的用途相比，就會顯得黯然失色了。安全研究人員越來越關注使用生成式AI傳播虛假信息或者以編程方式控制輿論（通常是社交媒體渠道實現的）。

F5公司全球情報負責人Dan Woods在接受采訪時表示：“這是一種非常非常嚴重的威脅，我們都會受到影響而相信不真實的事情。我認為社交媒體公司存在虛假賬戶的重大問題，現在這還沒有引起足夠的重視。”

安全界的一個擔憂是，生成式AI已經打開了收集大量信息的閘門。ChatGPT和其他強大的AI引擎依賴于大量數據的攝取，這些數據是通過網絡抓取收集的或從海量數據集中上傳的，用于訓練模型。

Zoom Video Communications公司最近澄清了他們有關AI數據收集的做法，此前該公司的服務條款發生了變化，無需事先獲得用戶許可即可將信息用于訓練模型。

Black Hat大會觀察：網絡安全世界AI威脅導致問題叢生

Jeff Moss

DEF CON Communications總裁、Black Hat創始人Jeff Moss在開場主題演講中表示：“他們現在可以用我在Zoom上所做的事情來訓練他們的系統。我對此并不滿意，但我無法按下按鈕說‘兄弟，別訓練我’，這將是未來互聯網上的一場戰斗。”

政府加入其中

海量數據收集和AI使用帶來越來越多的威脅，這導致監管方面的措施也在增加。在歐洲，立法方提出了AI Act人工智能法案，其中詳細規定了在訓練模型中使用的受版權保護數據將是公開可用的。

近幾個月來，開源成了受到監管機構特別關注的一個領域。歐盟目前正在考慮批準Cyber Resilience Act法案，該法案旨在通過針對具有數字元素的產品制定通用標準來改善歐盟的網絡安全狀況。

然而，當前的提案將要求開源開發者對商業產品的安全問題承擔責任，Sonatype公司聯合創始人、首席技術官Brian Fox認為，這一條款是給歐盟的開源領域敲響了“喪鐘”。

Fox說：“我不知道未來會如何發展，但我們現在面臨的挑戰是要提高認知，人們需要關心這個事件并發出自己的聲音。”

開源安全在美國也開始受到更多關注。近日，美國國家網絡主任辦公室（ONCD）發布了一份信息請求，以更好地了解開源安全并制定改進政策。

ONCD代理國家網絡總監Kemba Walden也在這次Black Hat大會上露面，他表達了自己對于開源開發者社區內部安全問題沒有得到解決的驚訝。

Walden說：“我很驚訝地發現，開發者社區并不一定或者并不總是經過了安全設計方面的培訓，我們如何讓開源變得更安全，這是一個基本的問題。”

如今被廣泛使用的開源工具（例如流行的Java日志框架Log4J）中發現的一些漏洞，加劇了政府對開源開發人員的興趣，然而也可能是開發人員已經成為當前威脅環境中一大主要目標而導致了這個問題的緊迫性。

GitHub安全運營副總裁Alexis Wales表示：“我們可能比這個領域的其他任何人都更了解開發者體驗和開發者工作流程。開發商正成為一大目標，我們現在在眾多威脅行為者身上看到了這一點。”

針對關鍵基礎設施

在針對開發人員的攻擊、對開源漏洞的擔憂、以及AI被廣泛使用可能引發的一波新威脅之間，安全社區還有很多值得擔心的事情，也許人們忽略了影響關鍵基礎設施的一些重大違規行為的未來前景。

殖民地管道勒索軟件攻擊和試圖篡改某地區供水情況，就是兩個值得注意的例子。在接受本文采訪時，一家致力于保護關鍵基礎設施的網絡安全公司的高管表達了他的擔憂，世界突然敲響警鐘很可能只是一個時間上的問題。

Claroty公司首席執行官Yaniv Vardi表示：“我擔心我們在西方世界的關鍵基礎設施沒有得到足夠好的保護。我認為災難性事件遲早會發生，重點將是關鍵基礎設施。”

在整個Black Hat大會的演講以及本文的采訪過程中，沒有人樂觀地認為全球對于生成式AI的迷戀會創造保護系統和網絡的“殺手級應用”，也沒有人預測威脅行為者將取得勝利并統治世界。

Fastly公司的安全研究員Simran Khalsa在接受采訪時表示：“這兩股力量將相互推動，我們必須隨之不斷演進發展。”