自OpenAI于11月底推出ChatGPT以來，各方的評論人士都在擔心人工智能驅動的內容創作將產生的深遠影響，尤其是在網絡安全領域。事實上，許多研究人員擔心生成式人工智能解決方案將使網絡犯罪大眾化。

雖然安全團隊也可以將ChatGPT用于防御目的，例如測試代碼，但其降低了網絡攻擊的進入壁壘/門檻，這無疑會進一步加劇威脅形勢的復雜程度。

網絡犯罪的“大眾化”

從網絡安全的角度來看，ChatGPT的誕生所帶來的主要挑戰是，任何人——無論其技術程度如何——都可以根據需要編寫代碼來生成惡意軟件和勒索軟件。

Tanium端點安全專家Matt Psencik表示，“正如ChatGPT可以用于幫助開發人員編寫代碼一樣，它也可以(并且已經)被用于惡意目的。我們已經發現的幾個例子是，要求機器人創建令人信服的網絡釣魚電子郵件，或協助逆向工程代碼以找到可能被惡意使用的零日漏洞，而不是將它們報告給相關供應商。”

不過，Psencik指出，ChatGPT確實有內置防護機制，旨在防止該解決方案被用于犯罪活動。例如，它將拒絕創建shell代碼或提供關于如何創建shell代碼及逆向shell的具體說明，并標記惡意關鍵字，如網絡釣魚，以阻止請求。

但是，這些保護措施的問題在于，它們依賴于人工智能來識別用戶試圖編寫惡意代碼的企圖，就這一點而言，用戶可以通過重新措辭查詢來混淆識別。

如何使用ChatGPT創建勒索軟件和釣魚郵件

雖然ChatGPT發布時間不長，但安全研究人員已經開始測試它生成惡意代碼的能力。例如，Picus Security的安全研究員和聯合創始人Suleyman Ozarslan博士最近不僅使用ChatGPT創建了網絡釣魚活動，還為MacOS創建了勒索軟件。

Ozarslan介紹稱，“我們從一個簡單的練習開始，看看ChatGPT是否能創建一個可信的網絡釣魚活動，結果證明確實如此。我輸入了一個提示，要求其寫一封世界杯主題的電子郵件，用于網絡釣魚模擬，結果它在短短幾秒鐘內就用完美的英文創建完成了一封。”

在這個例子中，Ozarslan聲稱自己是一家攻擊模擬公司的安全研究員，希望開發一個網絡釣魚攻擊模擬工具，便“說服”AI生成了一封網絡釣魚電子郵件。

雖然ChatGPT意識到“釣魚攻擊可以用于惡意目的，并可能對個人和企業造成傷害”，但它仍然生成了這封電子郵件。

完成初次嘗試后，Ozarslan又要求ChatGPT為Swift編寫代碼，Swift可以找到MacBook上的微軟Office文件，并通過HTTPS將其發送到網絡服務器，然后對MacBook上的Office文件進行加密。該解決方案的響應是生成示例代碼，而沒有提供任何警告或提示。

Ozarslan的研究實踐表明，網絡犯罪分子可以很輕松地繞過OpenAI的保護機制，要么把自身偽裝為研究人員，要么混淆他們的惡意意圖。

網絡犯罪的上升使天平失衡

雖然ChatGPT確實為安全團隊帶來了積極的好處，但通過降低網絡犯罪分子的進入門檻，它有可能加速(而非減少)威脅環境的復雜性。

例如，網絡犯罪分子可以利用人工智能來增加在野網絡釣魚威脅的數量，這不僅會進一步加劇安全團隊的負擔，而且只需成功一次就可能引發大規模數據泄露，造成數百萬美元的經濟損失和無法挽回的聲譽損失。

電子郵件安全提供商IRONSCALES的研發副總裁Lomy Ovadia表示，“在網絡安全方面，ChatGPT可以為攻擊者提供比目標更多的東西。對于商業電子郵件妥協(BEC)來說尤為如此，因為這種攻擊依賴于使用欺騙性內容來冒充同事、公司VIP、供應商甚至客戶。”

Ovadia認為，如果CISO和安全領導者依靠基于策略的安全工具來檢測AI/GPT-3生成內容的釣魚攻擊，那么他們將注定失敗，因為這些AI模型使用先進的自然語言處理(NLP)來生成幾乎不可能與真實例子區分開來的詐騙電子郵件。

例如，今年早些時候，新加坡政府技術機構的安全研究人員創建了200份釣魚郵件，并將其點擊率與深度學習模型GPT-3創建的郵件進行了比較，結果發現更多的用戶點擊了人工智能生成的釣魚郵件，而非人類用戶生成的郵件。

好消息是什么?

雖然生成式AI確實給安全團隊帶來了新的威脅，但它也提供了一些積極的用例。例如，分析人員可以使用該工具在部署前審查有漏洞的開源代碼。

HackerOne公司解決方案架構師Dane Sherrets表示，“今天，我們看到很多道德黑客正在使用現有的人工智能技術來幫助編寫漏洞報告，生成代碼樣本，并識別大型數據集的趨勢。這一切都表明，今天人工智能最好的應用是幫助人類做更多造福人類的事情。”

然而，試圖利用生成式人工智能解決方案(如ChatGPT)的安全團隊仍然需要確保充分的人力監督，以避免潛在的問題。

Sherrets補充道，“ChatGPT所代表的進步令人興奮，但技術還沒有發展到完全自主運行的程度。要讓人工智能發揮積極作用，還需要人力監督以及進行一些手動配置，不能總是依靠絕對最新的數據和情報來運行和訓練。”

正是出于這個原因，Forrester建議實現生成式人工智能的企業應該部署工作流和治理，來管理人工智能生成的內容和軟件，以確保其準確性，并降低發布具有安全性或性能問題的解決方案的可能性。

不可避免的是，生成式AI和ChatGPT的真正風險將取決于安全團隊或威脅行為者是否在AI攻防大戰中更有效地利用自動化。