FraudGPT的“成功“標志著生成式人工智能武器化和黑客攻擊技術民主化的危險時代已經到來。

FraudGPT是一種通過Telegram瘋傳的基于訂閱的新型生成式人工智能黑客工具，訂閱費用為每月200美元或每年1700美元。2023年7月份被Netenrich的安全研究人員發現時，FraudGPT已經擁有超過3000個訂閱者。研究人員推測FraudGPT基于開源大語言模型開發，并去除了模型中的一些道德和安全限制。

FraudGPT之所以快速流行，是因為它將過去復雜的黑客攻擊技術通過生成式人工智能工具變成了技術小白也能輕松使用的自動化服務，例如編寫惡意代碼、創建無法檢測的惡意軟件、編寫令人信服的網絡釣魚電子郵件等。

武器化人工智能程序成為暗網最暢銷黑客工具

包括CrowdStrike、IBM Security、Ivanti、Palo Alto Networks和Zscaler在內的領先網絡安全供應商警告稱，甚至早在2022年11月下旬ChatGPT發布之前，包括國家支持的網絡黑客組織在內的攻擊者就開始將生成式人工智能武器化。

CrowdStrike首席科學家兼高級副總裁Sven Krasser指出，攻擊者正在加速將大語言模型和生成人工智能武器化，此類程序已經成為暗網最暢銷黑客工具。網絡犯罪分子正紛紛采用大語言模型技術進行網絡釣魚和惡意軟件，但“雖然這提高了對手發起攻擊的速度和數量，但它并沒有顯著改變攻擊的質量。”

Krasser表示，目前的生成式人工智能目前并沒有顯著提升攻擊技術，但它確實提高了平均水平，讓技術水平較低的對手也能發起有效攻擊。

FraudGPT開啟了一個危險的時代

FraudGPT的定位是網絡攻擊者的入門工具包，它利用一些經過驗證的攻擊工具，例如自定義黑客指南、漏洞挖掘和零日攻擊。FraudGPT提供的任何工具都不需要其使用者具備高級黑客技術知識。FraudGPT還為訂閱者提供了初級攻擊者必須具備的基線水平的間諜技術，包括：

• 編寫網絡釣魚電子郵件和社會工程內容
• 創建漏洞利用、惡意軟件和黑客工具
• 發現漏洞、泄露的憑證和存有信用卡信息的網站
• 提供有關黑客技術和網絡犯罪的建議

FraudGPT標志著一個危險的，民主化和武器化生成人工智能工具時代的開始。雖然FraudGPT當前的迭代版本還無法與朝鮮陸軍精銳偵察總局網絡戰121部隊等國家黑客組織的先進情報技術媲美，但其快速提升入門級攻擊者的能力有目共睹。

憑借訂閱模式，FraudGPT的用戶數在短短數月內就超過了最先進的國家網絡戰部隊，例如朝鮮的121部隊，據《紐約時報》報道，僅該部隊就擁有約1700名黑客。

雖然FraudGPT目前還不能像規模更大、更復雜的國家黑客部隊那樣構成迫在眉睫的威脅，但它推動的新手攻擊嘗試正呈指數級增長，此類攻擊通常從“最軟”的目標開始，例如教育、醫療和制造業。

武器化人工智能改變網絡安全的五大方式

基于生成式人工智能的網絡攻擊工具正在推動網絡安全供應商及其企業客戶加快步伐，力圖在這場人工智能軍備競賽中保持競爭力。隨著FraudGPT的異軍突起，網絡攻擊者數量快速增加，首先受到沖擊的就是“身份”。

生成式人工智能對基于身份的安全方法構成了真正的威脅。事實證明，前者可以有效地利用深度造假技術冒充首席執行官，并精心策劃社會工程攻擊，以獲取特權訪問憑證。FraudGPT正在通過以下五種方式顛覆網絡安全攻防態勢，為我們勾勒出武器化人工智能的未來：

自動化社會工程和網絡釣魚攻擊

FraudGPT展示了生成式人工智能生成“高質量”、令人信服的社會工程和網絡釣魚劇本（或場景）的能力，這些劇本和場景能夠誤導受害者，竊取他們的身份和公司網絡訪問權限。例如，攻擊者要求ChatGPT編寫有關成功的社會工程或網絡釣魚策略如何運作的科幻故事，欺騙大語言模型提供攻擊指導。

據VentureBeat報道，網絡犯罪團伙和國家黑客組織經常用外語（非英語）查詢ChatGPT和其他大語言模型，這樣該模型就不會像英語查詢那樣有效地拒絕潛在攻擊場景的上下文。暗網上還有一些專門從事提示工程的團體，教攻擊者如何繞過大語言模型的護欄來生成社會工程攻擊和支持電子郵件。

挖掘漏洞、生成惡意軟件

FraudGPT已被證明能夠生成針對特定受害者的網絡端點和更廣泛的IT環境量身定制的惡意腳本和代碼。新手攻擊者也可以使用FraudGPT來快速了解最新的威脅技術，以學習并部署攻擊場景。這意味著企業必須加倍努力確保其網絡衛生和端點安全。

人工智能生成的惡意軟件可以繞過大多數傳統網絡安全系統，因為后者在設計上并不能識別和阻止這種新威脅。根據最新發布的CrowdStrike威脅指數，無惡意軟件攻擊占的所有檢測的攻擊的71%，這表明攻擊技術在廣泛采用生成式人工智能之前就已經開始變得日益復雜。整個網絡安全行業近期發布的新產品也表明了對抗惡意軟件是網絡安全行業當下的高優先級任務，包括AmazonWebServices、Bitdefender、Cisco、CrowdStrike、Google、IBM、Ivanti、Microsoft和PaloAltoNetworks等公司都發布了基于人工智能的安全平臺增強功能，以識別惡意軟件攻擊模式，減少誤報。

網絡犯罪資源自動發現

相比手動研究，生成式人工智能將大大縮短漏洞挖掘、收集受損憑證、學習新的黑客工具以及掌握復雜網絡犯罪技能所需的時間。各種技能水平的攻擊者都將使用人工智能工具來發現未受保護的端點，攻擊未受保護的威脅面，并根據人工智能工具的建議發起有效網絡攻擊。

除了身份之外，端點也面臨更多攻擊威脅。一些CISO選擇將自愈端點作為整合策略和提高網絡彈性能力的核心，尤其是在依賴物聯網傳感器的混合IT和運營技術(OT)環境中。目前宣稱擁有自我修復端點技術產品的供應商包括AbsoluteSoftware、Cisco、CrowdStrike、Cybereason、ESET、Ivanti、Malwarebytes、微軟、Sophos和趨勢科技等。

人工智能驅動的防御規避才剛剛開始

武器化的生成式人工智能仍處于初級階段，FraudGPT也才剛剛起步。但沒有人懷疑，更先進、更致命的工具即將到來。不久的將來，攻擊者將大量使用生成式人工智能技術來逃避端點檢測和響應系統，并開發可以繞過靜態簽名檢測的惡意軟件變體。（防御者根據云端實時遙測數據識別異常行為以及監控每個端點將變得尤為關鍵）。

網絡安全供應商必須優先考慮統一端點和身份，以保護端點攻擊面。此外，使用人工智能來保護身份和端點至關重要。許多CISO正致力于將進攻驅動的戰略與技術整合相結合，以獲得對所有威脅面更加實時、統一的視圖，同時提高技術堆棧的效率。96%的CISO計劃整合其安全平臺，其中63%表示XDR（擴展檢測和響應)是他們解決方案的首選。

檢測和歸因更加困難

FraudGPT和未來的武器化生成式人工智能工具將使檢測和歸因變得更加困難。由于不涉及硬編碼，安全團隊將很難根據取證工件或證據將人工智能驅動的攻擊歸因于特定的威脅組織或活動。更強匿名能力和更低的檢測率意味著更長的攻擊駐留時間，攻擊者將能執行“低而慢”的攻擊，這是針對高價值目標的高級持續威脅（APT）攻擊的典型方法。武器化的生成式人工智能工具最終將使每個攻擊者都具備APT攻擊能力。