網絡洞察2025:社會工程學獲得人工智能的翅膀
社會工程學是大部分網絡犯罪活動的基礎。我們尚未找到解決方案,因為社會工程學已經根植于每個人的心靈中。
社會工程學的持久性
互聯網帶來了公民記者,人工智能帶來了公民社會工程師。任何人都可以成為社會工程師——事實上,每個人都是社會工程師。問題是,無論個人技能水平如何,人工智能都為社會工程師提供了翅膀。一直以來都是壞事,必然會變得更糟。
Praxis Security Labs首席執行官兼創始人 Kai Roer 解釋道:“社會工程學是人類的一種特性,是群居物種的特征。它不是新事物,也不會消失。它也不是你可以修補的東西,你也無法‘修復問題’——因為它不是問題?!?/p>
Praxis Security Labs 首席執行官兼創始人 Kai Roer
他繼續說,這是人性的一部分。“社交工程是一項關鍵技能,它可以幫助個人和團體建立和加強關系,溝通和表達意圖。它是一條雙向的街道,信號被發送和接收,以便信號可以被解讀和采取行動。”
你可以在任何地方測試這一點。每次你去超市,你都會受到社交工程的誘惑,被吸引到商店更深處,購買更多產品。你在廣告牌和電視上看到的每一個廣告都是社交工程的練習;當你遇到某人時,你會運用自己微妙的社交工程來改善關系——這是日常生活的重要組成部分。
“這種技能深深植根于人類天性,研究人員已經發現,嬰兒在學會說話之前就能夠識別人類群體中的權力結構,”羅爾補充道。
但是,當安全人員談論社會工程學時,他們談論的是犯罪分子利用自然的人際交往,加上謊言、虛假、虛假承諾等,從毫無戒心的受害者那里獲取非法利益。
“由于這些謊言,再加上大多數人的本能反應,犯罪分子得以成功實現他們的目標,”羅爾總結道?!斑@不是員工的錯——正如我們行業中的一些言論所聲稱的那樣——而是罪犯的錯。問問自己:強奸是誰的錯?強奸犯還是被強奸者?大多數人都會同意,應該受到指責的是攻擊者,而不是受害者。”
預防惡意網絡社交工程的根本問題是,我們只能治療受害者,而不能治療侵略者。通過“意識培訓”等解決方案“治療”受害者,我們實際上是在試圖讓受害者否認他們人性的一個基本方面,而對侵略者卻沒有任何影響。
結果是惡意的社會工程行為持續存在,并且將繼續存在(并且會惡化),因為工程和被工程是人類的天性。這就是我們成為社會動物的原因。
2025 年人工智能將助長惡意社交工程
Doppel首席執行官兼聯合創始人 Kevin Tian 簡明扼要地總結了 2025 年的社會工程威脅?!?025 年,社會工程將鞏固其作為頭號安全威脅的地位——由生成式人工智能增強。犯罪分子將不再僅僅依賴網絡釣魚電子郵件。他們將通過短信、深度偽造語音電話甚至社交媒體角色發起動態、實時的活動,并隨時調整。它是多渠道、多模式的,危險程度達到了一個全新的水平?!?/p>
Illumio 系統工程總監 Michael Adjei
人工智能將把社會工程學推向新的高度?!暗?2025 年,普通用戶實際上將成為不知情的大規模攻擊參與者,”Illumio 系統工程總監 Michael Adjei 警告說。“社會工程師將利用流行的應用程序、社交媒體功能甚至人工智能工具來欺騙人們無意中利用基于網絡或基于腳本的漏洞?!?/p>
他并不是唯一一個預見到這些人工智能輔助社會工程攻擊新水平的人。Sonatype 的首席技術官 Brian Fox警告說,盡管我們在 2024 年躲過了XZ Utils 的攻擊,但 2025 年可能會是災難性的。
“ XZ Utils 攻擊企圖于 2024 年被發現,但這是一場提前數年發起的復雜社會工程活動,”他說。“雖然這一令人震驚的發現標志著新趨勢的開始,但我知道類似的活動已經在進行中。XZ Utils并不是一個孤立事件,雖然更復雜的活動可能需要一些時間才能被發現,但不太復雜的模仿者將會盛行?!?/p>
與此同時,自從 ChatGPT 出現以及隨后大量 gen-AI 模型的出現以來,我們一直在期待并等待網絡犯罪分子使用 AI 來改進和擴大其現有攻擊。起初,人們的預期是電子郵件網絡釣魚會更加復雜、規模更大。這并沒有立即發生,但到 2024 年一直在穩步增長。
但隨著多模態人工智能的出現,威脅現在包括語音和視頻支持的深度偽造網絡釣魚的額外潛力。由已知聲音和面孔支持的網絡釣魚論點遠比簡單的文本更有說服力。人工智能將在 2025 年通過更直接地利用我們對人際社會工程的自然接受和參與來推動惡意社會工程。
SafeBreach 的首席信息安全官 Avishai Avivi 表示,人工智能增強型社會工程學的進步目前帶來的總體效果是將攻擊者置于“恐怖谷”的最佳位置;在這個位置上,人們很容易相信,但過于完美又會重新建立不信任。
“我們預計惡意行為者將在現有能力的基礎上,增加利用人工智能技術進行社會工程攻擊的數量和復雜性,以影響企業電子郵件入侵 (BEC) 和賬戶接管。具體來說,”他繼續說道,“我們預計惡意行為者將利用語音、短信和定向視頻等較新的替代渠道來攻擊其指定目標。這些人工智能輔助攻擊還可以獲取大量有關其目標的公開數據,并以前所未有的方式對其進行合成?!?/p>
社交工程的大多數屬性已經使用多年——包括深度偽造——但在人工智能出現之前,深度偽造的努力回報相對較低(一對一,而不是電子郵件文本網絡釣魚活動中的一對數千)。正是這種努力回報被人工智能顛覆了。Concordium 首席執行官 Boris Bohrer-Bilowitzki 警告說:“深度偽造的使用是一個令人擔憂的趨勢,到 2025 年可能會呈指數級增長?!?“深度偽造將變得更加復雜,成為網絡犯罪分子的主要攻擊媒介之一……使威脅行為者更容易欺騙人們,并對現代社會造成巨大的影響和成本。”
Barrier Networks高級 SOC 分析師 David Neeson同意這一評估。“借助人工智能和深度偽造技術,威脅行為者可能很快就會開始偽造個人身份并與潛在雇主進行視頻面試。這些攻擊很難被發現,并可能導致間諜活動急劇增加,組織可能會因被人工智能和深度偽造技術欺騙而意外雇用國家支持的行為者。”
Barrier Networks 高級 SOC 分析師 David Neeson
雇傭外國特工進行外國優先行動已經成為一個問題。2025 年,利用人工智能輔助社會工程學埋設外國特工進行間諜活動或破壞活動可能會增加。這種努力的回報不會像典型的人工智能輔助犯罪批量網絡釣魚活動那么大,但肯定會對民族國家對手具有吸引力(現在有更多時間可用,因為基于選舉的虛假信息努力不那么重要)。
然而,人工智能的普及意味著其用途將不僅限于 APT。它能夠提高批量網絡釣魚活動的復雜性和規模,這意味著以前不懂技術的犯罪分子將猖獗。與此同時,新出現的復雜高價值魚叉式網絡釣魚也可能會增多。
在暗網上,“專門從事這一領域的惡意行為者已經形成了一個蓬勃發展的‘市場’。令人信服且有效的音頻或視頻‘假貨’可以以低成本生成……甚至通過某些服務免費提供,”SentinelLabs 高級威脅研究員 Jim Walter指出。
這是地下犯罪專業化程度不斷提高的一部分——在這種情況下,他們提供深度偽造制作作為惡意軟件即服務 (MaaS) 運營的一部分。有關地下犯罪服務的更多信息, 請參閱犯罪團伙。
OPSWAT 培訓和認證服務副總裁 Irfan Shakeel 警告稱:“這項技術將冒充關鍵人物,例如首席執行官、政府官員,甚至是親人,讓人幾乎無法區分真實和虛假的通信。其影響深遠,從金融欺詐(騙子使用虛假視頻通話索要資金或敏感信息)到對數字互動的信任普遍喪失。”
CyberArk美國聯邦技術辦公室高級主管 James Imanian進一步表示:“這種方法還將滲透到其他領域——下一代資金轉移攻擊、知識產權盜竊和間諜活動將針對忙碌的高管和高級員工。企業和個人已經被犯罪分子欺騙,他們花費數月時間進行被稱為“殺豬”的社會工程騙局。準備好迎接個性化、自動化的人工智能代理攻擊風暴吧。”
簡而言之,人工智能的出現將改變社會工程學(迄今為止被廣泛認為只是網絡釣魚的一種手段)為各種攻擊的基礎要素,這些攻擊比我們以前見過的攻擊更復雜、更引人注目、偽裝性更強、規模更大。
針對人工智能社會工程學的可能人工智能防御
去年誕生了一個新行業:用人工智能防御來對抗人工智能攻擊。當然,這個行業正在積極宣傳自己是對抗人工智能輔助攻擊的最佳方式;但這些說法并沒有簡單的證據。技術可以而且正在被用來檢測深度偽造的聲音(相對容易)和深度偽造的視頻(更難,而且正在不斷改進);但沒有技術能夠改變人性。我們希望相信我們所聽到的和看到的東西——如果背景合理,我們很可能會相信它。
Votiro 產品主管 Eric Avigdor 建議,AI 防御應更多地關注如何防止成功攻擊造成的不良后果,而不是檢測 AI 社會工程攻擊?!案玫倪x擇是假設個人會收到許多此類消息,并幫助防止該人犯下分享敏感信息的錯誤,”他說?!袄?,通過檢測某人在看似不合適的情況和環境下分享其憑證或敏感數據,然后阻止或警告該人可能存在欺詐行為?!?/p>
Roer 也有類似的擔憂。“到 2025 年,我們將看到更多證據表明,網絡釣魚評估和安全意識培訓計劃并不是緩解社會工程攻擊的正確方法?!彼麚牡氖?,這樣的做法并不能有效改變用戶行為以減輕風險。同時,意識培訓通常是法規所要求的。
“我預計,越來越多的組織將認識到安全意識培訓和網絡釣魚評估只是一項合規活動,”他繼續說道。“因此,它們是必要之惡,但不會改變行為。組織可能會將培訓和評估的數量降至最低,勾選該復選框,并釋放預算和資源來實施安全措施,這些措施實際上會改變員工的行為,而不會引起怨恨和負面結果?!?/p>
他沒有具體說明哪些安全措施可以在意識培訓無法改變行為的情況下改變行為——但他的公司涉足了新興的人類風險管理領域。他并不是唯一一個提倡這種對抗社會工程學方法的人。田納西大學健康科學中心首席網絡安全分析師 Chris Madeksho于 2024 年 9 月為 Educause撰寫了關于這一概念的文章——Hoxhunt 聯合創始人兼首席執行官 Mika Aalto也是這一概念的追隨者。
Hoxhunt 聯合創始人兼首席執行官 Mika Aalto
“今年,隨著多位分析師將人力風險管理視為一個獨立的類別,老式的安全意識培訓模式正式被打破,”他解釋道。“這些人力資源管理平臺由人工智能驅動,旨在改變行為并通過自動威脅數據編排來增強 SOC?!?/p>
心理語言分析科學是應對社會工程威脅的另一種方法。這一理念對安全領域來說并不完全是新事物,但迄今為止主要側重于分析員工的心理狀態。該理論認為,員工的異議將通過監控內部(甚至是社交媒體,但這有點令人毛骨悚然)通信表現出來。人們相信,在員工成為惡意內部人員之前,可以發現并解決“不滿情緒”。
社會工程學的問題是,惡意意圖是否能在一次通信中被檢測到,而不是在一系列通信中被發現。Proofpoint 的網絡安全策略師 Matt Cooke認為這有一定的潛力。“心理語言學可以發揮關鍵作用,尤其是與先進的機器學習 (ML) 技術相結合時,”他說。
“基于轉換器的模型(例如 BERT 和 GPT)等工具擅長理解單詞之間的復雜關系,它們已經被用來分析電子郵件內容,以發現網絡釣魚等威脅。然而,需要注意的是,僅從內容檢測威脅并非萬無一失。發件人身份驗證(例如 DMARC)和行為模式等情境因素也能增強檢測能力?!?/p>
Iris Powered by Generali 首席執行官 Paige Schaffer
簡而言之,心理語言學加上額外的背景信息可以幫助檢測惡意內容。阿爾托對此表示同意?!斑@些技術可以分析消息中的語言和情感線索,以識別欺騙或操縱的跡象。例如,它們可以檢測到釣魚和詐騙通信中常見的不尋常的緊迫感、恐懼訴求或不一致之處。已經存在可以檢測深度偽造中的異常元數據以區分這些消息的工具?!?/p>
但他也同意,額外的幫助對這一過程大有裨益?!半m然人工智能驅動的內容分析將在檢測中發揮關鍵作用,但當它與用戶教育、行為分析和強大的身份驗證協議等其他安全措施相結合時,效果將最顯著?!?/p>
但要永遠記住,對鵝有利的,對鵝不利的。Iris Powered by Generali 首席執行官 Paige Schaffer 表示,犯罪分子可以利用人工智能來抓取數字世界,以創建高度個性化且可信的信息。她警告說:“隨著犯罪分子更好地了解我們的決策過程并利用偏見和其他心理因素,我們還可能看到更有效的社會工程攻擊。”
“同樣,通過分析大型數據集,人工智能系統可以幫助犯罪分子識別心理弱點,甚至是更容易受到社會工程攻擊的某些個人。”
社會工程學的未來
ThreatLocker 首席執行官兼聯合創始人
任何認為防御者可以通過在防御中使用自己的人工智能來領先于使用人工智能的攻擊者的想法都是愚蠢的。在人工智能出現之前我們無法做到這一點,在人工智能出現之后我們也不會做到這一點。我們自己對人工智能的使用最多只能與當前犯罪分子對人工智能的使用相匹配。當這種情況發生時,犯罪分子和民族國家將修正他們的行為,我們將再次開始追趕過程。
ThreatLocker首席執行官兼聯合創始人 Danny Jenkins指出了古德哈特定律:“當一項措施成為目標時,它就不再是一項好措施?!彼硎荆瑧玫酱颂帲斑@意味著一旦某些標記被確定為壞標記,惡意行為者就可以改變他們的技術以避免使用它們,從而避免被檢測到。是的,它可能會提高檢測率,但不會解決問題,就像惡意軟件檢測無法檢測到所有惡意軟件一樣?!?/p>
這意味著,每當我們成功應對新的攻擊方法時,攻擊者就會修改他們的方法——而我們需要修改我們的防御策略。我們使用人工智能進行防御很重要,但不會改變游戲規則:人工智能將為社會工程學插上翅膀。我們永遠無法贏得安全之戰;所以,我們需要在不安全中生存下來。業務彈性必須是我們采用的所有安全控制和流程的最終目的,因為我們永遠無法徹底擊敗或保護自己免受社會工程學的侵害。