對機器學習模型的對抗性攻擊在強度、頻率和復雜度上不斷增加，越來越多的企業承認它們遭遇了與AI相關的安全事件。

AI的廣泛采用正在導致一個快速擴展的威脅面，所有企業都在努力應對。Gartner關于AI采用的最新調查顯示，73%的企業已部署了數百或數千個AI模型。

HiddenLayer的早期研究發現，77%的公司識別出了與AI相關的安全漏洞，而其余公司則不確定其AI模型是否受到攻擊。五分之二的企業經歷了AI隱私泄露或安全事件，其中四分之一是惡意攻擊。

對抗性攻擊日益增長的威脅

隨著AI在各行業的影響力不斷增強，惡意攻擊者繼續精煉他們的技術，利用機器學習模型日益增多的漏洞，因為威脅面的種類和數量都在增加。

對機器學習模型的對抗性攻擊試圖通過故意使用輸入、受損數據、越獄提示以及在圖像中隱藏惡意命令來利用模型中的漏洞，并將這些圖像加載回模型進行分析。攻擊者調整對抗性攻擊，使模型產生錯誤的預測和分類，從而生成錯誤的輸出。

記者Ben Dickson解釋了對抗性攻擊如何運作，它們的多種形式以及該領域的研究歷史。

Gartner還發現，41%的企業報告經歷了某種形式的AI安全事件，包括針對機器學習模型的對抗性攻擊。在這些報告的事件中，60%是內部人員導致的數據泄露，而27%是針對企業AI基礎設施的惡意攻擊。30%的AI網絡攻擊將通過訓練數據投毒、AI模型竊取或對抗樣本來攻擊AI驅動的系統。

對機器學習攻擊在網絡安全中的增長

通過對抗性機器學習攻擊破壞整個網絡是一些國家寄希望于用來干擾其對手基礎設施的隱蔽攻擊策略，這將對供應鏈產生連鎖反應。2024年美國情報界年度威脅評估提供了一個令人警醒的視角，說明了保護網絡免受對抗性機器學習模型攻擊的重要性，以及為什么企業需要考慮更好地保護其私有網絡，防止對抗性機器學習攻擊。

一項最新研究指出，網絡環境的日益復雜要求更先進的機器學習技術，這也為攻擊者提供了新的漏洞。研究人員發現，對機器學習在網絡安全中的對抗性攻擊威脅正在達到流行水平。

迅速增加的連接設備數量和數據的激增使企業陷入了與惡意攻擊者的軍備競賽中，許多攻擊者由尋求控制全球網絡的國家資助，以獲得政治和經濟利益。對于企業來說，問題不再是是否會遭遇對抗性攻擊，而是何時會遭遇。與對抗性攻擊的斗爭仍在繼續，但企業可以通過正確的策略和工具獲得優勢。

Cisco、Cradlepoint(Ericsson的子公司)、DarkTrace、Fortinet、Palo Alto Networks以及其他領先的網絡安全供應商在利用AI和機器學習檢測網絡威脅和保護網絡基礎設施方面擁有深厚的專業知識。每家公司都采取了獨特的方法來應對這一挑戰。媒體對Cisco和Cradlepoint最新進展的分析表明，各供應商在應對網絡安全和模型安全威脅方面的速度之快。Cisco最近收購Robust Intelligence突顯了保護機器學習模型對這家網絡巨頭的重要性。

理解對抗性攻擊

對抗性攻擊利用了數據完整性和機器學習模型穩健性中的弱點。根據美國國家標準與技術研究院(NIST)的《人工智能風險管理框架》，這些攻擊引入了漏洞，使系統容易受到對抗性利用。

對抗性攻擊主要有以下幾種類型：

• 數據投毒(Data Poisoning)：攻擊者將惡意數據引入模型的訓練集，從而降低模型性能或控制其預測。根據Gartner 2023年的報告，近30%的啟用AI的企業(尤其是金融和醫療行業)都經歷過這種攻擊。后門攻擊通過在訓練數據中嵌入特定觸發器，使模型在遇到這些觸發器時在現實輸入中表現異常。2023年MIT的一項研究指出，隨著AI采用率的提高，此類攻擊的風險也在增加，使得像對抗訓練這樣的防御策略越來越重要。
• 規避攻擊(Evasion Attacks)：這些攻擊通過修改輸入數據使模型產生錯誤預測。輕微的圖像失真可能會讓模型錯誤分類物體。廣泛使用的規避方法之一是快速梯度符號法(FGSM)，它利用對抗性噪聲欺騙模型。在自動駕駛汽車行業，規避攻擊引發了安全問題，修改后的停車標志被誤認為是讓行標志。2019年的一項研究發現，一個小小的貼紙就能讓自動駕駛汽車將停車標志誤判為限速標志。騰訊的Keen安全實驗室曾利用路面貼紙欺騙Tesla Model S的自動駕駛系統，這些貼紙將車輛引入錯誤車道，展示了精心設計的輸入微小變化如何帶來危險。對關鍵系統(如自動駕駛汽車)的對抗性攻擊是真實存在的威脅。
• 模型反轉(Model Inversion)：此類攻擊允許攻擊者從模型輸出中推斷敏感數據，尤其當模型是基于機密數據(如健康或財務記錄)進行訓練時，風險尤為嚴重。黑客通過查詢模型并利用響應數據反向推斷訓練數據。2023年，Gartner警告稱，“模型反轉的濫用可能導致嚴重的隱私侵犯，特別是在醫療和金融領域，攻擊者可以從AI系統中提取患者或客戶的信息。”
• 模型竊取(Model Stealing)：攻擊者通過多次API查詢復制模型功能。這些查詢幫助攻擊者創建一個行為類似于原始模型的代理模型。AI Security指出：“AI模型通常通過API查詢成為攻擊目標，攻擊者借此反向工程其功能，這對專有系統，特別是在金融、醫療和自動駕駛行業，帶來了重大風險。”隨著AI使用的增加，這類攻擊也在增長，導致對AI模型中的知識產權和商業機密的擔憂加劇。

識別AI系統中的薄弱環節

保護機器學習模型免受對抗性攻擊需要深入了解AI系統的漏洞。需要關注的關鍵領域包括：

• 數據投毒和偏見攻擊：攻擊者通過注入帶有偏見或惡意的數據，攻擊AI系統，破壞模型的完整性。醫療、金融、制造和自動駕駛行業最近都經歷了這些攻擊。2024年NIST的報告警告稱，薄弱的數據治理放大了這些風險。Gartner指出，對抗性訓練和強有力的數據控制可以使AI的韌性提升高達30%。建立安全的數據管道并進行持續驗證對于保護關鍵模型至關重要。
• 模型完整性與對抗性訓練：機器學習模型在沒有對抗性訓練的情況下容易受到操控。對抗性訓練通過使用對抗性示例顯著增強了模型的防御能力。研究人員指出，對抗性訓練提高了模型的穩健性，但需要更長的訓練時間，并且可能在準確性與韌性之間進行權衡。盡管存在缺陷，對抗性訓練仍是抵御對抗性攻擊的重要防線。研究還發現，在混合云環境中，糟糕的機器身份管理增加了機器學習模型遭受對抗性攻擊的風險。
• API漏洞：模型竊取和其他對抗性攻擊對公共API極為有效，它們是獲取AI模型輸出的關鍵。許多企業因缺乏強大的API安全性而容易受到攻擊，正如在BlackHat 2022大會上所提到的那樣。包括Checkmarx和Traceable AI在內的供應商正在自動化API發現并阻止惡意機器人以減少這些風險。必須加強API安全性以維護AI模型的完整性并保護敏感數據。

保護機器學習模型的最佳實踐

實施以下最佳實踐可以顯著減少對抗性攻擊帶來的風險：

• 健全的數據管理與模型管理：NIST建議進行嚴格的數據清理和過濾，以防止數據投毒攻擊機器學習模型。避免惡意數據集成需要定期審核第三方數據源的治理。還必須通過跟蹤模型版本、監控生產性能和實施自動化的安全更新來保護機器學習模型。BlackHat 2022的研究人員強調了持續監控和更新的必要性，以通過保護機器學習模型來確保軟件供應鏈的安全。通過健全的數據和模型管理，企業可以提高AI系統的安全性和可靠性。
• 對抗性訓練：通過使用快速梯度符號法(FGSM)生成的對抗性示例可以增強機器學習模型的防御能力。FGSM通過對輸入數據進行微小調整來增加模型錯誤，幫助模型識別并抵御攻擊。研究人員指出，這種方法可以將模型的韌性提高30%。研究人員寫道：“對抗性訓練是提高模型在面對復雜威脅時穩健性最有效的方法之一。”
• 同態加密與安全訪問：在機器學習中保護數據，尤其是在醫療和金融等敏感領域時，同態加密提供了強大的保護，因為它允許在加密數據上進行計算，而無需暴露數據。EY表示，“同態加密對于需要高隱私保護的行業來說是一個變革者，因為它允許在不泄露機密的情況下進行安全的數據處理。”結合遠程瀏覽器隔離進一步減少了攻擊面，確保通過安全訪問協議保護管理和非管理設備。
• API安全性：必須保護面向公眾的API以防止模型竊取并保護敏感數據。BlackHat 2022指出，網絡犯罪分子越來越多地利用API漏洞攻擊企業技術堆棧和軟件供應鏈。基于AI的洞察(如網絡流量異常分析)有助于實時檢測漏洞并加強防御。API安全性可以減少企業的攻擊面并保護AI模型免受對抗者的攻擊。
• 定期模型審計：定期審計對于檢測漏洞和解決機器學習模型中的數據漂移至關重要。定期測試對抗性示例可確保模型在面對不斷演變的威脅時保持穩健。研究人員指出，“審計有助于提高動態環境中的安全性和韌性。”Gartner關于AI安全的最新報告強調，持續的治理審核和數據管道監控對于保持模型完整性和防止對抗性操控至關重要。這些實踐有助于確保長期的安全性和適應性。

保護機器學習模型的技術解決方案

多種技術和方法在防御針對機器學習模型的對抗性攻擊方面已經被證明有效：

• 差分隱私：這一技術通過在模型輸出中引入噪聲來保護敏感數據，同時不會顯著降低準確性。這一策略對于重視隱私的行業(如醫療)尤為重要。差分隱私是Microsoft和IBM等公司在其AI系統中用來保護敏感數據的一種技術。
• AI驅動的安全訪問服務邊緣(SASE)：隨著企業逐步整合網絡和安全，SASE解決方案正得到廣泛采用。主要競爭者包括Cisco、Ericsson、Fortinet、Palo Alto Networks、VMware和Zscaler等公司。這些公司提供多種功能來應對分布式和混合環境中對安全訪問的日益增長的需求。Gartner預測，到2025年，80%的企業將采用SASE，這一市場預計將快速擴展。

Ericsson通過集成5G優化的SD-WAN和零信任安全來凸顯其優勢，并通過收購Ericom加強了這一組合。這使Ericsson能夠提供一款基于云的SASE解決方案，專為混合型員工和物聯網部署而設計。其Ericsson NetCloud SASE平臺在提供AI驅動的分析和網絡邊緣的實時威脅檢測方面表現出色。該平臺集成了零信任網絡訪問(ZTNA)、基于身份的訪問控制和加密流量檢測。Ericsson的蜂窩智能和遙測數據用于訓練AI模型，以改善故障排除的幫助功能。其AIOps能夠自動檢測延遲，將其定位為蜂窩接口問題，確定根本原因是蜂窩信號的問題，并建議解決方案。

同態加密的聯邦學習：聯邦學習允許在不共享原始數據的情況下進行分布式機器學習訓練，從而保護隱私。使用同態加密計算加密數據確保整個過程中安全性。Google、IBM、Microsoft和Intel正在開發這些技術，尤其是在醫療和金融領域。Google和IBM使用這些方法在AI模型協作訓練過程中保護數據，而Intel則使用硬件加速的加密技術來保障聯邦學習環境。這些創新確保了數據隱私在安全、分布式的AI中得以保護。

防御攻擊

鑒于對抗性攻擊(包括數據投毒、模型反轉和規避攻擊)的潛在嚴重性，醫療和金融行業尤其脆弱，因為這些行業往往是攻擊者的首選目標。通過使用對抗性訓練、健全的數據管理和安全的API實踐，企業可以顯著降低對抗性攻擊帶來的風險。基于AI驅動的SASE，結合蜂窩優先優化和AI驅動的智能技術，已被證明在防御網絡攻擊方面非常有效。