OpenAI近日發布的GPT-4o多模態大語言模型震驚了世界，該模型可以通過傳感器感知世界并與人類通過語音進行無縫交流，完成各種復雜任務(例如給孩子輔導數學)，將科幻電影中的智能機器人場景帶入現實。

GPT-4o的問世標志著大語言模型與人類交互的主要渠道正從鍵盤/文本轉向語音，能夠遵循語音指令并生成文本/語音響應的集成式語音和大語言模型(SLM)越來越受歡迎。蘋果Siri、亞馬遜Alexa等可與大語言模型整合的語音智能助理也將迎來第二春。但與此同時，一個新的人工智能安全風險也正浮出水面：對抗性語音攻擊。

語音大模型的致命漏洞

近日，亞馬遜網絡服務(AWS)的研究人員發布了一項新研究，揭示了能夠理解和回應語音的多模態大語言模型存在重大安全漏洞。該論文題為《SpeechGuard：探索多模態大語言模型的對抗魯棒性》，詳細描述了這些AI系統如何被精心設計的音頻攻擊操控，進而生成有害、危險或不道德的響應。

語音接口已經在智能音箱和AI助手(例如蘋果的Siri和亞馬遜的Alexa)中普及，隨著功能強大的大語言模型也開始依賴語音接口執行復雜任務，確保語音大模型技術的安全性和可靠性變得空前緊迫起來。

AWS的研究人員發現，即使內置了安全檢查，語音大模型在“對抗性攻擊”面前表現得極為脆弱。這些攻擊通過對音頻輸入進行人類難以察覺的微小篡改，就能完全改變大模型的行為(越獄)。

研究論文中的一幅圖示(上圖)展示了一個語音問答AI系統在遭受對抗性攻擊時，如何被操控以提供不道德或者非法內容，例如如何搶劫銀行。研究人員提出了一種預處理防御方法，以緩解基于語音的大模型中的此類漏洞(圖片來源：arxiv.org)。

攻擊成功率高達90%

研究者設計了一種算法，可以在白盒攻擊(攻擊者擁有有關目標模型的所有信息，例如其架構和訓練數據)和黑盒攻擊(攻擊者僅能訪問目標模型的輸入和輸出，而不知道其內部工作原理)設置下生成對抗性樣本，實現無需人工干預的語音大模型越獄。

“我們的越獄實驗展示了語音大模型在對抗性攻擊/白盒攻擊和轉移攻擊/黑盒攻擊面前是多么脆弱。基于精心設計的有害問題數據集進行評估時，平均攻擊成功率分別為90%(對抗性攻擊/白盒攻擊)和10%(轉移攻擊/黑盒攻擊)。”論文作者寫道：“這引發了關于不法分子者可能大規模利用語音大模型的嚴重擔憂。”

通過一種名為投影梯度下降(PGD)的方法，研究人員能夠生成對抗性樣本，成功使語音大模型輸出了12個不同類型的有害內容，包括暴力內容和仇恨言論。令人震驚的是，在能夠完全訪問模型的情況下，研究者突破模型安全壁壘的成功率高達90%。

研究者展示了如何在不同的語音大模型上進行對抗性攻擊，使用跨模型和交叉提示攻擊等技術來引發意想不到的響應

黑盒攻擊：對現實世界構成威脅

更令人擔憂的是，研究顯示，在一個語音大模型上設計的音頻攻擊往往可復用到其他模型，即使沒有直接訪問權限(這是一個現實的場景，因為大多數商業大模型提供商僅允許有限的API訪問)。雖然黑盒攻擊的成功率下降到10%，但這仍然是一個嚴重的漏洞。

該論文的主要作者Raghuveer Peri指出：“對抗性語音攻擊在不同模型架構間的可復用性表明，這不僅是特定實現的問題，而是我們目前訓練人工智能系統以確保其安全和對齊的方法存在更深層次的缺陷。”

隨著企業越來越依賴語音AI提供客戶服務、數據分析和其他核心功能，對抗性語音攻擊的影響是廣泛而深遠的。除了AI失控可能帶來的聲譽損害之外，對抗性攻擊還可能被用于欺詐、間諜活動，甚至如果與自動化系統連接，還可能帶來物理傷害。

應對措施與未來之路

研究人員還提出了幾種應對措施，例如在音頻輸入中添加隨機噪聲——一種隨機平滑技術。在實驗中，該方法顯著降低了攻擊成功率。然而，作者警告稱，這并不是一個完善的解決方案。

“防御對抗性攻擊是一場持續的軍備競賽，”Peri指出：“隨著大模型的能力不斷增強，其被濫用的可能性也在不斷增加。人工智能公司需要持續投資確保大模型在對抗性攻擊中能夠保持安全性和可靠性。”

研究使用的語音大模型通過對話數據進行訓練，以在語音問答任務中達到最先進的性能，在攻擊前的安全性和可靠性基準均超過了80%。這凸顯了隨著技術進步，人工智能系統的功能與安全能力已經失衡。

隨著全球科技巨頭爭先恐后開發和部署越來越強大的語音AI，亞馬遜的安全研究及時敲響了警鐘，安全必須成為發展AI的首要任務，而不是馬后炮。監管機構和IT行業需要共同努力，建立嚴格的標準和測試協議。

正如論文共同作者Katrin Kirchhoff所言：“我們正處于AI技術的拐點。AI具有極大的潛力并為社會帶來價值，但如果不負責任地開發，也可能帶來危害。這項研究是確保我們在享受語音AI帶來的好處的同時，做到風險可控。”