AI一句話騙走24萬美元!開源模型要背鍋?
當地時間 8 月 30 日,《華爾街日報》消息:有犯罪分子使用基于人工智能的軟件冒充某能源公司德國總部 CEO 的聲音,對英國分公司進行欺詐,并成功騙取了 220,000 歐元(約 243,000 美元)。網絡犯罪專家稱這是一種利用 AI 進行黑客攻擊的不尋常案例。
“我是你老板,給我打錢”
今年 3 月,犯罪分子利用 AI 語音合成軟件,合成了英國某能源公司德國總公司 CEO 的聲音,冒充老板對英國公司的負責人進行欺詐,讓他在一小時內緊急將資金匯給一家匈牙利供應商,并保證這筆資金將立即得到償還。
報道稱,該公司首席執行官表示:由于聽到了熟悉的輕微德國口音和他老板的聲音模式,所以對于轉賬的指令沒有任何懷疑。但最后的結果是,不僅轉賬的費用沒有得到及時返還,騙子們還要求另一筆緊急匯款。然而這一次,這位英國分公司負責人拒絕了付款請求。
最終,這筆轉到匈牙利的資金最終被轉移到了墨西哥和其他地方。當地警方尚未確定此次網絡犯罪行動背后的嫌疑人。
據了解,該公司由歐拉愛馬仕集團 (Euler Hermes Group) 承保,由集團負責支付全部費用。公司名稱和相關各方均未披露。
聲音版 DeepFake 成為新的犯罪手段
有網絡安全專家表示:基于人工智能的網絡攻擊僅僅是未來企業和組織可能面臨的主要難題的開始。尤其當這種性質的攻擊被證明是成功的,同類案件發生的頻率可能會成倍增加。
隨著模仿聲音工具的改進,犯罪分子利用這些工具牟利的可能性也在增加。通過在電話中偽裝身份,威脅受害者從而更加容易獲得原本屬于私人的信息,并利用這些信息達到別有用心的目的。
早在今年 7 月,以色列國家網絡理事會 (Israel National Cyber Directorate) 就發出了“新型網絡攻擊”的警告,這種攻擊利用人工智能技術冒充企業高管,指示員工在網絡上進行轉賬等惡意活動。
專家表示:與人工智能相關的同類犯罪已經造成了第一個受害者,這一事實應該引起關注。
去年,設計反欺詐語音軟件的網絡安全公司 Pindrop 報告稱:從 2013 年到 2017 年,語音欺詐案件增加了 350%,大約在 638 個電話中就有 1 個是欺詐類 AI 軟件撥打的。
也有業內人士認為,為了保護公司免受經濟和聲譽的影響,重要的是要通過后續電子郵件或其他替代方式驗證“語音”指令。
基于人工智能的工具的興起有其優點和缺點。一方面,它為探索和創造提供了更廣闊的空間;另一方面,它也為新型的犯罪、欺詐等手段提供了生長的“溫床”。
開源模型成“罪魁禍首”?
前幾天,在中國火爆的一款名為“ZAO”的應用軟件也被質疑惡意收集用戶面部信息,更有專業的法律人士發現,這款軟件的用戶條款里存在“打擦邊球”的漏洞。北京時間 9 月 4 日,工信部對 ZAO 軟件開發公司進行了約談,并要求整改。
跟“ZAO 事件”一樣,聲音版 DeepFake 也在技術論壇上引發了人們對于開源模型的擔憂。在 Reddit 論壇上,已經有不少人對此類事件展開了討論:
開源社區中有許多正在進行的開源語音合成模型項目。此外,一些開源語音合成模型已在未經他人同意的情況下進行著聲音訓練。
這些模型可能會被濫用,我們不能在未經別人同意的情況下克隆任何人的聲音。一個人的聲音模型可以使其面臨更高的騷擾和欺詐風險。
也有人從另外的角度提出建議:能否從保護受害者的角度是否可以采取一些措施?有些受害者甚至自己都不知道已經在無意中泄露了隱私。
我們不應該僅僅因為有惡意使用而禁止語音合成技術,正如我們不應該因為同樣的理由禁止互聯網一樣。我們也不能期望每個人都能夠跟上時代,并且清楚地了解機器 / 深度學習可能帶來的新型威脅。在這里參與討論的每一個人基本都知道“DeepFake”是什么東西,但是其他人呢?
一個讓人有些無奈的事實是:參與討論的大部分人都表示,無法阻止有人利用技術作惡,目前人們能做的,也只能是期待盡快立法來對部分技術的使用加以約束,并加強對普通用戶的安全教育。
不過,也有人表示目前已有的在線模型質量其實并沒有那么好:它們仍然需要 10-20 個小時的音頻數據;在優化的硬件上,這些模型的實際推理速度為 16-60 倍;這些模型在自然度 (MOS) 方面的表現通常比串聯語音合成差;它們在不同的場景下表現參差不齊,并不能很好地模仿和表達聲音。
但是,技術終將走向成熟,它會更具有傷害別人的潛力,使用者到底會用它來做什么,仍然是一個巨大的不可控的因素。