研究人員提出針對基于人工智能的人臉識別引擎的對抗攻擊Demo。

近日，Adversa公司研究人員分析發(fā)現(xiàn)了攻擊面部識別系統(tǒng)的新方法——ADVERSARIAL OCTOPUS。研究發(fā)現(xiàn)當(dāng)前基于人工智能的面部識別工具易被攻擊，可能會引發(fā)嚴(yán)重的后果。此外，許多面部識別系統(tǒng)都存在偏見，可能會產(chǎn)生錯誤的結(jié)果。

[[407975]]

攻擊細(xì)節(jié)

研究人員開發(fā)了一個針對人工智能驅(qū)動的人臉識別系統(tǒng)的攻擊方式，只需將照片做出修改，就可以讓人工智能系統(tǒng)錯誤識別為其他人。產(chǎn)生這種情況的原因是當(dāng)前人臉識別算法和應(yīng)用存在不足，攻擊可以用于基于計算機視覺算法的投毒攻擊場景和繞過場景等。

這種新型攻擊可以繞過人臉識別服務(wù)、應(yīng)用和API，其中包括當(dāng)前最先進(jìn)的人臉識別算法引擎——PimEyes。主要的特征是其融合了不同的方法來提高效率。

針對PimEyes的攻擊框架是基于以下方法：

• 為提高可遷移性，用不同的面部識別模型以及隨機噪聲來進(jìn)行訓(xùn)練;
• 為提高準(zhǔn)確率，計算審計網(wǎng)絡(luò)每層的對抗變化，并使用隨機面部檢測幀;
• 此外，還對每個像素進(jìn)行微小變化，并使用特殊的函數(shù)來平滑對抗噪聲。

攻擊demo

研究人員提出的攻擊方式是黑盒的、一次性成功的、靜默的、可遷移的，可以繞過人臉識別AI模型和API，其中包括目前最先進(jìn)的在線人臉識別搜索引擎PimEye.com。

Adversarial Octopus攻擊demo如下所示：

https://www.youtube.com/embed/wzXA8TXfWq0?feature=oembed

誰可以利用這些漏洞?

該攻擊是一種黑客攻擊方法，也就是說對搜索引擎的算法沒有任何的了解，該漏洞利用是可遷移的，可以應(yīng)用于其他使用人臉的人工智能應(yīng)用。攻擊者可以對個人照片進(jìn)行修改來對許多算法進(jìn)行投毒和繞過。犯罪分子可以竊取個人身份，并繞過銀行、貿(mào)易平臺和其他遠(yuǎn)程認(rèn)證系統(tǒng)使用的基于人工智能的生物認(rèn)證或身份驗證系統(tǒng)。犯罪分子還可以使用該攻擊將其活動隱藏在社交媒體中。

攻擊的適用范圍是什么?

該攻擊的主要特征是適用于多個不同的AI實現(xiàn)，其中包括在線API和物理設(shè)備。此外，攻擊還可以針對不同的目標(biāo)環(huán)境來進(jìn)行調(diào)整。這也就是起名Adversarial Octopus的原因。

如何應(yīng)對此類攻擊?

為應(yīng)對此類攻擊，研究人員建議：

• 首先是對抗測試。類似針對人工智能系統(tǒng)的傳統(tǒng)滲透測試。對抗測試對于所有的人工智能系統(tǒng)來說都應(yīng)該是必須的。
• 通過對抗訓(xùn)練、模型加固、數(shù)據(jù)清洗和其他防御手段來在對抗場景下開發(fā)和訓(xùn)練人工智能。
• 檢測人工智能在關(guān)鍵決策應(yīng)用中的新威脅，并持續(xù)追蹤對抗機器學(xué)習(xí)最新進(jìn)展。

更多參見：https://adversa.ai/face-recognition-attack-adversarial-octopus

本文翻譯自：https://adversa.ai/face-recognition-attack-adversarial-octopus