對(duì)于人類觀察者來(lái)說，以下兩個(gè)圖像是相同的。但是Google的研究人員在2015年發(fā)現(xiàn)，一種流行的物體檢測(cè)算法將左圖像分類為“熊貓”，而將右圖像分類為“長(zhǎng)臂猿”。奇怪的是，它對(duì)長(zhǎng)臂猿的形象更有信心。

[[334982]]

有問題的算法是GoogLeNet，這是一種卷積神經(jīng)網(wǎng)絡(luò)體系結(jié)構(gòu)，贏得了2014年ImageNet大規(guī)模視覺識(shí)別挑戰(zhàn)賽(ILSVRC 2014)。

對(duì)抗性例子使機(jī)器學(xué)習(xí)算法愚蠢地犯了錯(cuò)誤

正確的圖像是“對(duì)抗示例”。它經(jīng)歷了微妙的操縱，而人眼卻沒有注意到它，同時(shí)使其與機(jī)器學(xué)習(xí)算法的數(shù)字眼完全不同。

對(duì)抗性示例利用了人工智能算法的工作方式來(lái)破壞人工智能算法的行為。在過去的幾年中，隨著AI在我們使用的許多應(yīng)用程序中的作用不斷增強(qiáng)，對(duì)抗性機(jī)器學(xué)習(xí)已成為研究的活躍領(lǐng)域。人們?cè)絹?lái)越擔(dān)心，機(jī)器學(xué)習(xí)系統(tǒng)中的漏洞可能被用于惡意目的。

對(duì)抗性機(jī)器學(xué)習(xí)的工作產(chǎn)生了各種結(jié)果，從有趣，良性和令人尷尬的結(jié)果(例如跟隨烏龜被誤認(rèn)為是步槍)到潛在的有害示例，例如無(wú)人駕駛汽車誤將停車標(biāo)志視為限速。

[[334984]]

Labsix的研究人員展示了一種改良的玩具烏龜如何使愚蠢的深度學(xué)習(xí)算法歸類為步槍(來(lái)源：labsix.org)

機(jī)器學(xué)習(xí)如何“看”世界

在了解對(duì)抗性示例如何工作之前，我們必須首先了解機(jī)器學(xué)習(xí)算法如何解析圖像和視頻。考慮一個(gè)圖像分類器AI，就像本文開頭提到的那樣。

在能夠執(zhí)行其功能之前，機(jī)器學(xué)習(xí)模型經(jīng)歷了“訓(xùn)練”階段，在該階段中，將向其提供許多圖像及其相應(yīng)的標(biāo)簽(例如，熊貓，貓，狗等)。該模型檢查圖像中的像素并調(diào)整其許多內(nèi)部參數(shù)，以便能夠?qū)⒚總€(gè)圖像與其關(guān)聯(lián)的標(biāo)簽鏈接起來(lái)。訓(xùn)練后，該模型應(yīng)該能夠檢查之前從未見過的圖像，并將其鏈接到正確的標(biāo)簽上。基本上，您可以將機(jī)器學(xué)習(xí)模型視為一個(gè)數(shù)學(xué)函數(shù)，該函數(shù)以像素值作為輸入并輸出圖像標(biāo)簽。

人工神經(jīng)網(wǎng)絡(luò)(一種機(jī)器學(xué)習(xí)算法)特別適合處理雜亂和非結(jié)構(gòu)化的數(shù)據(jù)，例如圖像，聲音和文本文檔，因?yàn)樗鼈儼S多參數(shù)，并且可以靈活地將自己調(diào)整為訓(xùn)練數(shù)據(jù)中的不同模式。當(dāng)相互堆疊在一起時(shí)，人工神經(jīng)網(wǎng)絡(luò)將成為“深度神經(jīng)網(wǎng)絡(luò)”，并且它們進(jìn)行分類和預(yù)測(cè)任務(wù)的能力也會(huì)提高。

深度神經(jīng)網(wǎng)絡(luò)由幾層人工神經(jīng)元堆疊而成

深度學(xué)習(xí)是使用深度神經(jīng)網(wǎng)絡(luò)的機(jī)器學(xué)習(xí)的一個(gè)分支，目前是人工智能的前沿。深度學(xué)習(xí)算法通常在人類以前無(wú)法完成的任務(wù)(例如計(jì)算機(jī)視覺和自然語(yǔ)言處理)上與人類相匹配，有時(shí)甚至勝過人類。

但是，值得注意的是，深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法的核心是數(shù)字運(yùn)算機(jī)器。他們可以在像素值，單詞序列和聲波中找到微妙而復(fù)雜的圖案，但他們卻不像人類那樣看待世界。

這就是對(duì)抗性例子進(jìn)入畫面的地方。

對(duì)抗性范例的運(yùn)作方式

當(dāng)您要求人類描述她如何在圖像中檢測(cè)到熊貓時(shí)，她可能會(huì)尋找諸如圓耳朵，眼睛周圍的黑色斑點(diǎn)，鼻子，鼻子和毛茸茸的皮膚等身體特征。她可能還會(huì)提供其他背景信息，例如她希望看到熊貓的棲息地以及熊貓所采取的姿勢(shì)。

對(duì)于人工神經(jīng)網(wǎng)絡(luò)，只要通過方程式運(yùn)行像素值提供正確答案，就可以確信所看到的確實(shí)是熊貓。換句話說，通過正確調(diào)整圖像中的像素值，您可以使AI誤以為它沒有看到熊貓。

在本文開頭看到的對(duì)抗示例中，AI研究人員在圖像上添加了一層噪點(diǎn)。人眼幾乎看不到這種噪音。但是，當(dāng)新的像素?cái)?shù)通過神經(jīng)網(wǎng)絡(luò)時(shí)，它們會(huì)產(chǎn)生長(zhǎng)臂猿圖像所期望的結(jié)果。

在左側(cè)的熊貓圖像上添加一層噪點(diǎn)，使其成為一個(gè)對(duì)抗性示例

創(chuàng)建對(duì)抗性機(jī)器學(xué)習(xí)示例是一個(gè)反復(fù)試驗(yàn)的過程。許多圖像分類器機(jī)器學(xué)習(xí)模型都提供了輸出列表及其置信度(例如，熊貓= 90%，長(zhǎng)臂猿= 50%，黑熊= 15%等)。創(chuàng)建對(duì)抗性示例需要對(duì)圖像像素進(jìn)行細(xì)微調(diào)整，然后通過AI重新運(yùn)行它，以查看修改如何影響置信度得分。進(jìn)行足夠的調(diào)整后，您可以創(chuàng)建噪聲圖，從而降低對(duì)一個(gè)類別的信心，而對(duì)另一個(gè)類別進(jìn)行增強(qiáng)。此過程通常可以自動(dòng)化。

在過去的幾年中，在對(duì)抗性機(jī)器學(xué)習(xí)的工作和效果方面進(jìn)行了大量的工作。2016年，卡內(nèi)基梅隆大學(xué)的研究人員表明，戴上特殊眼鏡可能會(huì)使人臉識(shí)別神經(jīng)網(wǎng)絡(luò)蒙騙，使他們誤以為是名人。

在另一種情況下，三星和華盛頓大學(xué)，密歇根大學(xué)以及加州大學(xué)伯克利分校的研究人員表明，通過進(jìn)行細(xì)微調(diào)整以停止標(biāo)志，可以使它們對(duì)自動(dòng)駕駛汽車的計(jì)算機(jī)視覺算法不可見。黑客可能會(huì)利用這種對(duì)抗性攻擊迫使無(wú)人駕駛汽車以危險(xiǎn)的方式行事，并可能導(dǎo)致事故。

AI研究人員發(fā)現(xiàn)，通過添加黑白小貼紙來(lái)停止標(biāo)志，可以使它們對(duì)計(jì)算機(jī)視覺算法不可見(來(lái)源：arxiv.org)

超越圖像的對(duì)抗性例子

對(duì)抗性示例不僅適用于處理視覺數(shù)據(jù)的神經(jīng)網(wǎng)絡(luò)。也有針對(duì)文本和音頻數(shù)據(jù)的對(duì)抗性機(jī)器學(xué)習(xí)的研究。在2018年，加州大學(xué)伯克利分校的研究人員設(shè)法通過對(duì)抗性例子來(lái)操縱自動(dòng)語(yǔ)音識(shí)別系統(tǒng)(ASR)的行為。諸如Amazon Alexa，Apple Siri和Microsoft Cortana之類的智能助手使用ASR來(lái)解析語(yǔ)音命令。

例如，可以修改媒體上發(fā)布的歌曲，使其播放時(shí)可以向附近的智能揚(yáng)聲器發(fā)送語(yǔ)音命令。聽眾不會(huì)注意到變化。但是智能助手的機(jī)器學(xué)習(xí)算法會(huì)選擇并執(zhí)行該隱藏命令。

對(duì)抗性示例也適用于處理文本文檔的自然語(yǔ)言處理系統(tǒng)，例如過濾垃圾郵件，阻止社交媒體上的仇恨言論并檢測(cè)產(chǎn)品評(píng)論中的情緒的機(jī)器學(xué)習(xí)算法。

在2019年，IBM Research，亞馬遜和德克薩斯大學(xué)的科學(xué)家創(chuàng)建了對(duì)抗性示例，這些示例可能愚弄文本分類器機(jī)器學(xué)習(xí)算法，例如垃圾郵件過濾器和情感檢測(cè)器。基于文本的對(duì)抗性示例(也稱為“釋義攻擊”)會(huì)修改一段文本中的單詞序列，以在機(jī)器學(xué)習(xí)算法中引起錯(cuò)誤分類錯(cuò)誤，同時(shí)保持與人類讀者一致的含義。

強(qiáng)制AI算法更改其輸出的釋義內(nèi)容示例

防范對(duì)抗性例子

保護(hù)機(jī)器學(xué)習(xí)模型不受對(duì)抗性示例攻擊的主要方法之一是“對(duì)抗性訓(xùn)練”。在對(duì)抗訓(xùn)練中，機(jī)器學(xué)習(xí)算法的工程師在對(duì)抗示例上對(duì)模型進(jìn)行了重新訓(xùn)練，以使其對(duì)數(shù)據(jù)擾動(dòng)具有魯棒性。

但是對(duì)抗訓(xùn)練是一個(gè)緩慢而昂貴的過程。必須對(duì)每個(gè)訓(xùn)練示例進(jìn)行對(duì)抗性弱點(diǎn)的探索，然后必須在所有這些示例上對(duì)模型進(jìn)行重新訓(xùn)練。科學(xué)家正在開發(fā)方法，以優(yōu)化發(fā)現(xiàn)和修補(bǔ)機(jī)器學(xué)習(xí)模型中對(duì)抗性弱點(diǎn)的過程。

同時(shí)，AI研究人員也在尋找可以在更高層次上解決深度學(xué)習(xí)系統(tǒng)中對(duì)抗性漏洞的方法。一種方法涉及組合并行神經(jīng)網(wǎng)絡(luò)并隨機(jī)切換它們，以使模型對(duì)對(duì)抗攻擊更具魯棒性。另一種方法涉及從其他幾個(gè)網(wǎng)絡(luò)構(gòu)建廣義神經(jīng)網(wǎng)絡(luò)。通用架構(gòu)不太可能被對(duì)抗性例子所愚弄。對(duì)抗性的例子清楚地提醒了人工智能和人類思維的不同。