通過神經(jīng)網(wǎng)絡(luò)進(jìn)行暗殺——聽起來很瘋狂吧？也許有一天，這真的可能上演，不過方式可能與你想象中不同。顯然，加以訓(xùn)練的神經(jīng)網(wǎng)絡(luò)能夠駕駛無人機(jī)或操作其他大規(guī)模殺傷性武器。但是，即便是無害的（現(xiàn)在可用的）網(wǎng)絡(luò)——例如，用于駕駛汽車的網(wǎng)絡(luò)——也可能變成車主的敵人。這是因為，神經(jīng)網(wǎng)絡(luò)非常容易被「對抗樣本（adversarial example）」攻擊。

在神經(jīng)網(wǎng)絡(luò)中，導(dǎo)致網(wǎng)絡(luò)輸出不正確的輸入被稱為對抗樣本。我們最好通過一個例子來說明。讓我們從左邊這張圖開始。在某些神經(jīng)網(wǎng)絡(luò)中，這張圖像被認(rèn)為是熊貓的置信度是 57.7%，且其被分類為熊貓類別的置信度是所有類別中最高的，因此網(wǎng)絡(luò)得出一個結(jié)論：圖像中有一只熊貓。但是，通過添加非常少量的精心構(gòu)造的噪聲，可以得到一個這樣的圖像（右圖）：對于人類而言，它和左圖幾乎一模一樣，但是網(wǎng)絡(luò)卻認(rèn)為，其被分類為「長臂猿」的置信度高達(dá) 99.3%。這實在太瘋狂了！

上圖源自： Explaining and Harnessing Adversarial Examples，Goodfellow et al

那么，對抗樣本如何進(jìn)行暗殺呢？想象一下，如果用一個對抗樣本替換一個停車標(biāo)志——也就是說，人類可以立即識別這是停車標(biāo)志，但神經(jīng)網(wǎng)絡(luò)不能。現(xiàn)在，如果把這個標(biāo)志放在一個繁忙的交叉路口。當(dāng)自動駕駛汽車接近交叉路口時，車載神經(jīng)網(wǎng)絡(luò)將無法識別停車標(biāo)志，直接繼續(xù)行駛，從而可能導(dǎo)致乘客死亡（理論上）。

以上只是那些復(fù)雜、稍顯聳人聽聞的例子之一，其實還會有更多利用對抗樣本造成傷害的例子。例如，iPhone X 的「Face ID」解鎖功能依賴神經(jīng)網(wǎng)絡(luò)識別人臉，因此容易受到對抗性攻擊。人們可以通過構(gòu)建對抗圖像，避開 Face ID 安全功能。其他生物識別安全系統(tǒng)也將面臨風(fēng)險：通過使用對抗樣本，非法或不合宜的內(nèi)容可能會繞開基于神經(jīng)網(wǎng)絡(luò)的內(nèi)容過濾器。這些對抗樣本的存在意味著，含有深度學(xué)習(xí)模型的系統(tǒng)實際上有極高的安全風(fēng)險。

為了理解對抗樣本，你可以把它們想象成神經(jīng)網(wǎng)絡(luò)的「幻覺」。既然幻覺可以騙過人的大腦，同樣地，對抗樣本也能騙過神經(jīng)網(wǎng)絡(luò)。

上面這個熊貓對抗樣本是一個有針對性的 (targeted) 例子。少量精心構(gòu)造的噪聲被添加圖像中，從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)對圖像進(jìn)行了錯誤的分類。然而，這個圖像在人類看來和之前一樣。還有一些無針對性 (non-targeted) 的例子，它們只是簡單嘗試找到某個能蒙騙神經(jīng)網(wǎng)絡(luò)的輸入。對于人類來說，這種輸入看起來可能像是白噪聲。但是，因為我們沒有被限制為尋找對人而言類似某物的輸入，所以這個問題要容易得多。

我們可以找到將近所有神經(jīng)網(wǎng)絡(luò)的對抗樣本。即使是那些最先進(jìn)的模型，有所謂「超人類」的能力，也輕微地受此問題困擾。事實上，創(chuàng)建對抗樣本非常簡單。在本文中，我們將告訴你如何做到。用于開始生成你自己的對抗樣本的所有所需代碼等資料都可以在這個 github 中找到：https://github.com/dangeng/Simple_Adversarial_Examples

上圖展示了對抗樣本的效果

MNIST 中的對抗樣本

這一部分的代碼可以在下面的鏈接中找到（不過閱讀本文并不需要下載代碼）：https://github.com/dangeng/Simple_Adversarial_Examples

我們將試著欺騙一個普通的前饋神經(jīng)網(wǎng)絡(luò)，它已經(jīng)在 MNIST 數(shù)據(jù)集上經(jīng)過訓(xùn)練。MNIST 是 28×28 像素手寫數(shù)字圖像的數(shù)據(jù)集，就像下面這樣：

6 張 MNIST 圖像并排擺放