自從深度學習只能識別支票和信封上的手寫字母以來，它已經取得了長足的進步。今天，深度神經網絡已經成為許多計算機視覺應用的關鍵組成部分，從照片和視頻編輯器到醫療軟件和自動駕駛汽車。

神經網絡大致模仿了大腦的結構，已經更接近于像人類一樣看待世界。但是它們還有很長的路要走，而且它們在人類永遠不會犯錯的情況下也會犯錯。

這些情況，通常被稱為對抗性樣本，以令人困惑的方式改變了人工智能模型的行為。 對抗性的機器學習是當前人工智能系統的最大挑戰之一。它們可能導致機器學習模型以不可預知的方式失敗，或者變得容易受到網絡攻擊。

對抗性樣本的例子: 在這張熊貓照片中加入一層難以察覺的噪音，會讓卷積神經網絡誤以為它是長臂猿。

創建能夠抵御敵對攻擊的人工智能系統，已經成為一個活躍的研究領域和人工智能會議的熱門話題。在計算機視覺中，保護深度學習系統免受對抗性攻擊的一個有趣的方法是應用神經科學的發現來縮小神經網絡和哺乳動物視覺系統之間的差距。

麻省理工學院(MIT)和 MIT-ibm 沃森人工智能實驗室(Watson AI Lab)的研究人員利用這種方法發現， 將哺乳動物視覺皮層的特征直接映射到深層神經網絡，可以創建出行為更可預測、更能抵御對抗性樣本的 AI 系統。在 bioRxiv 預印本服務器上發表的一篇論文中，研究人員介紹了 VOneNet，一種結合了當前深度學習技術和神經科學啟發的神經網絡的架構。

https://www.biorxiv.org/content/10.1101/2020.06.16.154542v1

這項工作是在慕尼黑大學、路德維希馬克西米利安大學和奧格斯堡大學的科學家的幫助下完成的，并被去年舉行的 NeurIPS 2020大會接受。

當今計算機視覺的主要體系結構是卷積神經網絡(CNN)。當卷積層疊加在一起時，可以學習和提取圖像中的層次特征。較低的圖層找到一般的模式，如角落和邊緣，而較高的圖層逐漸變得善于找到更具體的東西，如物體和人。

神經網絡的每一層都將從輸入圖像中提取特定的特征。

與傳統的全連接網絡相比，卷積神經網絡已被證明是更加健壯和計算效率更高的。但是 cnn 和人類視覺系統處理信息的方式仍然存在根本的區別。

IBM 麻省理工學院沃森人工智能實驗室(mit-IBM Watson AI Lab)主任David Cox向 TechTalks 表示: “深層神經網絡(尤其是卷積神經網絡)已經成為視覺皮層令人驚訝的優秀模型，它們往往更適合從大腦中收集的實驗數據，甚至比專門用于解釋神經科學數據的計算模型更好。”。“但并不是所有的深層神經網絡都能很好地匹配大腦數據，而且大腦和 dnn 之間存在一些持久的差異。”

其中最突出的差距是對抗性的例子，在這些例子中， 微小的干擾，如一小塊或一層不易察覺的噪音，可能導致神經網絡錯誤分類他們的輸入。這些變化通常不為人們所注意。

對抗性攻擊停止標志

人工智能研究人員發現，通過在停車標志上添加小小的黑白貼紙，他們可以使計算機視覺算法無法識別出這些標志。

“可以肯定的是，能夠欺騙dnn的圖像，永遠不能欺騙我們自己的視覺系統，”Cox說。“還有一種情況是，dnn 對圖像的自然退化(例如，添加噪聲)非常脆弱，因此對 dnn 來說，魯棒性通常似乎是一個懸而未決的問題。考慮到這一點，我們認為這是一個尋找大腦和 dna 之間差異的好地方，這可能有所幫助。”

[[375728]]

David Cox，IBM mit-IBM Watson AI 實驗室主任

在這項新的研究中，Cox 和 DiCarlo 與論文的主要作者 Joel Dapello 和 Tiago Marques 一起，研究當與大腦活動相似時，神經網絡是否能夠更強大地抵御敵對性攻擊。人工智能研究人員測試了幾個流行的 CNN 架構訓練的 ImageNet 數據集，包括 AlexNet，VGG，和不同的變化的 ResNet。他們還測試了一些經歷過“對抗性訓練”的深度學習模型，在這個過程中，一個神經網絡使用對抗性的樣本進行訓練，以避免對它們的錯誤分類。

文中使用 BrainScore 度量評估了人工智能模型，該度量比較了深層神經網絡的激活和大腦的神經反應。然后，通過測試每個模型對抗白盒對抗性攻擊(攻擊者完全了解目標神經網絡的結構和參數)的魯棒性來衡量它們的健壯性。

Cox說: “ 令我們驚訝的是，神經網絡越像大腦，系統就越能抵御對抗性的攻擊。”。“受此啟發，我們想知道是否有可能通過在網絡的輸入階段增加一個與早期視覺皮層更為類似的處理層，來提高魯棒性(包括對抗性魯棒性)。”

神經網絡對抗性的強健性，研究表明，大腦得分越高的神經網絡對抗白箱對抗性攻擊的能力越強。

為了進一步驗證他們的發現，研究人員開發了 VOneNet，這是一種混合的深度學習架構，它將標準的神經網絡與一層受神經科學啟發的神經網絡相結合。

用 VOneBlock 取代了 CNN 的前幾層，VOneBlock 是一種神經網絡結構，它是以靈長類動物的初級視覺皮層，也被稱為 V1區域而形成的。這意味著圖像數據首先由 VOneBlock 處理，然后傳遞到網絡的其余部分。

VOneBlock 本身由 Gabor 濾波器組(GFB)、簡單細胞，復細胞非線性處理層以及隨機性神經元組成。GFB 類似于其他神經網絡中的卷積層。但是經典的神經網絡從隨機參數值開始并在訓練中調整它們時，GFB 參數值的確定和固定是基于我們所知道的初級視覺皮層的激活。

VOneBlock 體系結構，VOneBlock 是一種模仿初級視覺皮層功能的神經網絡結構。

“VOneBlock 的網絡權重即架構設計完全依據于生物學。這意味著我們對 VOneBlock 的所有選擇都受到了神經生理學的限制。換句話說，我們設計 VOneBlock 是為了盡可能地模仿靈長類動物的初級視覺皮層(V1區)。我們考慮了過去40年來從幾項研究中收集的可用數據，以確定 VOneBlock 參數。

雖然不同靈長類動物的視覺皮層存在顯著差異，但也存在許多共同特征，尤其是 V1區。“幸運的是，靈長類動物之間的差異似乎很小，事實上有大量研究表明猴子的物體識別能力與人類相似。在我們的模型中，我們使用了已發表的描述猴子 V1神經元反應的可用數據。盡管我們的模型仍然只是靈長類動物 V1的近似值(它不包括所有已知數據，甚至這些數據也有一定的局限性ーー對于 V1的處理，我們仍然有很多不知道的地方) ，但它是一個很好的近似值，”。

VOneNet的性能對比

VOneBlock 的優勢之一是它與當前 CNN 架構的兼容性。“ VOneBlock 被設計成具有即插即用的功能，” Marques 說。”這意味著它直接替換標準 CNN 結構的輸入層。VOneBlock 核心之后的轉換層確保其輸出可以與 CNN 體系結構的其余部分兼容。”

研究人員將 VOneBlock 插入到幾個 CNN 體系結構中，這些體系結構在 ImageNet 數據集上運行良好。有趣的是，增加這個簡單的塊導致相當顯著的提高了對白箱對抗性攻擊的魯棒性和優于訓練為基礎的防御方法。

研究人員在他們的論文中寫道: “在標準的 CNN 架構前模擬靈長類初級視覺皮層的圖像處理，顯著地提高了它們對圖像擾動的魯棒性，甚至使它們超越了最先進的防御方法。”。

實驗表明，經過修改的卷積神經網絡包含 VOneBlock，能夠更好地抵御白盒對抗性攻擊。

“我們在這里添加的 V1模型實際上非常簡單ーー我們只改變系統的第一階段，而不改變網絡的其余部分，而且這個 V1模型的生物學保真度仍然非常簡單，”Cox說。他補充說，人們可以在這個模型中添加更多的細節和細微差別，以使它更好地匹配我們對大腦的了解。

這篇論文挑戰了過去年人工智能研究中已經變得非常普遍的一個趨勢。許多人工智能科學家沒有在他們的研究中應用關于大腦機制的最新發現，而是專注于利用大量的計算資源和數據集來訓練越來越大的神經網絡，從而推動這一領域的進步。這種方法對人工智能研究提出了許多挑戰。

VOneNet 證明了生物智能仍然有很多未開發的潛力，可以解決人工智能研究所面臨的一些基本問題。“ 這里展示的模型直接來自靈長類神經生物學，實際上需要更少的訓練來實現更接近人類的行為。這是一個新的良性循環的轉折點，神經科學和人工智能相輔相成，相互加強。”作者寫道。

在未來，研究人員將進一步探索 VOneNet 的特性，以及神經科學和人工智能的發現的進一步整合。“我們目前工作的一個局限性是，雖然我們已經證明添加 V1塊可以帶來改進，但是我們并不能很好地解釋為什么會這樣，”Cox說。

發展這個理論來幫助理解這個“為什么”的問題將使人工智能研究人員能夠最終找到真正重要的東西，并建立更有效的系統。他們還計劃在人工神經網絡的初始層次之外，探索受神經科學啟發的架構的整合。

翻譯自：https://venturebeat.com/2021/01/08/is-neuroscience-the-key-to-protecting-ai-from-adversarial-attacks/