44種模型，RobustART評測CNN、Transformer、MLP-Mixer誰最魯棒？
北京航空航天大學(xué)、商湯科技、京東探索研究院等
來自北航、商湯科技和京東探索研究院等機構(gòu)的研究者提出了第一個在大規(guī)模數(shù)據(jù)集 ImageNet 上面向模型結(jié)構(gòu)和訓(xùn)練技巧且針對多種噪音類型的模型魯棒性評測基準(zhǔn)——RobustART。該 benchmark 全面評測了 44 種經(jīng)典的手工設(shè)計和 1200 種 NAS 采樣得到的模型架構(gòu)以及 10 余種模型訓(xùn)練技巧對于魯棒性的影響。
以深度學(xué)習(xí)為代表的人工智能技術(shù)，在計算機視覺、語音識別、自然語言處理等方向上已經(jīng)取得了巨大進展，在我們生活中的多個領(lǐng)域得到了廣泛的應(yīng)用并發(fā)揮了極其關(guān)鍵的作用。然而，由于現(xiàn)實應(yīng)用場景的開放性，以大數(shù)據(jù)訓(xùn)練和經(jīng)驗性規(guī)則為基礎(chǔ)的傳統(tǒng)人工智能（如深度學(xué)習(xí)）方法面臨著輸入樣本含有噪音的挑戰(zhàn)，如：自然噪音、對抗噪音等。這些微小的噪音對于深度學(xué)習(xí)模型的魯棒性和安全性產(chǎn)生了很大的挑戰(zhàn)，其對于社會穩(wěn)定甚至是公共安全都可能產(chǎn)生極大的影響。
哪種模型對于噪音更加魯棒？哪些模型架構(gòu)和組件對于噪音有更強的抵御能力？對于這些問題的研究能夠幫助我們更好地認識和理解模型魯棒性的本質(zhì)，從而幫助研究人員進行更加魯棒的模型架構(gòu)設(shè)計。進一步，這對于推進工業(yè)級魯棒模型的評測和落地應(yīng)用、并最終服務(wù)于國家相關(guān)智能模型魯棒評測標(biāo)準(zhǔn)的推進和開展具有十分重大的意義！因此，來自北京航空航天大學(xué)、商湯科技和京東探索研究院的研究人員聯(lián)合加州大學(xué)伯克利分校、牛津大學(xué)以及約翰斯 · 霍普金斯大學(xué)提出了第一個在大規(guī)模數(shù)據(jù)集 ImageNet 上面向模型結(jié)構(gòu)（ARchitecture Design）和訓(xùn)練技巧（Training Technique）且針對多種噪音類型的模型魯棒性評測基準(zhǔn)——RobustART。
該 benchmark 全面評測了 44 種經(jīng)典的手工設(shè)計和 1200 種 NAS 采樣得到的模型架構(gòu)以及 10 余種模型訓(xùn)練技巧對于魯棒性（對抗噪音、自然噪音、系統(tǒng)噪音等）的影響。并通過海量且深入的實驗探究，得出了大量的有價值實驗結(jié)果和眾多啟發(fā)性的結(jié)論，如：
（1）對于 Transformer 和 MLP-Mixer，對抗訓(xùn)練可以全面提升其全部噪音魯棒性和任務(wù)本身的效果；
（2）在模型大小一致的前提下，對于自然噪音和系統(tǒng)噪音魯棒性：CNN>Transformer>MLP-Mixer，對于對抗噪音魯棒性，Transformer>MLP-Mixer>CNN；
（3）對于一些輕量化的模型族，增加其模型大小或者增加訓(xùn)練數(shù)據(jù)并不能提升其魯棒性等。這些分析和結(jié)論將對人們認識模型魯棒性機理并設(shè)計安全穩(wěn)固的模型架構(gòu)產(chǎn)生重要的意義。
RobustART benchmark（1）提供了一個包含 leaderboard、數(shù)據(jù)集、源碼等詳實信息在內(nèi)的開源平臺；（2）開放了 80 余種使用不同模型結(jié)構(gòu)和訓(xùn)練技巧的預(yù)訓(xùn)練模型，以便于研究人員進行魯棒性評估；（3）貢獻了嶄新的視角和大量的分析結(jié)論，讓研究人員更好地理解魯棒模型背后的內(nèi)在機制。
RobustART 將作為核心組成部分，整合到北航團隊先前研發(fā)的人工智能算法與模型安全評測環(huán)境「重明」 系統(tǒng)當(dāng)中，并發(fā)布「重明」2.0 版本（「重明」 是國內(nèi)領(lǐng)先的智能安全評測環(huán)境，曾受邀在國家新一代人工智能開源社區(qū) OpenI 啟智開源開放平臺發(fā)布，并榮獲 OpenI 社區(qū)優(yōu)秀開源項目）。在未來，RobustART 將持續(xù)為整個社區(qū)提供更加完善、易用的開源魯棒性評估和研究框架。同時也將助力于工業(yè)級模型的評測和魯棒模型的落地應(yīng)用，最終也希望能夠服務(wù)于國家相關(guān)智能模型魯棒評測標(biāo)準(zhǔn)的推進和任務(wù)的開展。
- 論文地址：https://arxiv.org/pdf/2109.05211.pdf
- RobustART 開源平臺網(wǎng)址：http://robust.art/
- 重明平臺網(wǎng)址：https://github.com/DIG-Beihang/AISafety
一、概要
目前的魯棒性 benchmark 主要聚焦于評估對抗防御方法的效果，而忽略了模型結(jié)構(gòu)和訓(xùn)練技巧對于魯棒性的影響。而這些因素對模型魯棒性十分重要，一些細微的差別（如訓(xùn)練使用的數(shù)據(jù)增強方法的不同）就可能掩蓋防御方法帶來的魯棒性影響，從而造成對模型魯棒性的錯誤評估和認識。因此，該論文提出了 RobustART 來全面地評測不同模型結(jié)構(gòu)和訓(xùn)練技巧對于魯棒性的影響，并在對抗噪音（AutoAttack、PGD 等）、自然噪音（如 ImageNet-A, -O, -C, -P）和系統(tǒng)噪音（如 ImageNet-S）下進行了全面評估。下表給出了在研究的 44 種經(jīng)典網(wǎng)絡(luò)模型中，在不同噪音下魯棒性前五名的模型（為了公平比較，所有模型的訓(xùn)練設(shè)置都已對齊）：
二、考慮模型結(jié)構(gòu)和訓(xùn)練技巧的魯棒性 benchmark
為了更好地探究模型魯棒性的內(nèi)在本質(zhì)，該研究將影響模型魯棒性的原因劃分成模型結(jié)構(gòu)和訓(xùn)練技巧這兩個正交因素，進而構(gòu)建了一套完整的 benchmark 設(shè)置，即（1）對不同網(wǎng)絡(luò)結(jié)構(gòu)的模型，使用同樣的訓(xùn)練技巧進行訓(xùn)練（2）對于同一種網(wǎng)絡(luò)結(jié)構(gòu)的模型，使用不同的訓(xùn)練技巧進行訓(xùn)練。這種細分的消融研究更有助于人們理解某些具體的模型結(jié)構(gòu)或者訓(xùn)練技巧對于魯棒性的影響。下表分別展示了研究中用到的模型結(jié)構(gòu)、訓(xùn)練技巧、以及噪音類型。
針對模型結(jié)構(gòu)這一因素，該研究盡可能多地覆蓋了常用的神經(jīng)網(wǎng)絡(luò)模型。對于 CNNs，有經(jīng)典的大型結(jié)構(gòu)如 ResNet、ResNeXt、WideResNet、DenseNet；輕量化網(wǎng)絡(luò)如 ShuffleNetV2、MobileNetV2；重參數(shù)化的結(jié)構(gòu) RepVGG；基于神經(jīng)架構(gòu)搜索（NAS）的模型如 RegNet、EfficientNet、MobileNetV3 以及使用 BigNAS 超網(wǎng)采樣得到的子網(wǎng)絡(luò)；對于非 CNN 網(wǎng)絡(luò)，有 ViT 和 DeiT，以及最近的基于 MLP 結(jié)構(gòu)的 MLP-Mixer。總計 44 種典型的手工設(shè)計的網(wǎng)絡(luò)模型和 1200 種超網(wǎng)采樣出的子網(wǎng)模型，在實驗中它們的訓(xùn)練設(shè)置都將被對齊。
針對訓(xùn)練技巧這一因素，該研究選取了較為主流的一些技巧進行探究，有知識蒸餾、自監(jiān)督訓(xùn)練、權(quán)重平均、權(quán)重重參數(shù)化、標(biāo)簽平滑、Dropout、數(shù)據(jù)增強、大規(guī)模預(yù)訓(xùn)練、對抗訓(xùn)練、不同的優(yōu)化器等。在實驗中選取部分模型結(jié)構(gòu)，通過比較使用某訓(xùn)練技巧進行訓(xùn)練和不使用該技巧訓(xùn)練對模型魯棒性的影響來探究該訓(xùn)練技巧對魯棒性起到的作用。
為了全面完整地對模型魯棒性進行評估，該研究選用了三種不同類型的噪音來對模型進行測試：對抗噪音、自然噪音、系統(tǒng)噪音。其中，對于對抗噪音選用了 8 種主流的對抗攻擊方法，覆蓋了不同的攻擊強度和黑白盒攻擊：FGSM、PGD-
、AutoAttack-
、
、以及基于遷移的對抗攻擊；對于自然噪音選用了 4 種主流的數(shù)據(jù)集：ImageNet-C、ImageNet-P、ImageNet-A、ImageNet-O；對于系統(tǒng)噪音選用了 ImageNet-S 數(shù)據(jù)集。此外，對于每種噪音都選擇了相應(yīng)的評估指標(biāo)進行測評。
RobustART 整體采用了層次化和模塊化的框架設(shè)計，如下圖所示，底層使用了 Pytorch 作為深度學(xué)習(xí)框架，并使用了 FoolBox、ART 等對抗工具庫，且提供了多種數(shù)據(jù)集的支持。用戶接口層次主要分為 Models、Training、Noises、Evaluation 這四大模塊，每個模塊提供了可調(diào)用的 API 供用戶使用。通過使用 RobustART 的開源框架，用戶可以（1）方便地使用提供的代碼復(fù)現(xiàn)結(jié)果以及進行更加深入的分析；（2）通過提供的 API 添加新模型、訓(xùn)練技巧、噪音、評估指標(biāo)等來進行更多的實驗；（3）使用提供的預(yù)訓(xùn)練模型和研究結(jié)果進行下游的應(yīng)用或者作為比較的基線。
三、實驗結(jié)果與分析
3.1 模型結(jié)構(gòu)對于魯棒性的影響
該研究首先選用了來自 13 個模型族的共 44 個典型的網(wǎng)絡(luò)模型，使用對齊的實驗設(shè)置對它們進行訓(xùn)練，然后對它們進行魯棒性評估。下面兩張圖分別展示了所有模型在各種噪音下模型大小與魯棒性的關(guān)系以及在面對遷移性對抗攻擊時的熱力圖：
通過圖中各模型間魯棒性的對比，可以看到：
- 對于幾乎所有模型族（除了 MobileNetV2 等輕量化的模型族），增大模型大小能夠同時提高泛化性以及對于對抗、自然、以及系統(tǒng)噪音的魯棒性。
- 在模型大小類似的情況下，不同的模型結(jié)構(gòu)可能有著截然不同的魯棒性，這也意味著模型結(jié)構(gòu)對于魯棒性是非常重要的。具體的，ViT、MLP-Mixer 這類非 CNN 的模型在對抗噪音下表現(xiàn)更為優(yōu)秀，而傳統(tǒng)的 CNN 模型（如 ResNet、ResNeXt）則對于自然噪音和系統(tǒng)噪音更加魯棒。
- 不同的噪音對于最終魯棒性的評估結(jié)果影響很大，對于同一類型的噪音（如對抗噪音），不同的攻擊方法可能導(dǎo)致不同的模型魯棒性結(jié)果；甚至對于同一種對抗攻擊，不同的噪音大小也可能會導(dǎo)致魯棒性評估結(jié)果的不同。
除了 44 個典型的網(wǎng)絡(luò)模型，該研究還從 BigNAS 超網(wǎng)中采樣了 1200 個子網(wǎng)，探究子網(wǎng)模型參數(shù)（如模型大小、輸入圖片大小、深度、卷積核大小等）對于魯棒性的影響，如下圖所示：
可以看出模型大小、卷積核大小、模型最后一個 stage 的深度對于對抗魯棒性有著正向的影響，而輸入圖片的大小則對對抗魯棒性有負面的影響。
3.2 訓(xùn)練技巧對于魯棒性的影響
該研究針對 10 余種特定的訓(xùn)練技巧，選取部分模型來評估有 / 無這些技巧對于模型的魯棒性影響，部分結(jié)果如下圖所示：
從實驗結(jié)果可以得出較多有意義的結(jié)論，如：
- 對抗訓(xùn)練：對于 CNNs，對抗訓(xùn)練提升了模型的對抗魯棒性，然而降低了 Clean 數(shù)據(jù)集上的泛化性以及對于自然噪音和系統(tǒng)噪音的魯棒性；該研究還首次發(fā)現(xiàn)了對于 ViTs 和 MLP-Mixer，對抗訓(xùn)練顯著提升了 Clean 數(shù)據(jù)集上的泛化性以及對于所有三種噪音的魯棒性，這對于對抗訓(xùn)練在真實場景中的實際應(yīng)用有重大意義。
- ImageNet-21K 預(yù)訓(xùn)練：該技巧提升了模型對于自然噪音的魯棒性，卻降低了對于對抗噪音和系統(tǒng)噪音的魯棒性。
- 數(shù)據(jù)增強：該技巧降低了模型在對抗噪音上的魯棒性，并在大多數(shù)情況下提升了模型對于自然噪音的魯棒性。
- AdamW 優(yōu)化器：相比于基礎(chǔ)的 SGD 優(yōu)化器，該技巧略微降低了 ResNet、RegNetX 等大型模型的魯棒性，卻明顯提升了 MobileNetV3 和 ShuffleNetV2 等輕量化模型在 Clean 數(shù)據(jù)集上的泛化性以及對于所有三種噪音的魯棒性。
四、展望
在深度學(xué)習(xí)模型大量應(yīng)用于人臉識別、自動駕駛等關(guān)鍵領(lǐng)域的今天，人們越發(fā)意識到人工智能安全的重大意義，而人工智能安全相關(guān)的研究和標(biāo)準(zhǔn)也亟待進一步推進和落實。本研究所提出的 RobustART 為我們帶來了一個全面、標(biāo)準(zhǔn)的模型魯棒性評估的開源平臺和框架，并在此基礎(chǔ)上進行了大量的實驗研究，得出了大量有啟發(fā)性的結(jié)論。這將幫助我們進一步認識和理解模型魯棒性與結(jié)構(gòu)、訓(xùn)練技巧之間的關(guān)系，讓我們對魯棒性有了更加全面深入的認識。該研究將與現(xiàn)有的面向防御的魯棒性 benchmark 互補，共同構(gòu)建完善的魯棒性基準(zhǔn)，推動魯棒性研究生態(tài)系統(tǒng)在機器學(xué)習(xí)社區(qū)中的長遠發(fā)展。
