[[337736]]

“升級版”的對抗貼畫能夠在真實物理場景下迷惑AI，攻擊自動駕駛系統或智能監控系統等依賴目標檢測器作為感知的智能系統。中科院信工所信息安全國家重點實驗室陳愷研究員團體最新研究及發表文章成果顯示，針對目標檢測系統的“升級版”的對抗貼畫能夠提高AI物理對抗攻擊的魯棒性，對依賴目標檢測器作為感知的自動駕駛系統以及智能監控等智能系統形成真正的威脅[1]，該成果發表于ACM CCS 2019 國際會議(CCF A類)。

“深度學習模型”容易受到對抗樣本的攻擊早已不是新鮮事，對圖像數據疊加人眼難以辨識的噪聲擾動，就可迷惑AI模型以使其給出錯誤的識別結果，擾動后的惡意圖像即為對抗樣本(Adversarial Example)。如攻擊者將對抗攻擊技術應用于人臉識別、自動駕駛以及智能監控等領域中，將嚴重威脅AI時代智能應用的落地與生態信任的建立。

傳統對抗攻擊主要集中在數字空間(Digital Space)的對抗樣本生成，然而該對抗樣本由于對圖片及其細微的控制要求(bit級)，使之難以具備在真實物理場景(Physical world)下的攻擊能力，無法對智能系統構成真正的威脅。現有研究中針對目標檢測器的對抗攻擊方法，雖然可以實現物理攻擊，然而其對抗樣本受限于較短的攻擊距離(< 12m)、有限的角度(< 15°)等，依然難以對動態環境下的AI應用(對角度和距離的動態變化有較高的魯棒性要求)造成威脅，比如自動駕駛應用中的行駛車輛等。因此對抗樣本的魯棒性物理攻擊可行性研究是當前對抗攻擊的研究熱點，陳愷研究員團體提出的針對目標檢測系統的魯棒性物理對抗攻擊技術旨在解決該問題。

針對多種當前流行的目標檢測模型(YOLO V3， Faster RCNN， RFCN等)，該文章提出了針對“消失攻擊”與“出現攻擊”兩種攻擊形式的魯棒性對抗樣本生成方法。消失攻擊即指使目標消失，無法被AI識別，具體表現為在目標表面粘貼對抗貼畫使目標無法被目標檢測器識別為消失攻擊;出現攻擊則是利用對抗樣本實現AI眼中的“無中生有”效果，具體是使對抗貼畫被目標檢測器識別為指定類別目標。如人工智能自動駕駛系統，車以每小時30公里時速行駛，即使在25米的長距離以及120°大角度的變化范圍內，攻擊者可利用對抗樣本攻擊自動駕駛的目標識別系統，讓自動駕駛系統失效。

消失攻擊-FIR算法與ERG算法

基于物理環境下“消失攻擊”的魯棒性提升方法，文章提出了特征干擾增強算法(Feature Interference Reinforcement, FIR)技術與增強現實限制 (Enhanced realistic constraints generation, ERG)算法來提升對抗樣本魯棒性。

圖1 特征干擾增強算法(FIR)引入隱藏層響應控制項

FIR算法在損失函數中引入了對深度學習模型隱藏層響應的控制項，傳統的對抗樣本生成算法通常以模型預測結果與目標輸出的距離度量作為損失函數，而FIR算法則在此基礎上加入了模型隱藏層響應的控制項，加大對抗樣本的隱藏層響應與原樣本的隱藏層響應之間的差異，從而在模型中能夠更早的破壞原始目標特征的識別，提升對抗貼畫的魯棒性，實現更好的目標隱身效果。

圖2 增強現實限制(ERG)算法

ERG算法則是在對抗樣本生成過程中引入現實限制算法，以交通標識牌的Stop Sign為例，該交通標識牌通常出現于戶外、道路旁等背景環境中，在牌子下方配有立桿。而該團隊在實驗中發現，深度學習模型在對目標識別時，識別結果受目標背景的合理性以及目標狀態的合理性(是否有立桿)影響。因此利用目標檢測、語義分割等工具在對抗樣本生成中使目標處于合理的背景條件以及狀態中，并利用圖像變換算法模擬目標在不同角度和以及不同距離下的狀態，使得對抗樣本能夠具備在不同環境下的魯棒性，提高其物理攻擊能力。

出現攻擊-Nested-AE算法

基于物理環境下“出現攻擊”的魯棒性提升方法，文章提出了“嵌套對抗樣本(Nested-AE)”的概念，嵌套對抗樣本是利用目標檢測模型(如YOLO V3)對遠距離目標(小目標)與近距離目標(大目標)使用模型的不同部分進行預測。為了提高對抗樣本魯棒性，嵌套對抗樣本將針對大目標檢測的對抗圖案與針對小目標檢測的對抗圖案以互不干擾的形式嵌套為一個單獨的對抗圖案，則該對抗圖案同時具備遠距離攻擊以及近距離攻擊的能力，提升對抗樣本的在距離上的魯棒性。

圖3 嵌套對抗圖案(Nested AE)

對抗貼畫偽裝算法

由于對抗貼畫不同于數字世界的對抗噪聲，人眼可以分辨，因此奇怪的對抗貼畫圖案足以引起人們的警覺。論文提出了風格定制對抗貼畫方式，可以生成不同的風格的對抗樣本，以適應不同環境下的對抗樣本類型。如下圖，可以通過控制對抗貼畫的圖案類別生成指定類別圖案的對抗樣本，也可以控制對抗貼畫的形狀(如蘋果形狀)和顏色等等，甚至可以將文字的元素加入到對抗貼畫中，生成帶有文字效果的對抗貼畫。不同風格的對抗圖案使之能夠更好的偽裝成海報、廣告以及小張貼等等，實現對抗樣本的隱匿功能。

圖4 風格定制對抗貼畫(圖案、形狀、顏色、文字)

實驗結果

實驗針對COCO數據集，以YOLO V3、Faster RCNN作為白盒測試模型，SSD、RFCN、Mask RCNN以及Faster RCNN/YOLO V3作為黑盒測試模型，分別測試了對抗樣本在室內外條件下，不同距離、不同角度以及不同光線下的的攻擊效果，以及測試對抗樣本在真實車輛行駛條件以及速度下的攻擊結果。

圖5 室內(外)消失攻擊與出現攻擊

圖6 真實車輛駕駛實驗

實驗結果表明，消失攻擊和出現攻擊的對抗圖案在室內外環境下均可以實現很好的效果，解決了傳統方法生成的對抗樣本在室外環境下魯棒性差的問題，并且能夠實現對抗樣本在不同天氣光照(陰天、晴天)，長距離(最遠達25m)，大角度(60°，60°)范圍變化的強魯棒性。在真實車輛駕駛實驗中，如下面表格數據顯示，不同的車速條件下(6km/h、30km/h)以及不同的道路條件下(直行路、彎路)，對抗樣本均可以實現60%以上的成功率。

未來展望

雖然人工智能技術已在各個領域取得較大進展，在商業應用中也實現了廣泛的應用，開始建立起AI生態以及信任機制，尤其是在人臉識別以及各種自動化監控服務系統中。但是AI生態的建立也帶來了新的安全問題，如基于深度學習模型固有脆弱性的對抗樣本攻擊。

雖然基于數字空間的對抗樣本難以對實際應用的AI服務造成嚴重威脅，但是近兩年，業界對于可實現物理攻擊的魯棒性對抗樣本生成算法取得的進展表明，具有一定魯棒性的對抗樣本足以威脅AI應用的安全。如陳愷研究員團隊提出的CommanderSong語音攻擊(該文章已發表于USENIX Security 2018國際頂級會議，CCF-A類)，能夠生成音樂對抗樣本并可在物理環境下播放實現對語音識別模型的攻擊，具有一定遷移特性，能夠成功攻擊訊飛語音輸入法，該團隊在此基礎上進一步提出了Devil's Whispher攻擊，針對商業智能語音設備實現了黑盒物理對抗攻擊算法，能夠成功攻擊包括蘋果Siri、微軟Cortana、亞馬遜Echo、Google Assistant等智能語音設備，并可以通過Youtube等社交平臺傳播(該成果已被USENIX Security 2020國際會議接收，CCF-A類)。清華大學團隊提出的演化攻擊，可以用來攻擊人臉識別系統;比利時魯汶大學研究表明，借助對抗補丁也可以大大降低監控系統對人類的識別率。

因此，隨著對抗攻擊技術的進步，尤其是可用于物理環境下的魯棒性對抗樣本生成算法的提出，進一步提升對抗攻擊對AI系統的安全威脅。未來工作中，如何打造安全、可靠的人工智能系統則顯得至關重要。

參考文獻

[1] Zhao, Yue, et al. "Seeing isn't Believing: Towards More Robust Adversarial Attack Against Real World Object Detectors." Proceedings of the 2019 ACM SIGSAC Conference on Computer and Communications Security. 2019.1989-2004