arXiv論文“CARLA-GEAR: A Dataset Generator for a Systematic Evaluation of Adversarial Robustness of Vision Models“，22年6月，意大利。

本文介紹CARLA-GEAR，這是一種自動生成照片真實感合成數據集的工具，可用于系統評估NN對物理對抗patches的對抗魯棒性，比較不同對抗防御/檢測方法的性能。該工具構建在CARLA模擬器上，用Python API在自動駕駛環境中為多個視覺任務生成數據集。生成的數據集包含的對抗patches貼到廣告牌或卡車后部，并通過最先進的白盒（white-box）打擊策略制作，最大限度地提高測試模型的預測誤差。

最后，本文提出一項實驗研究，評估某些防御方法對此類破壞的性能。所有代碼和數據集在http://carlagear.retis.santannapisa.it?.

如圖說明一些代表性駕駛場景：考慮到城市場景中可能會放置對抗性patches（例如，在廣告牌或卡車上）和可選一個對抗性patch，CARLA-GEAR將這個parch附著在選定的表面上，并在場景周圍迭代放置車輛和附加的攝像頭，收集高清RGB圖像和真值標簽，還有關于攝像機內外參的附加信息，以及廣告牌在場景中的位置。

該流水線設計用于生成涉及自主駕駛感知四種不同計算機視覺任務的數據集。每個數據集旨在評估CNN的對抗魯棒性和/或在可能存在物理對抗打擊的情況下防御方法的性能。對于每種情況，在可打擊表面的不同距離處迭代生成帶有攝像頭的自車，以及隨機的非表現角色（NPC，即車輛和行人）。該數據集由如此收集的RGB圖像和相應的真值標注組成，對于每個任務，這些標注是不同的。

對抗場景主要是基于patches的真實對抗打擊。該工具考慮兩種不同類型的情況：（i）道路一側的廣告牌上有一個patch，以及（ii）在攝像機前面的卡車后面安插patch。每個廣告牌位置在yml文件中指定為廣告牌在地圖中的固定位置。同一文件指定了自車和NPC相對于廣告牌的生成位置限制。然后在這些限制內隨機生成。這樣，就可以生成同一潛在危險場景的不同視圖。雖然廣告牌有固定的位置，但卡車在地圖中隨機生成，而自車在其后面以不同的隨機距離生成。

如圖是數據生成和收集的流水線：

通過迭代3個步驟來構建數據集：（i）清理任何額外的車輛/行人，（ii）根據特定情況的生成限制生成自車、其傳感器和隨機NPC，（iii）保存RGB圖像、真值、廣告牌和攝像機姿態。

實驗結果如下：（a） 每個任務的性能與用于優化圖像不可知patches的樣本數有關。實驗在billboard02上進行了十次，每次實驗都更換種子。虛線表示基線性能（隨機patches），而誤差條表示標準偏差。（b） CARLA的不同天氣預設對每個任務的基線性能（隨機patches）和有效性的影響。實驗針對三種不同的情況進行，不同的攝像機陽光相對方向。