在重復和挑戰性天氣條件下的數據集和駕駛感知
arXiv論文“Ithaca365: Dataset and Driving Perception under Repeated and Challenging Weather Conditions“，22年8月1日上傳，Cornell和Ohio State兩個大學的工作。
近年來，由于采用大規模數據集，自動駕駛汽車的感知能力有所提高，這些數據集通常在特定位置和良好的天氣條件下收集。然而，為了達到高安全要求，這些感知系統必須在各種天氣條件下魯棒運行，包括雪和雨的情況。
本文提出了一個實現魯棒自主駕駛的數據集，采用一個新數據收集過程，即在不同場景（城市、公路、農村、校園）、天氣（雪、雨、太陽）、時間（白天/晚上）和交通條件（行人、自行車手和汽車）下，沿著15公里的路線重復記錄數據。
該數據集包括來自攝像機和激光雷達傳感器的圖像和點云，以及高精度GPS/INS，建立跨路線的對應關系。該數據集包括道路和目標標注，具有非模態（amodal）掩碼捕捉的局部遮擋和3-D邊框。
重復路徑為目標發現、連續學習和異常檢測開辟了新的研究方向。
Ithaca365鏈接：A new dataset to enable robust autonomous driving via a novel data collection process
如圖是數據采集的傳感器配置：
如圖a顯示了路線圖，其中包含在多個位置捕獲的圖像。駕駛被安排在一天中的不同時間采集數據，包括晚上。在道路清理之前和之后，記錄大雪情況。
數據集的一個關鍵特色是，在不同的條件下可以觀察到相同的位置；圖b中顯示了一個示例。
如圖顯示了不同條件下的遍歷解析：
開發一個自定義標記工具，用于獲取道路和目標的非模態掩碼。對于不同環境條件下的道路標簽，例如積雪覆蓋的道路，用相同路線的重復遍歷。具體而言，通過GPS姿態和激光雷達數據構建的點云道路地圖，將“好天氣”的道路標簽轉換為“惡劣天氣”。
路線/數據分為76個區間。將點云投影到BEV中，并使用多邊形標注器標記道路。一旦在BEV中標記了道路（生成2-D道路邊界），將多邊形分解為較小的150 m^2多邊形，采用平均高度1.5 m的閾值，多邊形邊界內的點做平面擬合來確定道路高度。
用RANSAC和回歸器將平面擬合到這些點；然后用估計的地平面計算沿邊界每個點的高度。將道路點投影到圖像中，并創建深度（depth）掩碼，獲得道路的非模態標簽。將位置與帶有GPS的標記地圖匹配，并用ICP優化路線，可以將地平面投影到新收集路線的特定位置。
對ICP解決方案進行最終檢查，其方法是驗證道路標簽的平均投影真值掩碼與相同位置的所有其他真值掩碼符合80% mIOU；如果不符合，則查詢位置數據不會被檢索到。
非模態目標用Scale AI標記的六種前景目標類別：汽車、公共汽車、卡車（包括貨物、消防車、皮卡、救護車）、行人、自行車手和摩托車手。
這種標記范式有三個主要組成部分：首先識別目標的可見實例，然后推斷被遮擋的實例分割掩碼，最后標記每個目標的遮擋順序。在最左側的前向攝影機視圖上執行標記。遵循與KINS（“Amodal instance segmentation with kins dataset“. CVPR，2019）相同的標準。
為了展示數據集的環境多樣性和非模態質量，訓練并測試了兩個基線網絡，以在像素級識別非模態道路，即使道路被雪或汽車覆蓋也能工作。第一個基線網絡是Semantic Foreground Inpainting（SFI）。第二個基線，如圖所示，采用以下三個創新改進SFI。
- 位置和通道注意：因為非模態分割主要推斷什么是不可見的，所以上下文是一個非常重要的線索。DAN（“Dual attention network for scene segmentation“，CVPR‘2019）引入了兩項創新，捕捉兩種不同的背景。位置注意模塊（PAM）使用像素特征關注圖像的其他像素，實際上從圖像的其他部分捕獲上下文。通道注意模塊（CAM）使用類似的注意機制，有效地聚集通道的信息。這里在主干特征提取器上應用這兩個模塊。結合CAM和PAM更好地定位精細掩碼邊界。通過上采樣層獲得最終前景實例掩碼。
- 混合池化作修補（inpainting）：最大池化作為修補操作，將重疊的前景特征替換為附近的背景特征，幫助恢復非模態道路特征。然而，由于背景特征通常是平滑分布的，因此最大池化操作對添加的任何噪聲非常敏感。相反，平均池化操作可以自然地減輕噪聲。為此，結合平均池化和最大池化進行修補，稱之為混合池化（Mixture Pooling）。
- 求和運算：在最后上采樣層之前，不直接傳遞來自混合池化模塊的特征，而是包含來自PAM模塊輸出的殘余鏈接。通過在道路分割分支中聯合優化兩個特征圖，PAM模塊還可以學習遮擋區域的背景特征。這可以帶來更準確地恢復背景特征。
如圖是PAM和CAM的架構圖：
混合池化做修補的算法偽代碼如下所示：
非模態道路分割的訓練和測試代碼如下：https://github?. com/coolgrasshopper/amodal_road_segmentation
實驗結果如下：
