破解自駕數據難題！毫米波雷達可控仿真技術新框架來了
以神經網絡為核心引擎，讓AI承擔雷達仿真數據生成任務，還實現對雷達物理特性的建模與控制——
這就是光輪智能聯合清華AIR、LeddarTech等機構提出的全新自動駕駛神經渲染框架SA-Radar。
在無需雷達具體細節的情況下，它能實現可控且逼真的雷達仿真，支持場景的靈活編輯——包括雷達屬性修改、演員移除以及新視角合成，并能顯著增強多種下游任務。
作為高級駕駛輔助系統（ADAS）中扮演著至關重要角色的雷達，其相關研究和開發仍面臨數據獲取的挑戰。
尤其讓人頭疼的事情，是雷達圖像顯著受到具體軟硬件細節的影響。
為了解決這一問題，SA-Radar應運而生。
如下，真實畫面右側從左至右依次是RGB圖像、雷達真值、雷達仿真結果、雷達屬性修改后的仿真結果、去除場景目標后的仿真結果和新視角下的仿真結果。
下圖展示了在同一場景中，不同雷達屬性和不同視角下的仿真結果：
現存兩種雷達仿真方法均有不足
憑借其卓越的抗干擾能力和在惡劣天氣條件下的可靠性，雷達在復雜交通環境中表現出色。
然而，雷達相關研究和開發仍面臨數據獲取的挑戰。
現有的雷達仿真方法可以被大致分為兩種：
- 生成式雷達仿真
- 基于物理的雷達仿真
生成式雷達仿真通過生成對抗網絡（GAN）等方法直接生成特定領域的雷達數據。
這種生成數據在簡單的2D任務上能實現和真實數據接近的效果。
然而，該方法主要存在兩個問題——
第一，不同雷達的接收信號存在明顯的域差異，因此需要為每種雷達單獨收集訓練數據。
第二，由于缺乏物理先驗，生成式方法無法實現雷達屬性的外推，即只能仿真特定雷達屬性下的數據。
相比之下，基于物理的雷達仿真通過建模電磁波從發射到接收的完整過程來仿真雷達數據，這使得它是可解釋和屬性可控的。
然而，這種方法需要了解詳細的雷達硬件參數和復雜的信號處理算法，并花費較長的仿真時間。
通過神經渲染模型實現可控且高效仿真
為了解決上述問題，研究團隊提出了SA-Radar。
該方法集成了生成式方法和基于物理方法的優勢，通過基于波形參數的雷達屬性表示和嵌入波形參數編碼的3D U-Net模型，實現了多種傳感器設置下雷達數據的可控且高效仿真。
具體來說，該項工作提出了一種基于波形參數的雷達屬性表示方法。
它通過雷達回波信號在各維度的波形參數來表征雷達屬性，從而有效克服了雷達具體細節的需要。
在此基礎上，該項工作提出了一種高效的神經渲染方法-ICFAR-Net。
它以波形參數編碼的雷達屬性為條件，能夠捕獲由不同雷達配置引起的信號變化，從而有效生成不同雷達屬性下的雷達立方體（距離-方位-多普勒張量）。
研究人員介紹，SA-Radar提供了一條完整的雷達仿真管線，精心設計了從環境仿真到雷達立方體仿真的全過程。
環境仿真
在環境仿真中，研究者構建了一個統一的反射環境張量。
該張量記錄了所有反射點在雷達立方體中回波信號對應的離散位置和反射強度。
構建過程可拆分為兩個階段：場景仿真和噪聲仿真。
對于場景仿真，研究過程中提供了多種傳感器設置來捕捉場景中的反射點和并定義其反射強度，包括激光雷達、相機和傳統雷達。
對于噪聲仿真，則通過在距離、方位角和多普勒三個維度上都隨機分布的反射點來模擬噪聲源（即把噪聲信號建模為來自噪聲反射點的雷達信號）。
雷達仿真
研究團隊將雷達立方體建模為每個反射點上回波信號的疊加。
這使得可以在不需要獲得雷達具體細節的情況下，通過一個三維反射波形來表征雷達屬性。
進一步地，團隊提出了一種基于波形參數的雷達屬性表示方法，通過三維反射波形在不同維度的波形參數{σ, g, Rs, λ}來直觀地表征雷達屬性。
在此基礎上，研究團隊設計了ICFAR-Net，這是一種基于波形參數編碼的3D U-Net，能夠捕捉不同雷達配置引起的信號變化，并準確生成對應的雷達立方體（距離-方位-多普勒張量），如下圖所示。
與此同時，團隊構建了一個帶有豐富雷達屬性注釋的混合數據集，以確保ICFAR-Net穩定訓練，極大地增強了ICFAR-Net對不同種雷達的仿真能力。
為了測試上述研究成果，研究人員在多個下游任務上——包括2D/3D目標檢測和雷達語義分割等，進行了廣泛評估。
結果表明，SA-Radar的模擬數據既逼真又有效，無論是單獨使用還是與真實數據結合使用，都能持續提升模型性能。
此外，如文章開頭所示，SA-Radar還支持在新的傳感器視角和可編輯場景中進行仿真。
精度和效率較現有方法顯著提升
實驗結果表明，此方法在雷達仿真的質量和效率方面都優于已有方法，并顯著增強了下游任務，包括2D/3D目標檢測和多視圖語義分割。
如下表所示，這一方法的仿真誤差明顯更小，尤其是全局平均誤差。
效率方面，雷達仿真時間在0.036s左右，要遠遠快于RadSimReal和傳統的物理模擬（一般至少花費5s）。
此外，這個方法的大部分時間成本在于反射環境張量E的生成，但也只需要0.26s左右。
下圖則展示了仿真結果和真實雷達立方體的比較，新方法的仿真結果與真實雷達立方體高度相似（包括噪聲區域）。
團隊也通過多種不同的下游任務來驗證SA-Radar仿真數據的有效性。
為了排除場景多樣性導致的增益，只在RADDet和Carrada的訓練集場景上生成仿真數據，數據量大約為原始數據的兩倍。
下面是各任務上的實驗結果。
2D目標檢測和多視圖語義分割
在比較簡單的任務上，如2D目標檢測和多視圖語義分割，即使僅使用此次提供的仿真數據，其效果優于使用真實數據進行訓練的效果。
同時，該模型在仿真數據和真實數據的聯合訓練下取得了最佳性能。
3D目標檢測
團隊的仿真數據訓練的模型實現了接近真實數據集訓練的性能，而聯合訓練的模型實現了最佳性能。
換句話說，SA-Radar團隊的仿真數據在三維尺度上被證明是有價值的，能在復雜任務上對真實數據穩定提供增益。
更多可視化比較結果如下：
完全使用真實數據訓練的模型在SA-Radar團隊的仿真數據上依然能夠實現相當的性能，這證明了其物理合理性。
此外，團隊也在NuScene上探究了SA-Radar在沒有見過的傳感器和場景上的表現，進一步驗證了SA-Radar在該情況下也能魯棒地能夠仿真物理可靠的雷達數據。
論文鏈接：https://arxiv.org/abs/2506.03134
