寫在前面 & 筆者的個人理解

在過去的幾十年里，自動駕駛算法在感知、規劃和控制方面取得了重大進展。然而，評估單個組件并不能完全反映整個系統的性能，這突顯了對更全面評估方法的需求。這推動了HUGSIM的發展，這是一個閉環、真實和實時的仿真器，用于評估自動駕駛算法。我們通過3DGS將捕獲的2D RGB圖像提升到3D空間，提高閉環場景的渲染質量，并構建閉環環境來實現這一目標。在渲染方面，我們解決了閉環場景中新視圖合成的挑戰，包括視點外推和360度車輛渲染。除了新視圖合成外，HUGSIM還實現了全閉環仿真循環，根據控制命令動態更新自車和行為者狀態和觀察結果。此外，HUGSIM為KITTI-360、Waymo、nuScenes和PandaSet的70多個序列以及400多個不同的場景提供了全面的基準，為現有的自動駕駛算法提供了一個公平和現實的評估平臺。HUGSIM不僅是一個直觀的評估基準，還釋放了在真實的閉環環境中微調自動駕駛算法的潛力。

總結來說，本文的主要貢獻如下：

• 全新自動駕駛仿真器，其特點是閉環、真實和實時，彌合了城市場景新視圖合成和自動駕駛仿真器之間的差距。
• 為了解決仿真器中的特定渲染挑戰，我們利用物理約束和非本地參與者來提高保真度，超越了以前的新視圖合成方法。
• 提出了一種高效的駕駛員軌跡生成策略，即使沒有高清地圖，也能仿真攻擊性駕駛行為。
• 引入了一個新的基準來公平評估AD算法，與現有的基于閉環視覺的AD仿真器相比，它提供了更真實的仿真環境。此外，基準測試提供了基于多個數據集的各種場景，具有不同難度的不同場景。

相關工作回顧

Urban Scene Reconstruction

靜態場景：已經進行了許多研究，使用各種方法重建城市場景。這些方法可分為四類：基于點的、基于網格的、基于NeRF的和基于3DGS的。雖然基于點和基于網格的方法展示了真實的重建，但它們很難恢復場景的各個方面，特別是在高質量的外觀建模方面。相比之下，基于NeRF的模型不僅可以重建場景外觀，還可以從新穎的視角進行高質量的渲染，而基于3DGS的模型則支持實時渲染而不會犧牲質量。然而，這些方法主要是為靜態場景設計的，缺乏處理動態城市環境的能力。在這項研究中，我們的重點在于應對動態城市場景的挑戰。

動態場景：還開發了幾種方法來解決動態城市場景的重建問題。其中許多方法依賴于移動目標的精確3D邊界框的可用性，以便將動態元素與靜態組件分開。PNF、NeuRAD和StreetGaussians采用了一種不同的方法，利用基于單目或基于激光雷達的3D邊界框預測，并在重建過程中提出了對物體姿態的聯合優化。然而，我們的實驗觀察表明，由于沒有物理約束，直接優化物體姿態會產生不令人滿意的結果。另一種方法SUDS通過基于學習到的特征場對場景進行分組，避免了使用3D邊界框。然而，這種方法的準確性滯后。同時，EmerNeRF和PVG遵循與SUDS類似的想法，將場景純粹分解為靜態和動態組件。在我們的研究中，我們有能力進一步分解場景中的單個動態目標并估計它們的運動。然后，該重建的運動可用于在仿真器內仿真駕駛行為。

外推視圖渲染：盡管上述城市重建方法可以在插值視圖中渲染高保真圖像，但大多數方法都難以在外推視圖中渲染，尤其是在車道上，偽影很常見。一些方法，利用擴散模型添加額外的視圖進行監督，解決了城市場景重建中輸入視圖稀疏的問題。然而，擴散模型帶來了挑戰，例如視圖之間的不一致性、訓練復雜性的增加以及由于這些模型的繁重計算負擔而導致的訓練速度減慢。GGS提出了一種基于MVSplat的可推廣模型，在訓練過程中結合了虛擬車道生成策略來解決外推視圖問題。雖然這種方法顯著提高了外推視圖的保真度，但MVSplat只允許少數幀作為輸入，這可能會限制可擴展性并導致多視圖錯位。相比之下，并行工作AutoPlat和RoGS應用物理先驗來約束地面高斯分布，類似于我們的方法。然而，AutoPlat依賴于LiDAR數據進行初始化，RoGS在地平面上均勻分布高斯分布，兩種方法都固定高斯在平面上的位置。這些方法使用大量的高斯分布來對非紋理區域進行建模，我們發現這是不必要的，也是低效的。通過優化位置和比例等附加參數，HUGSIM在不需要太多高斯分布的情況下實現了更好的性能。

上述相關工作主要集中在新穎的視圖合成上，但還沒有完全開發出閉環仿真器，如表1所示。

Benchmarks

開環：AD算法的大多數現有數據集和基準都遵循開環方法，分別評估算法的各個組件。例如，在感知組件中，評估語義分割、邊界框檢測和車道檢測等任務，而規劃組件評估路線規劃、行為預測和軌跡預測等任務。盡管這些開環基準提供了對每個部分的詳細和令人信服的性能評估，但它們使用專家收集的感官數據來評估AD算法的性能，缺乏偏離專家收集的感知數據的場景。如果沒有閉環反饋，這些偏差的長期后果仍未得到探索，這對于理解AD系統在現實世界條件下的魯棒性和安全性至關重要。NAVSIM提供了一個位于開環和閉環評估之間的基準。盡管它是一個非反應式仿真器，缺乏新穎的視圖合成能力，但它通過預測未來幾秒鐘的規劃軌跡來計算閉環指標。然而，NAVSIM僅限于短時間范圍，并沒有解決隨著時間的推移累積的偏差如何影響駕駛安全的問題。

閉環：許多閉環仿真器試圖解決自動駕駛中開環基準的局限性。一些仿真器提供了其他車輛的地面真實位置和旋轉，缺乏AD系統的感知方面，這對全面評估至關重要。視頻擴散模型的快速發展在生成真實的駕駛視頻方面顯示出了希望。DriveArena使用視頻擴散模型構建閉環仿真器，通過場景布局控制場景生成。然而，這些模型仍然存在時間不一致和大量計算需求等問題。UniSim和NeuroNcap采用了不同的方法，創建了一個基于NeRF的仿真器，可以實現真實的閉環仿真。然而，UniSim不是開源作品，而NeuroNCAP有幾個缺點，包括非實時渲染、外推視圖的次優質量和完全手動的演員行為設計。相比之下，HUGSIM通過提供實時性能、提高外推視圖的保真度以及高效、自動生成參與者行為來解決這些挑戰。

城市場景重建

解耦場景表示

我們假設場景由靜態區域和表現出剛性運動的動態車輛組成。靜態區域被分解為地面和非地面區域，允許對地面應用平面約束，以在外推視圖中保留車道結構。我們考慮兩類動態車輛：原始駕駛數據集中存在的本地動態車輛和從360度捕獲圖像重建的非本地動態車輛。

非地面靜態高斯：遵循3DGS，我們使用3D高斯對城市場景的所有區域進行建模。除了3D高斯的原始定義外，我們還建議對每個3D高斯的語義logit 進行額外建模，以允許渲染2D語義標簽。此外，我們可以通過在兩個不同的時間戳t1和t2將3D位置μ投影到圖像空間并計算運動，自然地獲得每個3D高斯的渲染光流。我們提供了多模態渲染的詳細信息。

地面高斯：車道在AD算法的感知中起著至關重要的作用。然而，如圖3所示，大多數現有的重建方法都難以在外推視圖中準確渲染車道幾何形狀。這些失真的原因是地面高斯分布傾向于過度擬合訓練視圖，無法重建正確的地面幾何。我們的初步實驗表明，直接監督渲染深度并不能解決問題，因為具有不正確幾何形狀的高斯人仍然可以渲染出看起來準確的2D深度圖。此外，我們正則化地面高斯分布以形成平面結構，得到如圖4所示的正確幾何。

一個天真的假設是將場景的地面視為一個單一的平面，允許地面高斯分布在相同的高度。然而，這一假設忽略了更復雜的情況，如斜坡道路。為了解決這個問題，我們提出了一個多平面地面模型，其中我們假設地面僅在有限的距離內是平面的，記為?Z。在該模型中，假設每個局部平面相對于最近的相機具有固定的高度。由于相機姿態反映了表面坡度，這種多平面方法有效地仿真了這種復雜的場景。具體來說，我們優化了地面高斯分布，并通過將采樣高斯補丁的高度方差限制在相應相機坐標系中的小?Z內來約束高斯分布在3D空間中。請注意，局部平面彼此重疊，從而避免了邊界偽影。更正式地說，我們的地面模型的約束可以表示為優化目標：

與之前使用密集拼接或LiDAR初始化高斯的方法不同，如RoGS和AutoPlat所示，我們發現使用稀疏分布的高斯可以有效地表示地面，因為地面紋理不是均勻分布的。因此我們保留了顏色、位置、不透明度、二維尺度作為可優化參數，同時也納入了密度控制策略。我們的方法能夠實現高質量的地面渲染，而不需要過多的3D高斯分布，正如我們的實驗所證明的那樣。

本地動態車輛高斯模型和單循環模型：對于動態車輛，我們假設根據輸入的RGB圖像預測3D邊界框，從而在目標坐標空間中實現3D高斯建模。為了解決預測中的噪聲問題，我們通過使用自行車模型進行正則化來共同優化它們。

非本地全觀測車輛高斯模型：AD仿真器需要從所有360度渲染高保真度的參與者，特別是在將交互式參與者集成到閉環仿真中時。然而原始重建場景中的車輛僅從有限的一組視點捕獲，從訓練視角之外的角度觀察時會產生明顯的偽影。為了解決這個問題，我們使用密集捕獲的真實世界數據集3DRealCar重建車輛，該數據集提供了對真實世界車輛的360度觀測。我們的實驗表明，當以隨機視角插入仿真場景時，真實世界捕獲的車輛表現優于原始場景中的車輛。

3DRealCar數據集提供了車輛的掩碼。我們利用掩碼信息來確保3D高斯模型僅對汽車前景進行建模。這是通過在香草渲染損失之外考慮阿爾法掩模損失來實現的。重要的是，直接插入沒有陰影的前景車輛通常看起來就像它們漂浮在空中。然而，逆渲染需要精確的環境地圖，這很難從透視相機中獲得。盡管一些工作解決了高斯散斑中逆渲染的挑戰，但它仍然是一個計算成本很高的操作。為了簡化問題，我們假設光源（太陽）直接在頭頂，這意味著陰影應該出現在車輛下方。為了渲染車輛陰影，我們將平面高斯分布圖放置在規范空間中車輛的底部，如圖5所示。這些高斯分布的α屬性根據它們與底部中心的距離平滑地減小。盡管這是一個簡化的假設，但我們觀察到，在許多情況下，插入的非本地車輛似乎是合理的，在效率和照片真實感之間取得了良好的平衡。

整體城市高斯分布

Semantic Reconstruction：

Optical Flow：

Loss Functions

圖像損失：

2D分割損失：

基于物理的正則化：

仿真

Graphicial Configuration Interface

我們開發了一個圖形用戶界面（GUI），以方便在仿真器中配置測試場景。GUI配置包括幾個步驟。第一步是配置相機設置，包括相機數量、相機內參和車輛外參。第二步是配置自車參數，包括指定自車的運動學模型、控制頻率和啟動狀態。最后一步涉及配置參與者，包括具有不同指定行為的本地和非本地車輛。所有這些演員的外觀都可以從3DRealCar重建的100多輛候選3D車輛中選擇。

閉環仿真

• Simulator-User communication
• Controller
• Ego-Vehicle Kinematic Model
• Collision Detection

Actor Driving Behaviors

• Replayed Driving Behavior
• Normal Driving Behavior
• Aggressive Driving Behavior

渲染評測

結論

本文介紹了HUGSIM，這是一種用于自動駕駛的全新真實閉環仿真器，具有在外推視圖中實時、高質量渲染和高效生成演員行為的特點。具體來說，我們使用3D高斯重建城市場景，并引入地面模型以及單車輛重建，以提高外推視圖的渲染質量。對于參與者行為，我們提出了一種基于攻擊成本的軌跡交互式搜索，以仿真參與者的攻擊性駕駛行為。

此外，我們在包括方差序列在內的多個數據集上建立了HUGSIM基準，設計了300多個用于評估和訓練AD算法的場景。我們在基準上評估了幾個基線。我們的結果表明，HUGSIM基準對現有的AD算法提出了重大挑戰。這一閉環基準測試揭示了自動駕駛性能的巨大改進空間。我們希望我們的數據集和基準將促進跨社區的新研究，推動實現完全自主的最終目標。

對于未來的工作，HUGSIM可以通過多種方式進行增強。首先，我們假設所有動態目標都遵循剛性運動，這可能會導致行人等非剛性運動目標的模糊。這可以通過將非剛性動態重建方法納入我們的框架來解決。雖然我們的方法改進了外推視點的渲染，但它在遠離輸入或非常接近目標的視圖上難以實現高保真渲染。這些挑戰可以通過利用2D生成模型的先驗來緩解。此外，由于我們的方法為在真實的閉環環境中微調AD算法開辟了可能性，這為未來的探索提供了一條有前景的途徑。