寫在前面&出發點

真實的場景重建和視圖合成對于通過模擬安全關鍵場景來推動自動駕駛系統的發展至關重要。3DGaussian Splatting在實時渲染和靜態場景重建方面表現優異，但由于復雜的背景、動態目標和稀疏的視圖，它在模擬駕駛場景時遇到了挑戰。這里提出了AutoSplat，這是一個采用Gaussian Splatting技術的框架，以實現自動駕駛場景的高度逼真的重建。通過對代表道路和天空區域的高斯函數施加幾何約束，方法能夠實現對包括車道變更在內的挑戰性場景的多視圖一致模擬。利用3D模板，引入了一種反射高斯一致性約束，以監督前景目標的可見面和不可見面。此外，為了建模前景目標的動態外觀，為每個前景高斯函數估計了殘差球諧函數。在Pandaset和KITTI數據集上進行的廣泛實驗表明，AutoSplat在場景重建和新視圖合成方面優于各種駕駛場景下的最先進方法。項目頁面位于：https://autosplat.github.io/。

領域背景介紹

從捕獲的圖像中進行視圖合成和場景重建是計算機圖形學和計算機視覺中的基本挑戰，對自動駕駛和機器人技術至關重要。從移動車輛上的稀疏傳感器數據中重建詳細的3D場景在高速行駛時尤其具有挑戰性，因為此時無論是自動駕駛車輛還是周圍物體都處于運動狀態。這些技術通過模擬逼真的駕駛場景，特別是成本高昂或危險的極端情況，增強了安全性。

神經輻射場（NeRFs）的出現通過多層感知器（MLP）隱式表示場景，徹底改變了視圖合成和重建領域。眾多研究致力于解決NeRF面臨的挑戰，如訓練和渲染速度慢，以及渲染質量，特別是在重建有界靜態場景方面。同時，也探索了無界場景和大規模城市區域的擴展。各種方法已針對自動駕駛場景中的動態場景建模進行了研究。然而，基于NeRF的方法在訓練和渲染包含多個動態目標的大規模場景時仍面臨重大障礙。

與基于NeRF的方法相比，3D Gaussian Splatting（3DGS）使用各向異性的3D高斯函數明確表示場景，這使得它能夠更快地進行訓練，實現高質量的新視圖合成，并進行實時光柵化。盡管3DGS在處理純靜態場景方面表現出色，但它無法重建包含動態目標的場景。此外，3DGS并非為重建自動駕駛場景而設計，而在自動駕駛場景中，視圖通常是稀疏的。這導致在前景目標重建和新視圖合成時出現扭曲，如圖1所示的自動駕駛車輛變道場景。

這里提出了AutoSplat，一個專為自動駕駛場景模擬而設計的基于3DGS的框架。為了確保在背景重建過程中新視圖的一致性和高質量合成，我們將道路和天空區域與其他背景區分開來。對這些區域的高斯函數施加約束，使其變得平坦，從而保證多視圖的一致性。這在變道場景中尤為明顯，如圖1所示。此外，表示前景目標的3D點無法通過運動結構（SfM）方法捕獲，且激光雷達點云稀疏且不完整。因此，我們利用密集的3D模板作為高斯函數初始化的先驗，并對這些高斯函數進行微調以重建場景中的前景目標。這使我們能夠引入反射高斯一致性約束，該約束通過利用真實相機視圖將前景目標所有高斯函數反射到其對稱平面上來監督前景目標的不可見部分。最后，為了捕捉前景目標的動態外觀，估計了不同時間步長下每個高斯函數的殘差球諧函數?？偟膩碚f，主要貢獻有四個方面：

1. 將背景進行分解，并對道路和天空區域施加幾何約束，以實現多視圖一致的光柵化；
2. 利用3D模板對前景高斯函數進行初始化，并結合反射高斯一致性約束，通過從對稱可見視圖中重建不可見部分；
3. 通過估計時間依賴的殘差球諧函數來捕捉前景目標的動態視覺特征；
4. 在Pandaset和KITTI數據集上將AutoSplat與最先進（SOTA）方法進行了全面比較；

相關工作

隱式表示與神經渲染：體渲染技術，特別是NeRF，已經在3D重建和新視圖合成方面取得了顯著進展。然而，NeRF面臨著一些挑戰，包括訓練和渲染速度慢、內存使用率高以及幾何估計不準確，特別是在視點稀疏的情況下。為了解決訓練速度慢的問題，已經探索了不同的方法，如體素網格、張量分解以及哈希編碼。為了改善渲染延遲，FasterNeRF設計了一種受圖形啟發的分解方法，以緊湊地緩存空間中每個位置的深度輻射圖，并使用射線方向有效地查詢該圖。MobileNeRF和BasedSDF通過將隱式體轉換為顯式紋理網格來實現快速的渲染速度。為了解決NeRF渲染質量低的問題，Mip-NeRF有效地渲染了抗鋸齒的圓錐形截錐體而不是射線。Mip-NeRF 360通過采用非線性場景參數化、在線提煉和基于失真的正則化器，解決了從小型圖像集重建大型（無界）場景時固有的模糊性問題。

使用NeRF進行城市場景重建：建模城市級場景具有挑戰性，因為需要處理成千上萬張具有不同光照條件的圖像，每張圖像僅捕捉到場景的一小部分，這帶來了巨大的計算需求。MegaNeRF和BlockNeRF將場景劃分為多個塊，并為每個塊訓練單獨的NeRF模型。然而，這些方法并沒有對自動駕駛場景中常見的動態目標進行建模。NSG和MARS通過引入場景圖來進行動態場景建模。與NSG不同，SUDS解決了在自動駕駛車輛運動過程中的重建問題，利用激光雷達數據來改善深度感知，并利用光流來減輕對目標標注的嚴格要求。EmerNeRF通過學習駕駛場景的空間時間表示，并通過分層場景和使用誘導流場來提高動態目標的渲染精度。盡管進行了優化努力和采用了創新策略，但基于NeRF的方法仍然計算量大，并且需要密集重疊的視圖。此外，模型容量的限制使得在建模具有多個目標的長期動態場景時難以保證準確性，從而導致視覺偽影。

3D Gaussian Splatting（3DGS）：3DGS利用了一種顯式的場景表示方法。其核心在于優化各向異性的3D高斯函數，這些高斯函數負責場景的忠實重建，同時結合了快速、可見性感知的光柵化算法。這不僅加速了訓練過程，還促進了實時光柵化。然而，由于3DGS假設場景是靜態的，并且可用的相機視角有限，因此它在重建大規模自動駕駛場景時仍面臨相當大的障礙。此外，3DGS中背景區域缺乏幾何約束，導致在合成新視圖時質量顯著下降，如圖1所示。最近，PVG在3DGS的基礎上，通過使用基于周期性振動的時間動態來模擬自動駕駛場景中的動態場景。然而，該方法并沒有解決新場景的模擬問題，例如自動駕駛車輛的車道變換和物體軌跡的調整。相比之下，我們的方法在重建動態場景和模擬多種新場景方面表現出色，包括改變自動駕駛車輛和前景物體的軌跡。

AutoSplat方法介紹

3DGS通過使用從一組3D點初始化的各向異性3D高斯函數來顯式地表示一個場景。它被定義為：

其中，μ 和  分別表示每個3D高斯函數的中心向量和協方差矩陣。此外，在3DGS中，每個高斯函數都被賦予了一個不透明度o和顏色c屬性，其中顏色c使用球諧系數來表示。為了優化方便，協方差矩陣Σ被分解為縮放矩陣S和旋轉矩陣R：

對于可微渲染，3D高斯函數通過近似其在二維空間中的投影位置和協方差，被涂抹到圖像平面上。通過根據高斯函數在相機空間中的深度進行排序，查詢每個高斯函數的屬性，并通過混合N個重疊高斯函數的貢獻來計算像素的最終光柵化顏色C，如下所示：

給定按順序捕獲和校準的多傳感器數據，其中包括由相機拍攝的N個圖像序列（Ii），以及相應的內參（Ki）和外參（Ei）矩陣，還有3D激光雷達點云Li和對應的動態物體軌跡Ti，我們的目標是利用3DGS來重建3D場景，并在任何相機姿態下合成新的視圖，同時賦予新的物體軌跡。提出的方法的概述如圖2所示。首先從重建一個具有幾何感知的靜態背景開始。然后，從3D模板中重建前景物體，在建模其動態外觀的同時，確保可見區域和不可見區域之間的一致性。最后將前景和背景高斯函數融合，以產生精細且統一的表示。

1）Background重建

自動駕駛場景既廣闊又無邊界，而傳感器的觀測數據則相對稀疏。單純地使用3DGS從這些有限的觀測數據中表示背景，對于實現逼真的重建和模擬是不夠的。此外，用于重建道路和天空區域的高斯函數存在幾何上的錯誤，并會產生浮動偽影。雖然這些高斯函數能夠根據真實視圖重建場景，但由于其幾何形狀不正確，在模擬新場景（如圖1所示的自動駕駛車輛橫向移動）時會產生明顯的失真。

為了解決這些問題，提出的框架中背景訓練分為兩個階段進行。在第一階段，使用現成的預訓練分割模型獲得的語義掩碼，將道路和天空區域從背景的其他部分中分解出來。通過在校準矩陣的幫助下將每個時間步i的LiDAR點投影到圖像平面上，每個高斯函數都被分配到道路、天空或其他類別之一。這種分解有兩個目的。首先，這可以防止非天空和非道路的高斯函數重建天空和道路區域。其次，當涂抹天空和道路高斯函數時，可以約束它們產生多視圖一致的結果。由于LiDAR點不包括天空點，我們在最大場景高度以上添加了一個代表天空的平面點集。上述區域使用和損失項進行監督。為了確保在涂抹道路和天空高斯函數時跨視圖的一致性，這些高斯函數被約束為平坦的。這是通過最小化它們的翻滾角和俯仰角以及垂直尺度來實現的。因此，第一階段背景訓練的整體損失項定義為：

其中，和分別表示區域g的語義掩碼真實圖像和光柵化圖像，g可以是道路、天空或其他。Cg是對道路和天空區域施加的約束，其中?i、θi和szi分別表示第i個高斯函數的翻滾角、俯仰角以及垂直尺度（沿Z軸）。此外，β用于加權幾何約束。提出的約束保證了無論視點如何變化，道路和天空高斯函數的光柵化都能保持一致。

在背景重建的第二階段，將所有高斯函數合并在一起，并使用LBG對整個圖像進行監督，其中g∈{road ∪ sky ∪ other}。在這一階段，背景的道路、天空和其他區域被混合以優化最終的背景圖像。需要指出的是，在訓練的兩個階段中，都屏蔽了動態前景區域。

2）前景重建

盡管自動駕駛場景中存在遮擋和動態外觀等挑戰，但前景重建對于實現逼真的模擬至關重要。在此，我們介紹了在3DGS范式中解決這些復雜性的新策略。

構建模板高斯函數 3DGS在重建前景目標時面臨挑戰，因為它依賴于為靜態場景量身定制的運動恢復結構（SfM）技術，并且缺乏運動建模能力。為了克服這些限制，我們需要一種替代方法來初始化代表這些前景目標的高斯函數并優化其屬性。這可以通過利用隨機初始化的點、累積的LiDAR掃描或使用單幀或少量幀的3D重建方法來實現。盡管LiDAR能夠捕獲詳細的幾何形狀，但它存在盲點，并且對于遠距離物體的表面細節捕捉不夠。因此，我們使用具有真實車輛幾何形狀的3D模板來建模前景目標。在提出的方法中，給定包含K個前景目標的幀序列，模板將被復制K次，并根據目標軌跡放置在場景中。每個前景目標的高斯函數都從這個模板初始化，并計算每個軸上的縮放因子以調整模板的大小，以匹配目標目標3D邊界框的尺寸。在訓練過程中，這些模板相關聯的高斯函數會經過迭代優化，以收斂到目標外觀。通過利用模板中豐富的幾何信息，提出的方法提高了前景重建的真實感和保真度。同時，保留了對模板高斯函數位置的明確控制，使我們能夠通過修改前景目標的軌跡來生成新場景。

反射高斯一致性：前景目標在其結構上展現出對稱性。利用這一假設有助于提高重建質量，特別是在視角受限的場景中。通過在3DGS范式中強制執行前景目標可見面和對稱不可見面之間的一致性來拓寬這一假設的應用范圍。此過程如圖3所示。更具體地說，對于每個前景目標，其高斯函數會在目標的對稱平面上進行反射。然后，根據真實視圖對反射后的高斯函數進行光柵化和監督。這將為不可見的高斯函數提供監督。高斯函數的反射矩陣M可以定義為：

其中，a表示反射軸，I表示單位矩陣。每個高斯函數的位置x、旋轉R和球諧特征通過以下方式進行反射：

其中，是一個Wigner D-矩陣，用于描述反射，而x?、R?、f?SH分別表示高斯函數的反射位置、旋轉和球諧特征。這種反射一致性約束強制要求目標兩側對稱面的高斯函數的渲染結果相似。在推理階段，這使我們的方法能夠在其對稱視圖中光柵化出高質量的前景。

動態外觀建模：捕捉前景目標的動態外觀對于自動駕駛模擬至關重要。這包括指示燈、前大燈和尾燈等重要信號，它們傳達意圖并影響駕駛行為。此外，逼真的模擬還需要模擬各種光照條件的變化，如陰影。為了捕捉動態外觀，通過為每個高斯函數學習殘差球諧特征來學習前景目標外觀的4D表示。換句話說，估計的殘差特征被用于將動態外觀賦予靜態表示。在這里使用一個簡單的多層感知機（MLP）來模擬動態外觀，更具體地說，利用時間嵌入，認識到外觀的變化與時間的演變密切相關。在每個時間步，將相應的時間嵌入、高斯位置和球諧特征輸入到模型中。然后，將估計的殘差特征添加到原始的球諧特征中。因此，前景目標在每個時間步的動態外觀通過以下方式建模：

3） Scene-Level Fusion

場景級融合包括將前景和背景高斯函數進行混合。當分別優化時，這兩組高斯函數在光柵化到一起時會出現失真，特別是在前景目標邊界附近尤為明顯。為了解決這些失真問題，將前景和背景高斯函數一起進行微調，并在整個圖像上進行監督。這將生成一個融合的前景-背景圖像，其中兩個組件的失真都得到緩解。此外，為了解決目標軌跡中的噪聲問題，我們對每個目標優化了一個變換校正，包括旋轉和平移偏移。這些校正被應用于前景目標軌跡，以克服3D邊界框中的噪聲。最終的損失項計算如下：

實驗對比