本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

Street Gaussians的動機

• 在自動駕駛領域，動態街景重建有著重要的應用場景，比如數據生成、自動標注、閉環仿真等。由于對重建質量和效率有較高的要求，這方面的技術仍舊臨著巨大的挑戰。
• 對于單目視頻建模動態城市街景的問題，近期方法主要是基于NeRF并結合跟蹤車輛的姿態，從而重建出高真實感的視圖。然而訓練和渲染速度慢、對跟蹤車輛姿態精度需求高，使其在很難真正被應用起來。
• 我們提出了Street Gaussians，這是一種新的顯式場景表示方法，可以解決所有這些限制。

開源鏈接：

• Street Gaussians for Modeling Dynamic Urban Scenes
• https://zju3dv.github.io/street_gaussians/

方法簡介

• 在Street Gaussians中，動態城市街道被表示為一組3D高斯的點云，每個點云與前景車輛或背景之一相關聯。為了模擬動態前景物體車輛，每個物體模型都用可優化的跟蹤姿態進行建模，并配有動態球諧函數模型來表現動態外觀。
• 這種顯式表示可以輕松地組合物體車輛和背景，進而允許進行場景編輯操作。同時擁有極高的效率，可以在半小時完成訓練，渲染速度達到133FPS（1066x1600分辨率）。
• 實驗表明，Street Gaussians在所有數據集上優于現階段SOTA方法。此外，提出了前景目標位姿優化策略（初始位姿來自跟蹤器），與使用真值姿態所達到性能相當，也驗證了Street Gaussians的高魯棒性。

背景介紹

• 靜態場景建模
  ?基于場景表達的不同，我們可以將場景重建分為volume-based和point-based。volume-based的方法，用MLP網絡表示連續的體積場景，已經取得了令人印象深刻的渲染結果。同時比如Mip-NeRF360、DNMP等也將其應用場景擴展到了城市街景 。point-based的方法，在點云上定義學習神經描述符，并使用神經渲染器執行可微分的光柵化，大大可以提高了渲染效率。然而，它們需要密集的點云作為輸入，并在點云稀疏區域的結果相對模糊。最近的一項工作3D Gaussian Splatting (3D GS)，在3D世界中定義了一組各向異性的高斯核，并執行自適應密度控制，以僅使用稀疏的點云輸入實現高質量的渲染結果。我們可以把3DGS理解成介于volume-based和point-based的中間態，所有同時擁有volume-based方法的高質量，也擁有point-based方法的高效率。然而，3DGS假定場景是靜態的，不能模擬動態移動的對象。
• 動態場景建模。
  ?可以從不同的角度來實現動態場景建模，從目標角度，可以在單個對象場景上構建4D神經場景表示（比如HyperReel ），從場景角度，可以通過在光流（如Suds）或視覺變換器特征（Emernerf ）監督下的實現場景解耦。然而，這些方法均無法對場景進行進行編輯，限制了其在自動駕駛仿真中的應用。還有一種方式，使用神經場將場景建模為移動對象模型和背景模型的組合（比如NSG、Panoptic Neural Fields），然而，它們需要精確的對象軌跡，并且在內存成本和渲染速度上存在問題。

算法建模

• 考慮到自動駕駛場景中都是通過車載相機得到圖像序列，我們希望構建一個模型，可以生成任意時間和視角的高質量圖像。為實現這一目標，我們提出了一種新穎的場景表示，命名為"Street Gaussians"。如圖所示，我們將動態城市街景表示為一組點云，每個點云對應于靜態背景或移動車輛。這種基于點的表示可以輕松組合多個獨立的模型，實現實時渲染以及解耦前景對象以實現場景編輯。我們提出的場景表示可以僅使用RGB圖像進行訓練，同時結合車輛位姿優化策略，進一步增強動態前景的表示精度。

靜態背景建模

• 針對靜態背景，使用基本的3DGS方式建模，即我們世界坐標系中一組點來表示背景模型，每個點分配有一個3D高斯分布，以平滑地表示連續的場景幾何和顏色。高斯參數包括協方差矩陣和位置向量（表示均值）。與3DGS一樣，為了避免在優化過程中出現無效的協方差矩陣，每個協方差矩陣進一步縮減為縮放矩陣和旋轉矩陣，其中縮放矩陣由其對角元素表征，而旋轉矩陣被轉換為單位四元數。除了位置和協方差矩陣之外，每個高斯分布還分配有一個不透明度值和一組球諧系數來表示場景幾何和外觀。為了獲得視圖相關的顏色，球諧系數還會乘以從視圖方向投影的球諧基函數。為了表示3D語義信息，每個點還附加有一個語義特征。

動態前景建模

• 針對包含多輛移動前景物體車輛的場景，我們將每個對象用一組可優化的姿勢（初始位姿可以來自某個跟蹤器，比如CasTracker）和一組點云表示，其中每個點分配有一個3D高斯分布、語義和動態外觀模型。前景對象和背景的高斯屬性相似，不透明度和尺度矩陣的定義相同，然而它們的位置、旋轉和外觀模型均不同。
• 每一個前景對象的3DGS模型，定義在該對象的local坐標系下。我們通過前景對象的RT矩陣，可以將前景對象和背景的模型統一到世界坐標系下。
• 僅使用球諧系數簡單表示物體外觀不足以模擬移動車輛的外觀，如圖所示，因為移動車輛的外觀受到其在全局場景中位置的影響。如果使用單獨的球諧來表示每個時間的對象，會顯著增加存儲成本，我們的解決方案是引入了4D球諧模型，通過用一組傅里葉變換系數來表示球諧系數，當給定任意時間t，可以通過逆傅立葉變換來求出對應的球諧系數?；谶@種方式，我們將時間信息編碼到外觀中，而且不增加額外存儲成本。

渲染過程

• 要渲染Street Gaussians，我們就需要聚合每個模型對最終結果的貢獻。以前的方法中，由于神經場表示方式，需要復雜的raymarching 方式進行組合渲染。相反，Street Gaussians可以通過將所有點云拼接起來，并將它們投影到2D圖像空間來進行渲染。具體來說，在給定渲染時間點的情況下，我們首先計算球諧系數，并根據跟蹤的車輛姿態將前景對象點云轉換到世界坐標系，然后將背景點云和變換后的前景對象點云拼接起來形成一個新的全場景點云。

效果評估

• 我們在Waymo和KITTI數據集上都進行了實驗來評估我們的方法合成新視角的能力，不論定性和定量結果表明，相比之前的工作，我們的方法可以渲染出渲染高質量圖片，并在各項指標上均有有顯著提升。
  ?下圖是從定性角度，分別在waymo和kitti數據集上對比目前已有方法，無論背景還是前景目標，我們的方法在細節的渲染上均有大幅提高。

?同時我們在kitti和waymo上定量對比了重建指標，我們的方法也大幅領先已有方法。

KITTI數據集

Waymo數據集

下游任務

• Street Gaussians可以被應用到很多下游任務當中，包括場景的前背景解耦、場景的可控編輯、語義分割等。豐富且高質量的下游任務適配，大大提高了Street Gaussians的應用上限。
  ?我們的模型可以實現場景前背景解耦，細節上相比之前的方法有明顯提升。

?我們的模型支持便捷的場景編輯，如下圖分別是車輛增加、替換和交換的編輯操作。

?我們的模型還支持拓展到語義分割任務，依靠我們的建模方式，我們對于前景目標的分割更加細膩。

方法總結

• 我們提出來了Street Gaussians，這是一種新穎的用于建模復雜的動態街道場景的表征方法，它能夠高效地重建和渲染出高保真度的城市街道場景，并且支持實時渲染。
• 我們開發了一種優化跟蹤姿態的策略，配合一個4D球諧函數模型外觀模型來處理移動前景的動態車輛。
• 我們在幾個具有挑戰性的數據集上進行了全面的比較和消融實驗，展示了我們方法的最新最先進性能以及所提出組件的有效性。

原文鏈接：https://mp.weixin.qq.com/s/zE32LGs6DHfbz_D5-8JYOA