3D 重建和新視圖合成技術(shù)在虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)等領(lǐng)域有著廣泛的應(yīng)用。NeRF 通過隱式地將場(chǎng)景編碼為輻射場(chǎng)，在視圖合成上取得了顯著的成功。然而，由于 NeRF 依賴于耗時(shí)的逐場(chǎng)景優(yōu)化，極大地限制了其實(shí)用性。為了解決這一問題，出現(xiàn)了一些可泛化的 NeRF 方法，旨在通過網(wǎng)絡(luò)前饋的方式從多視圖中重建場(chǎng)景。然而，由于基于 NeRF 的方法需要在射線上查詢密集的點(diǎn)進(jìn)行渲染，因此速度受到了限制。最近，3D Gaussian Splatting（3D-GS）采用了各向異性 3D 高斯來顯式表示場(chǎng)景，并通過可微分的光柵化器實(shí)現(xiàn)了實(shí)時(shí)高質(zhì)量的渲染。

然而，3D-GS 同樣依賴于每個(gè)場(chǎng)景的優(yōu)化，每個(gè)場(chǎng)景需要幾十分鐘的時(shí)間。為了解決這個(gè)問題，后續(xù)出現(xiàn)了一些泛化性的高斯重建工作，嘗試將 3D-GS 推廣到未見過的場(chǎng)景，然而，這些方法的訓(xùn)練和渲染效率還有待提升且主要局限于物體或人體的重建。

基于此，來自華中科技大學(xué)、南洋理工大學(xué)、大灣區(qū)大學(xué)和上海人工智能實(shí)驗(yàn)室的研究者聯(lián)合提出了一種高效的、可泛化的高斯重建模型，稱為 MVSGaussian，用于未見過的一般場(chǎng)景的新視圖合成。

• 論文名稱：Fast Generalizable Gaussian Splatting Reconstruction from Multi-View Stereo
• 論文地址：https://arxiv.org/abs/2405.12218
• 項(xiàng)目主頁：https://mvsgaussian.github.io/
• 代碼開源：https://github.com/TQTQliu/MVSGaussian
• 演示視頻：https://youtu.be/4TxMQ9RnHMA

該模型能夠從稀疏多視角圖像中學(xué)習(xí)場(chǎng)景的 3D 高斯表征。通過結(jié)合多視角立體（MVS）的顯式幾何推理和高斯濺射實(shí)時(shí)渲染的優(yōu)勢(shì)，MVSGaussian 在泛化推理上表現(xiàn)出色，能夠以最快的速度實(shí)現(xiàn)最佳的視圖渲染質(zhì)量。此外，MVSGaussian 在逐場(chǎng)景優(yōu)化方面也有顯著優(yōu)勢(shì)，僅需 45 秒（約為 3D-GS 的 1/10）即可完成高質(zhì)量的實(shí)時(shí)渲染。

圖 1 無論是泛化推理還是逐場(chǎng)景優(yōu)化，MVSGaussian 在視圖質(zhì)量、渲染速度和優(yōu)化時(shí)間都表現(xiàn)出了明顯的優(yōu)勢(shì)。

圖 2 渲染視圖質(zhì)量隨優(yōu)化時(shí)間（迭代次數(shù)）的變化對(duì)比。由于可泛化模型提供了良好的初始化，MVSGaussian 后續(xù)只需要較短的優(yōu)化時(shí)間 (較少的迭代次數(shù)) 便可以實(shí)現(xiàn)高質(zhì)量的視圖合成。

基本原理

設(shè)計(jì)一種高效的、可泛化的高斯濺射框架，我們面臨以下幾個(gè)關(guān)鍵挑戰(zhàn)：

1）與使用隱式表示的 NeRF 不同，3D-GS 顯式地使用數(shù)百萬個(gè) 3D 高斯球來表達(dá)場(chǎng)景。將預(yù)訓(xùn)練的 3D-GS 應(yīng)用于未見過的場(chǎng)景時(shí)，3D 高斯球的參數(shù)（如位置和顏色）會(huì)顯著不同。設(shè)計(jì)一種通用的表征來適配 3D-GS 是一項(xiàng)非平凡的任務(wù)。

2）可泛化 NeRF 方法通過體渲染實(shí)現(xiàn)了令人印象深刻的視圖合成效果。然而，高斯濺射的泛化能力尚未被充分探索。在濺射過程中，每個(gè)高斯球會(huì)對(duì)圖像的某一區(qū)域內(nèi)的多個(gè)像素做出貢獻(xiàn)，同時(shí)每個(gè)像素的顏色由多個(gè)高斯球的貢獻(xiàn)累積得到。高斯球和像素之間的顏色對(duì)應(yīng)是一個(gè)更加復(fù)雜的多對(duì)多關(guān)系，這對(duì)模型的泛化能力構(gòu)成了挑戰(zhàn)。

3）可泛化的 NeRF 方法表明，對(duì)特定場(chǎng)景進(jìn)行進(jìn)一步微調(diào)可以顯著改善合成視圖的質(zhì)量，但這需要耗費(fèi)大量時(shí)間進(jìn)行優(yōu)化。盡管 3D-GS 比 NeRF 更快，但仍然需要較長(zhǎng)的時(shí)間。因此，設(shè)計(jì)一種基于可泛化模型進(jìn)行快速逐場(chǎng)景優(yōu)化的方法是一個(gè)非常有前景的研究方向。

針對(duì)上述挑戰(zhàn)，我們給出了我們的解決方案。

1）由于每個(gè)場(chǎng)景對(duì)應(yīng)的高斯球的位置分布是不同的，因此我們利用多視角立體（MVS）顯式建模場(chǎng)景的幾何，推理得到深度。接著，我們對(duì)估計(jì)的深度所對(duì)應(yīng)的 3D 點(diǎn)編碼特征，以建立像素對(duì)齊的高斯表征。

2）基于編碼的特征，我們可以通過 MLP 將其解碼為高斯參數(shù)，從而利用濺射技術(shù)渲染視圖。然而，我們發(fā)現(xiàn)這種方式的泛化能力有限。我們的見解是，濺射方式在顏色貢獻(xiàn)方面引入了復(fù)雜的多對(duì)多關(guān)系，即高斯球與像素之間的關(guān)系，這對(duì)泛化提出了挑戰(zhàn)。因此，我們提出了一種簡(jiǎn)單而有效的深度感知的體渲染方法來增強(qiáng)泛化能力，即采用單一采樣點(diǎn)的體渲染方式。最終的渲染視圖是通過對(duì)濺射技術(shù)和體渲染技術(shù)渲染的視圖進(jìn)行平均得到的。

3）預(yù)訓(xùn)練的可泛化模型可以從多個(gè)視角生成大量 3D 高斯，這些高斯點(diǎn)云可以作為后續(xù)逐場(chǎng)景優(yōu)化的初始化。然而，由于 MVS 方法的固有局限性，可泛化模型預(yù)測(cè)的深度可能并不完全準(zhǔn)確，導(dǎo)致生成的高斯點(diǎn)云中存在噪聲。直接將這些高斯點(diǎn)云拼接在一起會(huì)產(chǎn)生大量噪聲。此外，大量的點(diǎn)會(huì)降低后續(xù)優(yōu)化和渲染速度。一個(gè)直觀的解決方案是對(duì)拼接的點(diǎn)云進(jìn)行降采樣。然而，雖然能減少噪聲，但也會(huì)減少有效點(diǎn)的數(shù)量。我們的見解是，一個(gè)好的聚合策略應(yīng)盡可能地減少噪聲點(diǎn)并保留有效點(diǎn)，同時(shí)確保點(diǎn)的總數(shù)不過大。為此，我們引入了一種基于多視圖幾何一致性的聚合策略。具體而言，我們遵循同一 3D 點(diǎn)在不同視角下的預(yù)測(cè)深度應(yīng)具有一致性的原則，通過計(jì)算來自不同視角的高斯深度的重投影誤差來濾除噪聲點(diǎn)。

圖 3 可泛化高斯濺射框架。首先使用特征金字塔網(wǎng)絡(luò)（FPN）從輸入視圖中提取特征，這些特征被扭曲到目標(biāo)視角，構(gòu)建代價(jià)體，再通過 3D CNNs 正則化生成深度。接著，對(duì)于深度對(duì)應(yīng)的 3D 點(diǎn)，我們通過匯聚多視圖和空間信息編碼特征，建立像素對(duì)齊的高斯表征。這些特征隨后被解碼為高斯參數(shù)和體渲染參數(shù)，通過這兩種方式渲染得到兩個(gè)視圖，最終的結(jié)果是這兩個(gè)視圖的平均值。

圖 4 一致性聚合。使用可泛化模型生成深度圖和高斯點(diǎn)云，我們首先對(duì)深度圖進(jìn)行多視圖幾何一致性檢查，以得到用于過濾不可靠點(diǎn)的 mask。隨后，將經(jīng)過濾的點(diǎn)云拼接成一個(gè)點(diǎn)云，作為逐場(chǎng)景優(yōu)化的初始化。

結(jié)果比較

本文在廣泛使用的 DTU、Real Forward-facing、NeRF Synthetic 和 Tanks and Temples 數(shù)據(jù)集上進(jìn)行了評(píng)估，報(bào)告了 PSNR、SSIM、LPIPS 和 FPS 等指標(biāo)。在泛化推理方面（表 1 和表 2），MVSGaussian 展現(xiàn)出了卓越的性能，以最快的速度和最小的內(nèi)存開銷實(shí)現(xiàn)了更好的性能。在逐場(chǎng)景優(yōu)化方面（表 3），MVSGaussian 能夠在最短的優(yōu)化時(shí)間內(nèi)（大約是 3D-GS 的 1/10）實(shí)現(xiàn)最佳的視圖合成效果，并且保持了與 3D-GS 相當(dāng)?shù)膶?shí)時(shí)渲染速度。定性的視圖和視頻對(duì)比中也展示了 MVSGaussian 能夠合成高質(zhì)量的視圖，具有更多的場(chǎng)景細(xì)節(jié)和更少的偽影。更多視頻結(jié)果請(qǐng)見項(xiàng)目主頁。

表 1  DTU 測(cè)試集上的泛化定量結(jié)果。

表 2  Real Forward-facing、NeRF Synthetic 和 Tanks and Temples 數(shù)據(jù)集上的泛化定量結(jié)果。

表 3 逐場(chǎng)景優(yōu)化后的定量結(jié)果。

圖 5 泛化推理的結(jié)果對(duì)比。

圖 6 泛化結(jié)果的視頻對(duì)比

圖 7 逐場(chǎng)景優(yōu)化后的結(jié)果對(duì)比。

圖 8 逐場(chǎng)景優(yōu)化后的視頻對(duì)比。

結(jié)語

在本文中，我們提出了 MVSGaussian，這是一種新穎的可泛化高斯濺射方法，用于從多視圖中重建場(chǎng)景。具體來說，我們利用 MVS 推理幾何，建立像素對(duì)齊的高斯表征。此外，我們提出了一種混合高斯渲染方法，該方法結(jié)合了高效的深度感知體渲染以增強(qiáng)泛化能力。除了直接泛化推理外，我們的模型還可以針對(duì)特定場(chǎng)景進(jìn)行快速地微調(diào)。為了實(shí)現(xiàn)快速優(yōu)化，我們引入了一種多視圖幾何一致性聚合策略，以提供高質(zhì)量的初始化。與通常需要數(shù)十分鐘微調(diào)和幾秒鐘渲染每張圖像的可泛化 NeRF 相比，MVSGaussian 實(shí)現(xiàn)了實(shí)時(shí)渲染，并具有更高的合成質(zhì)量。

此外，與 3D-GS 相比，MVSGaussian 在減少訓(xùn)練計(jì)算成本的同時(shí)，實(shí)現(xiàn)了更好的視圖合成效果。大量實(shí)驗(yàn)驗(yàn)證了 MVSGaussian 在泛化性能、實(shí)時(shí)渲染速度和快速逐場(chǎng)景優(yōu)化方面達(dá)到了最先進(jìn)的水平。然而，由于 MVSGaussian 依賴于多視角立體（MVS）進(jìn)行深度估計(jì)，因此它繼承了 MVS 的局限性，例如在紋理較弱或有鏡面反射的區(qū)域深度準(zhǔn)確性降低，導(dǎo)致視圖質(zhì)量下降。

本文轉(zhuǎn)自 機(jī)器之心 ，作者：機(jī)器之心

原文鏈接:??https://mp.weixin.qq.com/s/Y9uXxNMgliV9p-ne_bGpEw??