為何前饋3DGS的邊界總是“一碰就碎”？PM-Loss用“3D幾何先驗”來解
文章鏈接: https://arxiv.org/abs/2506.05327
項目主頁: https://aim-uofa.github.io/PMLoss
代碼鏈接: https://github.com/aim-uofa/PM-Loss
在新視角合成（Novel View Synthesis, NVS）技術飛速發展的今天，3D高斯潑濺（3D Gaussian Splatting, 3DGS）以其出色的實時渲染能力和照片級的視覺效果，成為了該領域的主流技術。為了擺脫傳統3DGS“逐場景優化”的束縛，前饋式（Feed-forward）3DGS應運而生，它僅需一次網絡推理即可完成場景重建，極大地提升了應用效率。
然而，一個長期存在但常被忽視的問題，正制約著前饋式3DGS的質量上限：
幾何表示的局限性。當前模型普遍依賴預測的2D深度圖反投影來構建三維高斯點云。但深度圖在物體邊界處存在天然的不連續性，這種瑕疵在被上投影至三維空間時會被放大，導致生成的幾何體在邊緣區域出現破碎、空洞和漂浮物，嚴重影響了最終的渲染質量。
為了攻克這一難題，本文提出了 PM-Loss，一種新穎的、即插即用的正則化損失。它巧妙地利用了大型3D重建模型生成的“點圖”（Pointmap）作為幾何先驗，在訓練過程中直接對三維空間中的幾何進行約束，從根本上提升了模型的幾何準確性。實驗表明，MVSplat 和 DepthSplat 等主流模型在應用 PM-Loss 后，在 DL3DV 和 RealEstate10K 數據集上重建出的高斯點云基本消除了外圍浮點。同時在渲染效果上也取得了超過 2dB 的PSNR提升，點云在邊界區域可視化效果變得明顯更加清晰和規整 。
核心癥結：不完美的“深度基石”
深入探究前饋式3DGS的工作流程，我們發現其核心瓶頸在于幾何重建的監督方式。模型通過標準的2D渲染損失（如L2, LPIPS）進行優化，這種監督方式雖然能保證整體畫面的相似性，卻難以對三維空間的幾何結構進行有效約束。 這導致了兩個主要問題：
1.邊界偽影 (Boundary Artifacts)：深度圖在物體輪廓、前景與背景交界處極易產生錯誤預測，這些錯誤被直接轉化為三維空間中位置不準的高斯點。
2.幾何不一致 (Geometric Inconsistency)：僅依賴2D圖像監督，模型難以學習到多視圖之間連貫、一致的幾何信息，導致三維結構缺乏平滑性和完整性。 這種基于不完美“深度基石”的重建方式，是導致渲染結果出現視覺瑕疵的根本原因。
PM-Loss登場：引入3D空間“幾何標尺”
為了解決上述問題，本文不再局限于2D圖像空間，而是引入了直接的3D幾何監督。PM-Loss的核心思想是：借助一個強大的外部“幾何專家”來指導3DGS模型的幾何學習。
這個“專家”就是由預訓練的大型3D重建模型（如VGGT）生成的點圖（Pointmap）。點圖為場景中的每個像素點直接提供了三維世界坐標，相比于單一的深度值，它包含了更豐富、更平滑的幾何信息。
PM-Loss的工作流程可概括為以下兩步：
1.高效對齊 (Efficient Alignment) ：在訓練的每一步，將3DGS模型預測的高斯點云中心，與由點圖構成的目標點云進行對齊。得益于兩者像素級別的天然對應關系，可采用高效的Umeyama算法在毫秒間完成對齊，避免了傳統ICP等算法的巨大開銷。
2.3D空間正則化 (3D-Space Regularization) ：對齊后，通過Chamfer距離計算兩個點云之間的差異，并將其作為一項正則化損失（即PM-Loss）加入到總損失函數中。這相當于在三維空間中引入了一把“幾何標尺”，懲罰那些偏離了平滑幾何先驗的預測，引導模型學習到更準確、更完整的3D結構。
作為一個純粹的訓練期損失，PM-Loss無需修改模型架構，且在推理時零開銷，保證了原有模型的效率。
實測效果：邊界更清晰，偽影去無蹤
本文在多個主流前饋3DGS模型（如DepthSplat, MVSplat）及大規模數據集（DL3DV, RealEstate10K）上驗證了PM-Loss的有效性。
- 幾何質量的根本性優化：通過可視化3D高斯點云，發現PM-Loss能顯著提升幾何體的規整度和完整性，使其更貼近真實的場景結構。
- 渲染質量顯著提升：PM-Loss為所有基線模型帶來了穩定且可觀的性能增益。在同樣設置下，PSNR指標平均提升超過2dB，LPIPS和SSIM指標也得到了一致改善。
- 視覺效果肉眼可見的改善：從定性對比中可以清晰看到，經PM-Loss優化后的模型，在處理物體邊緣、復雜遮擋和背景區域時表現得更加出色。原先的黑色空洞、扭曲邊界和漂浮噪點得到了有效抑制，整體畫面更干凈、更真實。
總結
研究指出了當前前饋式3DGS模型中一個關鍵卻未被充分解決的問題：由2D深度表示局限性所引發的幾何質量瓶頸。本文提出的PM-Loss，通過一種巧妙而高效的方式，將大型3D重建模型的幾何先驗知識“蒸餾”到3DGS模型的訓練過程中。作為一個輕量級、即插即用且無推理開銷的正則化損失，PM-Loss為提升前饋式3DGS的重建質量提供了一個實用且有效的解決方案。我們相信，這種跨模型、跨范式借鑒先驗知識的思路，將為未來的三維視覺研究帶來更多啟發。
本文轉自AI生成未來 ，作者：AI生成未來
