CVPR 2025 Award Candidate | 英偉達(dá)等Difix3D+：用單步擴(kuò)散模型修復(fù) 3D 重建偽影

2025-06-24 08:40:00

來自英偉達(dá)的研究團(tuán)隊(duì)聯(lián)合提出了一種創(chuàng)新方案 ——?Difix3D+，通過單步擴(kuò)散模型對(duì) 3D 渲染結(jié)果進(jìn)行 “圖像修復(fù)”，顯著提升新視角圖像的質(zhì)量和一致性。

在 3D 重建領(lǐng)域，無論是 NeRF 還是最新的 3D Gaussian Splatting（3DGS），在生成逼真新視角時(shí)仍面臨一個(gè)核心難題：視角一旦偏離訓(xùn)練相機(jī)位置，圖像就容易出現(xiàn)模糊、鬼影、幾何錯(cuò)亂等偽影，嚴(yán)重影響實(shí)際應(yīng)用。

為了解決這個(gè)問題，來自英偉達(dá)的研究團(tuán)隊(duì)聯(lián)合提出了一種創(chuàng)新方案 —— Difix3D+，通過單步擴(kuò)散模型對(duì) 3D 渲染結(jié)果進(jìn)行 “圖像修復(fù)”，顯著提升新視角圖像的質(zhì)量和一致性。該工作已被 CVPR 2025 接收，并入選 Best Paper Award 候選。

??項(xiàng)目主頁：https://research.nvidia.com/labs/toronto-ai/difix3d
??論文地址：https://arxiv.org/abs/2503.01774
??代碼地址：https://github.com/nv-tlabs/Difix3D

背景：3D 重建的 “致命短板”

近年來，NeRF（神經(jīng)輻射場(chǎng)）和 3D Gaussian Splatting（3DGS）等技術(shù)在三維重建與新視角合成中取得突破。然而，在訓(xùn)練相機(jī)視角之外，這些方法往往會(huì)出現(xiàn)模糊、鬼影、幾何錯(cuò)亂等偽影，尤其在視角跨度較大、數(shù)據(jù)稀疏、光照變化或相機(jī)標(biāo)定不準(zhǔn)確的情況下尤為嚴(yán)重。這些偽影極大限制了其在自動(dòng)駕駛、機(jī)器人、AR/VR 等真實(shí)場(chǎng)景中的應(yīng)用。

這主要是因?yàn)閭鹘y(tǒng)方法過度依賴局部一致性和 per-scene 優(yōu)化流程，缺乏跨場(chǎng)景泛化能力，且無法有效填補(bǔ)觀測(cè)稀疏區(qū)域的 “空洞”。

關(guān)鍵洞察：2D 擴(kuò)散模型為何能 “修好” 3D？

Difix3D+ 提出了一個(gè)突破性的視角：將預(yù)訓(xùn)練 2D 擴(kuò)散模型的視覺先驗(yàn)引入 3D 渲染流程，將其作為 “圖像修復(fù)器”，精準(zhǔn)去除神經(jīng)渲染偽影。

這一設(shè)計(jì)基于一個(gè)關(guān)鍵觀察：神經(jīng)渲染偽影的分布，與擴(kuò)散模型訓(xùn)練過程中的噪聲圖像分布驚人地相似。

為驗(yàn)證這一點(diǎn)，研究者將渲染圖輸入擴(kuò)散模型進(jìn)行單步 “去噪”，并系統(tǒng)性測(cè)試不同噪聲強(qiáng)度（t）的效果 ——

高噪聲（t=600）：雖然偽影被去除，但內(nèi)容也嚴(yán)重變形
低噪聲（t=10）：圖像結(jié)構(gòu)完整，但偽影幾乎未去除
中等噪聲（t=200）：在保留語義結(jié)構(gòu)的同時(shí)，有效消除了渲染偽影

這一發(fā)現(xiàn)使得單步擴(kuò)散模型成為 “修復(fù)” NeRF/3DGS 渲染圖的理想選擇，不僅效率高，而且具備泛化能力。

Difix 具備以下核心優(yōu)勢(shì)：

1. 單步擴(kuò)散：發(fā)現(xiàn)渲染偽影的分布在 t=200 處最接近擴(kuò)散模型訓(xùn)練數(shù)據(jù)，DIFIX 可一次去除偽影并保留語義結(jié)構(gòu)。

2. 無需大量訓(xùn)練：僅需在消費(fèi)級(jí) GPU 上訓(xùn)練幾個(gè)小時(shí)，即可適配 NeRF/3DGS 的渲染偽影；

3. 支持多種 3D 表征：同一個(gè)模型可同時(shí)修復(fù) NeRF（隱式）與 3DGS（顯式）渲染；

4. 近實(shí)時(shí)推理：在 NVIDIA A100 上，僅需 76ms 即可完成圖像修復(fù)，比傳統(tǒng)多步擴(kuò)散快 10 倍以上。

5. 可進(jìn)可退：修復(fù)后的圖像還能反向蒸餾回 3D 模型，提升整體建模精度和一致性。

解決方案：DIFIX3D+ = 擴(kuò)散模型 + 蒸餾增強(qiáng) + 實(shí)時(shí)修復(fù)

DIFIX3D+ 以一個(gè)經(jīng)過少量微調(diào)的單步擴(kuò)散模型（DIFIX）為核心模塊，結(jié)合漸進(jìn)式優(yōu)化策略，構(gòu)建出一個(gè)無需修改原始 3D 重建結(jié)構(gòu)即可增強(qiáng)視覺質(zhì)量的插件化系統(tǒng)。