CVPR 2024高分論文：全新生成式編輯框架GenN2N，統(tǒng)一NeRF轉換任務
來自香港科技大學，清華大學的研究者提出了「GenN2N」，一個統(tǒng)一的生成式 NeRF-to-NeRF 轉換框架，適用于各種 NeRF 轉換任務，例如文字驅動的 NeRF 編輯、著色、超分辨率、修復等，性能均表現(xiàn)極其出色！
- 論文地址：https://arxiv.org/abs/2404.02788
- 論文主頁：https://xiangyueliu.github.io/GenN2N/
- Github 地址：https://github.com/Lxiangyue/GenN2N
- 論文標題：GenN2N: Generative NeRF2NeRF Translation?
近年來，神經(jīng)輻射場（NeRF）因其緊湊、高質量、多功能性在三維重建、三維生成和新視角合成領域引起了廣泛關注。然而，一旦創(chuàng)建了 NeRF 場景，這些方法通常缺乏對生成幾何和外觀的進一步控制。因此，NeRF 編輯（NeRF Editing）最近成為了一個值得關注的研究重點。
目前的 NeRF 編輯方法通常是針對特定任務的，例如 NeRF 的文本驅動編輯、超分辨率、修復和著色。這些方法需要大量的特定任務領域知識。而在 2D 圖像編輯領域，開發(fā)通用的圖像到圖像（Image-to-image）轉換方法成為一種趨勢，例如利用 2D 生成模型 Stable Difussion 支持多功能的圖像編輯。因此，我們提出了利用基礎的 2D 生成模型進行通用的 NeRF 編輯。
隨之而來的挑戰(zhàn)是 NeRF 和 2D 圖像之間的表示差距，尤其是圖像編輯器通常會為不同視角生成多種不一致的編輯。最近的一種基于文本的 NeRF 編輯方法 Instruct-NeRF2NeRF 對此進行了探究。其采用 “渲染 - 編輯 - 聚合” 的流程，通過逐步渲染多視角圖像、編輯這些圖像，將編輯圖像聚合到 NeRF 中逐步更新 NeRF 場景。然而這種編輯方法，針對特定的編輯需求，經(jīng)過大量的優(yōu)化，只能生成一種特定編輯的結果，如果用戶不滿意則需要反復迭代嘗試。
因此，我們提出了「GenN2N」，一種適用于多種 NeRF 編輯任務的 NeRF-to-NeRF 通用框架，其核心在于用生成的方式來刻畫編輯過程多解性，使其可以借助生成式編輯輕松產(chǎn)生大量符合要求的編輯結果供用戶挑選。
在 GenN2N 的核心部分，1）引入了 3D VAE-GAN 的生成式框架，使用 VAE 表征整個編輯空間，來學習與一組輸入的 2D 編輯圖像對應的所有可能的 3D NeRF 編輯分布，并用 GAN 為編輯 NeRF 的不同視圖提供合理的監(jiān)督，確保編輯結果的真實性，2）使用對比學習解耦編輯內(nèi)容和視角，確保不同視角間的編輯內(nèi)容一致性，3）在推理時，用戶簡單地從條件生成模型中隨機地采樣出多個編輯碼，就可以生成與編輯目標對應的各種 3D 編輯結果。
相比于各種 NeRF 編輯任務的 SOTA 方法（ICCV2023 Oral 等），GenN2N 在編輯質量、多樣性、效率等方面均優(yōu)于已有方法。
方法介紹
我們首先進行 2D 圖像編輯，然后將這些 2D 編輯提升到 3D NeRF 來實現(xiàn)生成式的 NeRF-to-NeRF 的轉換。
A. 隱式蒸餾（Latent Distill）
我們用 Latent Distill Module 作為 VAE 的 encoder，為每張編輯圖像學習一個隱式的編輯碼，在 NeRF-to-NeRF 轉換中通過此編輯碼控制生成的內(nèi)容。所有編輯碼在 KL loss 的約束下服從一個良好的正態(tài)分布，以便更好地采樣。為了解耦編輯內(nèi)容和視角，我們精心設計了對比學習，鼓勵相同編輯風格視角不同的圖片的編輯碼相近，不同編輯風格但視角相同的圖片的編輯碼互相遠離。
B.NeRF-to-NeRF 的轉換（Translated NeRF）
我們用 NeRF-to-NeRF Translation 作為 VAE 的 decoder，其以編輯碼作為輸入，將原始的 NeRF 修改為一個轉換 NeRF。我們在原 NeRF 網(wǎng)絡隱藏層之間添加了殘差層，這些殘差層以編輯碼作為輸入來調(diào)制隱藏層神經(jīng)元，使得轉換 NeRF 既能夠保留原本 NeRF 的信息，又可以根據(jù)編輯碼來控制轉換 3D 內(nèi)容。同時，NeRF-to-NeRF Translation 也作為生成器參與生成對抗訓練。通過生成而非優(yōu)化的方式，使得我們可以一次性得到多種轉換結果，顯著提升了 NeRF 轉換效率和結果多樣性。
C. 條件判別器（Conditional Discriminator）
轉換 NeRF 的渲染圖片構成了需要判別的生成空間，這些圖片的編輯風格、渲染視角各異，導致生成空間非常復雜。因此我們提供一個 condition 作為判別器的額外信息。具體而言，判別器在鑒別生成器的渲染圖片
（負樣本）或訓練數(shù)據(jù)中的編輯圖片
（正樣本）時，我們都從訓練數(shù)據(jù)中再挑選一張相同視角的編輯圖片
作為條件，這使得判別器在鑒別正負樣本時不會受到視角因素的干擾。
D. 推理（Inference）
在 GenN2N 優(yōu)化后，用戶可以從正態(tài)分布中隨機采樣出編輯碼，輸入轉換 NeRF 即可生成出編輯后的高質量、多視角一致性的 3D NeRF 場景。
實驗
我們在多種 NeRF-to-NeRF 任務上進行了大量的實驗，包括 NeRF 文本驅動編輯、著色、超分辨率、修復等。實驗結果展示了 GenN2N 卓越的編輯質量、多視角一致性、生成的多樣性和編輯效率。
對比實驗
我們的方法與各種特定 NeRF 任務的 SOTA 方法進行了定性和定量對比（包括文本驅動編輯、著色、超分辨率和修復等）。結果表明，GenN2N 作為一個通用框架，其表現(xiàn)與特定任務 SOTA 相當或者更好，同時編輯結果具有更強的多樣性（如下是 GenN2N 與 Instruct-NeRF2NeRF 在基于文本的 NeRF 編輯任務上的對比）。
了解更多實驗、方法內(nèi)容，請參考論文主頁。
團隊介紹
該論文來自香港科技大學譚平團隊、清華大學 3DVICI Lab、上海人工智能實驗室和上海期智研究院，論文的作者為香港科技大學學生劉襄閱，清華大學學生薛晗，香港科技大學學生羅堃銘，指導老師為清華大學弋力老師和香港科技大學譚平老師。
本文轉自 機器之心 ，作者：機器之心
