在VR/MR或者是CG游戲等領域，構建帶有精細紋理的三維模型資產是其中的重要環節。然而，現有的三維建模流程往往需要用戶掌握一定的三維建模技能，使得普通用戶難以完成3D內容創作。近期，隨著3D AIGC技術的發展，使用文本或者圖像生成3D物體降低了這一門檻，但在實際應用中存在可控性差，難以交互式生成和修改等問題。

那么，「是否有可能像小孩子搭」 「積木」 「一樣，用戶只需通過交互式地拼接基本3D形狀，」 就可以實現可控的3D物體生成呢？

近日，來自「浙江大學」 「和」 「字節跳動」 「PICO」 「MR」研究團隊在「SIGGRAPH2024」中發表了論文《「Coin3D: Controllable and Interactive 3D Assets Generation with Proxy-Guided Conditioning」》。該論文提出了一種使用文本描述驅動的3D模型可控生成方案Coin3D，可以根據用戶搭建的粗糙幾何模型與簡單文本描述來生成帶紋理的三維模型，在功能上類似于3D版本的ControlNet。

「論文鏈接：」 「https://arxiv.org/abs/2405.08054」

「項目主頁：」 「https://zju3dv.github.io/coin3d/」

背景

為了提升算法的實用性，3D物體生成需要兼顧可控性、交互性以及生成效率。然而，現有的三維模型生成方案無法做到交互式三維可控的生成，其主要有兩個技術難點：

• 難以精準控制：主流3D物體生成算法只支持圖片/文本控制，無法在3D上直接施加控制生成過程。
• 無法即時交互：現有快速生成方案在生成好物體后，難以支持精細的局部編輯修改操作；或是支持局部修改但需要數小時重建才能預覽修改效果，這使得在實際交互式三維建模中失去實用性。

方法

Coin3D提出的框架可以讓用戶以手工搭積木般先構建一個粗糙模型，并利用這一粗糙模型，從三維上直接控制最終生成模型的大致外觀輪廓。基于這一設計，Coin3D提出了一種新穎的交互式生成工作流，允許用戶在單次生成好物體后，對局部紋理或者幾何進行生成式編輯（如修改紋理，增加新的形狀塊等），且不影響其余部分的幾何與紋理，同時用戶的生成式編輯操作可在數秒內實現快速預覽。最后，Coin3D將基于粗糙模型的三維控制生成算法與神經輻射場重建技術相結合，有效提升最終導出的帶紋理網格的重建質量。

「粗模引導的3D控制生成」

?

用戶無需復雜建模，只需在3D建模軟件中組裝基本形狀即可。

?

Coin3D將3D粗糙幾何模型與用戶文本提示結合，控制多視圖擴散生成過程。不同于常規2D擴散，這種方法在所有預設視角上同步執行去噪迭代操作，實現跨視圖相關性和視圖相關自注意力的整合。

為了應用粗糙幾何模型于3D生成任務，Coin3D提出雙路徑條件預處理。首先，在粗模網格上采樣表面點，用于3D控制；其次，Coin3D使用粗模的渲染輪廓和用戶的文本提示生成多個2D候選圖像，供用戶交互式選擇。

Coin3D引入3D適配器，將3D控制添加至多視圖擴散流程，生成遵循粗模形狀的多視圖圖像。Coin3D構建了一個3D控制體素，將3D體素上下文傳遞至擴散流程。3D適配器接收粗模特征體素和多視圖圖像融合體素兩個輸入，先體素化粗模采樣點填充零初始化的占用網格，然后通過反投影和融合多視圖圖像，生成多視圖特征量。

在每個去噪步驟中，Coin3D在體素上執行3D卷積，并將輸出添加至多視圖特征體素，生成3D控制體素。然后，在2D擴散模型進行多視圖去噪時，通過投影來對齊相應的視圖以獲得2D特征圖，然后將其與CLIP嵌入的候選圖像特征和相機姿態嵌入輸入到擴散UNet中。

訓練階段，Coin3D將每個訓練物體預處理為多張圖像和粗模采樣，隨機選擇目標圖像和對應的點采樣，以及帶有高斯噪聲的時間戳。Coin3D約束網絡預測添加的噪聲，使用零卷積作為粗模特征卷卷積UNet，同時凍結其他層，以便在生成過程中操縱控制強度，優化目標如下：

?

簡單來說，這就像是讓用戶在3D樂高世界里，用最簡單的積木搭建出大致形狀，然后Coin3D的神奇畫筆（多視圖擴散模型）就會根據這個形狀和用戶的要求，生成出多視角一致的模型照片。在這個過程中，Coin3D的3D適配器就像是一個翻譯器，把用戶的三維模型構建要求，轉化為生成算法可以理解的語言。

?

「交互式生成技術」

Coin3D提出了一種新穎的交互式三維生成與建模工作流程，充分利用粗模自身的可組合性來實現輕松精確的部分編輯，并重用3D控制體素進行交互式預覽。具體來說，用戶可以從基本形狀中指定某一塊區域，并重新生成這一塊區域的內容。

由于多視圖擴散模型同時以 3D 體素和 2D 圖像為控制條件，因此，Coin3D提出了一種同時考慮2D和3D條件控制的雙路徑條件編輯方案。對于 2D 條件控制，Coin3D通過將遮罩粗模投影到所需的編輯視圖來構建 2D 掩碼，并執行基于掩碼的2D重繪。然后，使用編輯后的圖像作為模型去噪步驟的圖像條件。對于 3D 條件控制，Coin3D首先通過略微膨脹擴大的遮罩粗模來構建 3D 體素掩碼。然后，在每個去噪步驟中，Coin3D重用緩存的原始 3D 控制體素，并根據特征掩碼部分更新未掩蔽的體素，如下所示：

為了保證交互生成的流暢體驗，Coin3D可實現在幾秒鐘內預覽編輯結果，并從任意角度檢查編輯后的效果。具體而言，Coin3D設計了一種漸進式體素緩存機制，用于記住每個時間戳的最新3D控制體素。然后，在預覽階段，Coin3D將用戶在建模軟件內的視點變換遷移控制多視圖擴散中的視點條件和體素投影。為了使預覽功能具有快速響應，Coin3D使用緩存的 3D 控制體素，而無需重新運行 3D 適配器，并在每次去噪迭代中快速解碼出每個步驟的預覽預覽圖像，實現拖拽交互式的3D生成預覽。

「基于體素蒸餾損失的紋理網格重建」

前文所述的多視圖擴散模型的結果是物體的一組多視角圖像（如蘋果從16個環繞角度拍攝的圖），因此Coin3D需要將其重建為成熟的三維表達（如帶紋理的網格模型）以便于后續的 CG 應用。然而，使用生成好的多視角圖像直接進行重建效果有限，而且由于視角數量較少，可能會產生不穩定的幾何重建結果。因此，Coin3D設計使用三維控制體素 作為重建時的輔助監督，以提高三維重建質量，其公式如下：

簡單來說，Coin3D提出了一種基于體素的分數蒸餾采樣，其在神經輻射場重建的反向傳播過程中嵌入了來自三維控制的梯度信息，從而實現了更好的網格重建質量。

實驗與結果

這里展示了更多使用Coin3D進行可控 3D 生成的示例，其中我們使用粗模型作為控制條件，生成精細帶紋理的物體。

這里展示了更多交互式生成與編輯的示例，其中用戶可以精確地指定待編輯的粗模區域，并使用Coin3D進行編輯/重新生成所需的部件（例如，給企鵝添加火炬、給蛋糕添加蠟燭或將一個南瓜更換為蘋果）。

同時，我們也將Coin3D與基于圖像的3D生成方法（Wonder3D 和 SyncDreamer），以及提供了可控3D生成接口的方法（Latent-NeRF和Fantasia3D）進行了對比進行比較，可以看到Coin3D的生成結果能更符合用戶的預期。

總結

Coin3D提出了一種三維可控的生成式3D資產制作流程，并提出了一個交互式生成的工作流，用戶可以自由地改變提示詞/形狀控制，或重新生成指定的局部，并在幾秒鐘通過交互式3D預覽查看修改之后的變化。