Chirpy3D：用于創(chuàng)意 3D 鳥(niǎo)類(lèi)生成的連續(xù)部分潛在特征
Chirpy3D框架可以將細(xì)粒度的2D圖像理解提升至3D生成的全新境界。當(dāng)前的3D生成方法往往只關(guān)注于重構(gòu)簡(jiǎn)單的對(duì)象，缺乏細(xì)致的特征和創(chuàng)造性。Chirpy3D通過(guò)結(jié)合多視角擴(kuò)散模型和連續(xù)的部件潛在空間，能夠生成全新且合理的3D鳥(niǎo)類(lèi)模型。該系統(tǒng)不僅能夠保持細(xì)致的物種特征，還能通過(guò)插值和采樣生成全新的部件。通過(guò)自監(jiān)督特征一致性損失，Chirpy3D確保了未見(jiàn)部件的穩(wěn)定生成，展現(xiàn)了其在細(xì)粒度3D生成領(lǐng)域的創(chuàng)新能力。
生成的由不同部分組成的活潑的 3D 鳥(niǎo)類(lèi)。Chirpy3D 從原始 2D 圖像中學(xué)習(xí)部分潛在空間，并且可以通過(guò)探索部分潛在空間生成高質(zhì)量的創(chuàng)意 3D 鳥(niǎo)類(lèi)。（頂部）現(xiàn)有物種，（底部）新物種
相關(guān)鏈接
- 論文：http://arxiv.org/abs/2501.04144v1
- 主頁(yè)：https://github.com/kamwoh/chirpy3d
論文介紹
論文將細(xì)粒度 3D 生成的邊界推向了真正具有創(chuàng)造性的領(lǐng)域。當(dāng)前的方法要么缺乏復(fù)雜的細(xì)節(jié)，要么只是模仿現(xiàn)有對(duì)象——我們同時(shí)實(shí)現(xiàn)了這兩種方法。通過(guò)多視圖擴(kuò)散將 2D 細(xì)粒度理解提升到 3D，并將部分潛在建模為連續(xù)分布，我們解鎖了通過(guò)插值和采樣生成全新但合理部分的能力。自監(jiān)督特征一致性損失進(jìn)一步確保了這些看不見(jiàn)的部分的穩(wěn)定生成。結(jié)果是第一個(gè)能夠創(chuàng)建具有超越現(xiàn)有示例的物種特定細(xì)節(jié)的新型 3D 對(duì)象的系統(tǒng)。雖然我們?cè)邙B(niǎo)類(lèi)身上展示了我們的方法，但底層框架超越了會(huì)鳴叫的事物！
方法
Chirpy3D 的整體架構(gòu)。（頂部）在訓(xùn)練期間，我們僅使用鳥(niǎo)類(lèi)的 2D 圖像對(duì)文本到多視圖擴(kuò)散模型（例如 MVDream）進(jìn)行微調(diào)。我們的目標(biāo)是通過(guò)建模連續(xù)的部分感知潛在空間來(lái)學(xué)習(xí)底層的部分信息。這是通過(guò)學(xué)習(xí)一組物種嵌入 e，通過(guò)可學(xué)習(xí)的 f 將它們投射到部分潛在 l 中，通過(guò)可學(xué)習(xí)的 g 解碼為詞嵌入 t 并插入文本提示來(lái)實(shí)現(xiàn)的。我們訓(xùn)練具有擴(kuò)散損失（等式 5）和多個(gè)損失目標(biāo)的擴(kuò)散模型 - Lreg（等式 2）將部分潛在建模為高斯分布，Lattn（等式 6）用于部分解纏，以及我們提出的 Lcl（等式 4）以增強(qiáng)視覺(jué)連貫性。f 和 g 是可訓(xùn)練模塊。為了提高訓(xùn)練效率，我們?cè)?U-Net 的交叉注意層中添加了 LoRA 層。 （底部）在推理過(guò)程中，我們可以首先通過(guò)選擇所需的部分潛在特征作為條件來(lái)預(yù)覽多視圖圖像，然后通過(guò) SDS 損失 LSDS 將它們轉(zhuǎn)換為 3D 表示（例如 NeRF）。
結(jié)果
兩個(gè)不同物種（藍(lán)松鴉和白鵜鶘）的主題生成。
部分組成的視覺(jué)比較。A、B、C、D、E、F 分別代表紅雀、威爾遜鶯、最小海雀、加州鷗、角百靈和歌帶鹀。紅色圓圈表示已更改的部分。所有部分（包括源和目標(biāo)）均由同一種子生成。
藍(lán)松鴉和紅雀兩種不同物種之間所有部分潛伏值的線性插值。僅顯示一個(gè)視圖。我們的 Chirpy3D 實(shí)現(xiàn)了更平滑的插值，而不像 PartCraft 在某個(gè)步驟后表現(xiàn)出突然切換現(xiàn)象（紅色框）
結(jié)論
Chirpy3D是一個(gè)細(xì)粒度 3D 生成框架，它通過(guò)多視圖擴(kuò)散將 2D 理解提升到 3D，將部分潛在信息建模為連續(xù)的。所有圖像都是用相同的相機(jī)姿勢(shì)生成的但在看不見(jiàn)的潛在信息上使用不同的種子。
連續(xù)分布并規(guī)范特征一致性以穩(wěn)定看不見(jiàn)部分的生成。這種方法可以創(chuàng)建具有前所未有的細(xì)粒度細(xì)節(jié)和創(chuàng)作自由的新型 3D 對(duì)象。雖然該方法是在鳥(niǎo)類(lèi)身上進(jìn)行演示，但這種方法也可以應(yīng)用于其他物體。
