StochSync：可在任意空間中生成高質(zhì)量360°全景圖和3D網(wǎng)格紋理
本文經(jīng)AIGC Studio公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。
StochSync方法可以用于在任意空間中生成圖像，尤其是360°全景圖和3D網(wǎng)格紋理。該方法利用了預(yù)訓(xùn)練的圖像擴散模型，以實現(xiàn)zero-shot生成，消除了對新數(shù)據(jù)收集和單獨訓(xùn)練生成模型的需求。StochSync 結(jié)合了 Diffusion Synchronization（DS）和 Score Distillation Sampling（SDS）的優(yōu)點，能夠在條件較弱的情況下仍然生成高質(zhì)量的圖像。
使用 StochSync 生成的各類網(wǎng)格紋理和全景圖，包括背景中的一張（環(huán)境映射圖），它是一張 360°全景圖。StochSync 擴展了在方形空間中訓(xùn)練的圖像擴散模型的能力，能夠在諸如圓柱體、球體、環(huán)面和網(wǎng)格表面等任意空間中生成圖像。
相關(guān)鏈接
- 論文：http://arxiv.org/abs/2501.15445v1
- 主頁：https://stochsync.github.io/
論文介紹
我們提出了一種名為 StochSync 的方法，用于生成任意空間中的圖像——例如 360°全景圖或 3D 表面上的紋理——該方法利用了一個預(yù)訓(xùn)練的圖像擴散模型。主要的挑戰(zhàn)在于彌合擴散模型理解的二維圖像與圖像生成的目標(biāo)空間之間的差距。與那些在缺乏強條件或缺乏精細細節(jié)的情況下難以取得成效的方法不同，StochSync 結(jié)合了擴散同步和得分蒸餾采樣的優(yōu)勢，即使在條件較弱的情況下也能有效運行。實驗表明 StochSync 比之前的基于微調(diào)的方法表現(xiàn)更出色，尤其是在 360°全景圖生成方面。
方法
StochSync方法的核心在于結(jié)合了Diffusion Synchronization和Score Distillation Sampling的優(yōu)勢，具體包括以下幾個方面：
- 最大隨機性：在同步過程中引入最大隨機性，優(yōu)化了樣本在不同實例空間之間的連貫性。這一策略通過調(diào)整噪聲預(yù)測的方式，幫助消除樣本間的接縫，提高了圖像的整體流暢性。
- 多步去噪計算：將傳統(tǒng)的單步去噪預(yù)測替換為多步去噪過程，以提高生成樣本的真實感和一致性。這種方法允許在每個時間步驟上進行更精確的樣本預(yù)測，進而提升生成圖像的細節(jié)。
- 非重疊視圖采樣：在每個步驟中采用非重疊的視圖采樣策略，確保樣本在時間上的同步，同時避免了由于視圖重疊導(dǎo)致的真實感下降。這種方法通過交替采樣不同的視圖，提高了生成圖像的質(zhì)量。
全景生成
使用 PanFusion 生成全景圖的定性結(jié)果提示。在左側(cè)列中呈現(xiàn)了與先前工作的比較結(jié)果，而在右側(cè)列中展示了與 StochSync 一起的消融測試案例。
L-MAGIC （Cai et al., 2024）和StochSync在水平特異性提示上的定性比較。
三維網(wǎng)格紋理的附加定性結(jié)果。
