今天,給大家介紹上大、騰訊等提出的3D服裝合成新方法ClotheDreamer,它以其革命性的能力,從簡單的文本提示直接生成高保真、可穿戴的3D服裝資產,正在重塑電商與空間計算領域的未來。數字人也能實現穿、脫衣自由了!

相關鏈接

論文閱讀：https://arxiv.org/pdf/2406.16815

代碼地址：https://github.com/ggxxii/clothedreamer（即將開源）

項目地址：https://ggxxii.github.io/clothedreamer/

論文閱讀

clothedreaming:文本引導的3D高斯服裝生成

摘要

從文本合成高保真 3D 服裝對于數字化身創建來說既是理想的也是具有挑戰性的。最近基于擴散的分數蒸餾采樣 (SDS) 方法已經實現了新的可能性，但要么與人體錯綜復雜地耦合，要么難以重復使用。

我們介紹了 ClotheDreamer，這是一種基于 3D 高斯的方法，用于從文本提示生成可穿戴、可用于生產的 3D 服裝資產。我們提出了一種新穎的表示解纏結服裝高斯濺射 (DCGS) 來實現單獨優化。DCGS 將穿衣的化身表示為一個高斯模型，但凍結了身體高斯濺射。為了提高質量和完整性，我們結合雙向 SDS 分別監督穿衣的化身和服裝 RGBD 渲染和姿勢條件，并提出了一種針對寬松服裝的新修剪策略。

我們的方法還可以支持自定義服裝模板作為輸入。得益于我們的設計，合成的 3D 服裝可以輕松應用于虛擬試穿并支持物理精確的動畫。大量實驗證明了我們方法的卓越和競爭力。

方法

ClotheDreamer 概述。給定一個文本描述，我們首先利用 ChatGPT 確定衣服 ID 類型以進行初始化。我們引入了解纏衣服高斯濺射 (DCGS)，它將穿衣服的化身表示為單高斯模型，但凍結身體高斯濺射以實現單獨的監督。借助解析高斯濺射 (GS) 渲染，我們使用 Bidreactional SDS 分別根據姿勢條件指導衣服和身體 RGBD 渲染。我們還支持模板網格輸入，用于多功能個性化 3D 服裝生成。

服裝類型。我們提供了六個常用組來初始化零拍攝服裝生成中的DCGS。

高斯初始化的重要性。用雙高斯模型渲染穿衣服的角色時可能會出現偽影。

實驗

動畫結果

###自動試穿 ClotheDreamer 生成的服裝可以適合不同的體形。

服裝文本生成的定性比較。我們比較了最新的最先進的3D生成基線在七種不同的服裝文字描述。請注意，紅色文本強調未完成的服裝生成，而橙色箭頭表示多余人體部位的幾何偽影。

模板引導服裝生成結果

雙向SDS制導的消融研究

松衣修剪策略的消融研究

適合不同體型的DCGS服裝

結論

本文介紹了 ClotheDreamer，這是一種從文本提示生成多樣且可穿戴的3D服裝的創新方法。本文提出了一種新穎的表示方法，名為Disentangled Clothe Gaussian Splatting (DCGS)，能夠有效地將衣服與身體解耦。本文還提出了雙向SDS指導，它分別監督帶有姿態條件的服裝化身RGBD渲染，并引入了一種新的修剪策略，以增強寬松服裝的生成完整性。此外，本文展示了通過結合模板網格原語進行個性化生成的多樣性。本文的DCGS服裝可以通過模擬的網格先驗實現逼真的布料動畫。實驗和用戶研究表明，本文的方法在外觀和幾何質量方面優于最先進的方法。

局限性和未來工作。盡管 ClotheDreamer 展示了令人鼓舞的結果，但它仍然存在一些局限性。首先，本文的方法目前整合了上衣和下衣，更精細的解耦將適用于更復雜的試穿場景。其次，類似于其他基于SDS的方法，本文的方法在某些情況下也會出現顏色過飽和的問題。本文相信，探索改進SDS的方法可以幫助緩解這個問題。最后，探索為3D高斯表示disentangling lighting以增強逼真度也是一個有趣的未來方向。最后，disentangling lighting 增強真實感的 3D 高斯表示也是一個有趣的未來方向。