ICML 2024｜復(fù)雜組合3D場景生成，LLMs對話式3D可控生成編輯框架來了

作者：機器之心 2024-07-31 15:30:05

最近，來自北京大學(xué)王選計算機研究所的 VDIG 研究團隊與其合作者公布了最新研究成果 GALA3D。

該論文的第一作者和通訊作者均來自北京大學(xué)王選計算機研究所的 VDIG (Visual Data Interpreting and Generation) 實驗室，第一作者為博士生周嘯宇，通訊作者為博士生導(dǎo)師王勇濤。VDIG 實驗室近年來在 IJCV、CVPR、AAAI、ICCV、ICML、ECCV 等頂會上有多項代表性成果發(fā)表，多次榮獲國內(nèi)外 CV 領(lǐng)域重量級競賽的冠亞軍獎項，和國內(nèi)外知名高校、科研機構(gòu)廣泛開展合作。

近年來，針對單個物體的 Text-to-3D 方法取得了一系列突破性進展，但是從文本生成可控的、高質(zhì)量的復(fù)雜多物體 3D 場景仍然面臨巨大挑戰(zhàn)。之前的方法在生成場景的復(fù)雜度、幾何質(zhì)量、紋理一致性、多物體交互關(guān)系、可控性和編輯性等方面均存在較大缺陷。

最近，來自北京大學(xué)王選計算機研究所的 VDIG 研究團隊與其合作者公布了最新研究成果 GALA3D。針對多物體復(fù)雜 3D 場景生成，該工作提出了 LLM 引導(dǎo)的復(fù)雜三維場景可控生成框架 GALA3D，能夠生成高質(zhì)量、高一致性、具有多物體和復(fù)雜交互關(guān)系的 3D 場景，支持對話式交互的可控編輯，論文已被 ICML 2024 錄用。

論文標(biāo)題：GALA3D: Towards Text-to-3D Complex Scene Generation via Layout-guided Generative Gaussian Splatting
論文鏈接：https://arxiv.org/pdf/2402.07207
論文代碼：https://github.com/VDIGPKU/GALA3D
項目網(wǎng)站：https://gala3d.github.io/

GALA3D 是一個高質(zhì)量的 Text-to-3D 復(fù)雜組合場景生成與可控編輯框架。用戶輸入一段描述文本，GALA3D 能夠 zero-shot 地生成相應(yīng)的具有多物體和復(fù)雜交互關(guān)系的三維場景。GALA3D 在保證生成 3D 場景與文本高度對齊的同時，展現(xiàn)了其在生成場景質(zhì)量、多物體復(fù)雜交互、場景幾何一致性等方面的卓越性能。此外，GALA3D 還支持用戶友好的端到端生成和可控編輯，使得普通用戶能夠在對話式的交談中輕松定制和編輯 3D 場景。在與用戶的交流中，GALA3D 可以精準(zhǔn)地實現(xiàn)復(fù)雜三維場景對話式的可控編輯，并根據(jù)用戶的對話實現(xiàn)復(fù)雜三維場景的布局變換、數(shù)字資產(chǎn)嵌入、裝修風(fēng)格改變等多樣化的可控編輯需求。

方法介紹

GALA3D 的整體架構(gòu)如下圖所示：

GALA3D 利用大型語言模型（LLMs）生成初始布局，并提出布局引導(dǎo)的生成式 3D 高斯表示構(gòu)建復(fù)雜 3D 場景。GALA3D 設(shè)計通過自適應(yīng)幾何控制優(yōu)化 3D 高斯的形狀和分布，以生成具有一致幾何、紋理、比例和精確交互的 3D 場景。此外，GALA3D 還提出了一種組合優(yōu)化機制，結(jié)合條件擴散先驗和文生圖模型，協(xié)作生成具有一致風(fēng)格的 3D 多物體場景，同時迭代優(yōu)化從 LLMs 提取的初始布局先驗，以獲得更加逼真準(zhǔn)確的真實場景空間布局。廣泛的定量實驗和定性研究表明 GALA3D 在文本到復(fù)雜三維場景生成方面取得了顯著效果，超越現(xiàn)有文生 3D 場景方法。

a、基于 LLMs 的場景布局先驗

大語言模型展現(xiàn)了優(yōu)異的自然語言理解和推理能力，本文進一步探索了 LLMs 大語言模型在 3D 復(fù)雜場景的推理和布局生成能力。如何在沒有人工設(shè)計的情況下獲得相對合理的布局先驗有助于減少場景建模和生成的代價。對此，我們使用 LLMs (例如 GPT-3.5) 對文本輸入的實例及其空間關(guān)系進行抽取，并生成相應(yīng)的 Layout 布局先驗。然而，通過 LLMs 解讀的場景 3D 空間布局和 Layout 先驗與實際場景存在一定差距，通常表現(xiàn)生成懸浮 / 穿模的物體，比例差異過大的物體組合等。進一步地，我們提出了 Layout Refinement 模塊，通過基于視覺的 Diffusion 先驗和 Layout 引導(dǎo)的生成式 3D 高斯對上述生成的粗糙布局先驗進行調(diào)整和優(yōu)化。

b、Layout Refinement

GALA3D 使用基于 Diffusion 先驗的 Layout 布局優(yōu)化模塊對上述 LLMs 生成的布局先驗進行優(yōu)化。具體地，我們將 Layout 引導(dǎo)的 3D 高斯空間布局的梯度優(yōu)化加入 3D 生成過程，通過 ControlNet 對 LLM-generated Layouts 進行空間位置、旋轉(zhuǎn)角度和尺寸比例的調(diào)整，如圖展示了優(yōu)化前后 3D 場景和 Layout 的對應(yīng)關(guān)系。經(jīng)過優(yōu)化的 Layout 具有更加準(zhǔn)確的空間位置和比例尺度，并且使得 3D 場景中多物體的交互關(guān)系更加合理。

c、布局引導(dǎo)的生成式 3D 高斯表示

我們首次將 3D-Layout 約束引入 3D 高斯表示，提出了布局引導(dǎo)的生成式 3D 高斯，用于復(fù)雜文生 3D 場景。Layout-guided 3D 高斯表示包含多個語義抽取的實例物體，其中每個實例物體的 Layout 先驗可以參數(shù)化為：

其中，N 代表場景中實例物體的總數(shù)。具體地，每一個實例 3D 高斯通過自適應(yīng)幾何控制進行優(yōu)化，得到實例級的物體 3D 高斯表示。進一步地，我們將多個物體高斯根據(jù)相對位置關(guān)系組合到全場景中，生成布局引導(dǎo)的全局 3D 高斯并通過全局 Gaussian Splatting 渲染整個場景。

d、自適應(yīng)幾何控制

為了更好地控制 3D 高斯在生成過程中的空間分布和幾何形狀，我們提出了針對生成式 3D 高斯的自適應(yīng)幾何控制方法。首先給定一組初始高斯，為了將 3D 高斯約束在 Layout 范圍內(nèi)，GALA3D 使用一組密度分布函數(shù)來約束高斯橢球的空間位置。我們接著對 Layout 表面附近的高斯進行采樣來擬合分布函數(shù)。之后，我們提出使用形狀正則化控制 3D 高斯的幾何形狀。在 3D 生成的過程中，自適應(yīng)幾何控制不斷優(yōu)化高斯的分布和幾何，從而生成更具紋理細節(jié)和規(guī)范幾何的 3D 多物體與場景。自適應(yīng)幾何控制還保證了布局引導(dǎo)的生成式 3D 高斯具有更高的可控性和一致性。