論文有三位共同一作。趙若雯，清華大學(xué)一年級碩士生，主要研究生成模型、強(qiáng)化學(xué)習(xí)和具身智能，已在ICRA等會議發(fā)表論文。葉俊良，清華大學(xué)二年級碩士生，專注于3D生成和基于人類偏好的多模態(tài)強(qiáng)化學(xué)習(xí)研究，曾以第一作者身份在ECCV發(fā)表DreamReward，該成果能生成更符合人類偏好的3D資產(chǎn)。王征翊，清華大學(xué)四年級博士生，主要研究3D多模態(tài)生成模型，已在NeurIPS、ECCV、ICML、CVPR等頂級學(xué)術(shù)會議發(fā)表多篇論文。

在三維數(shù)字內(nèi)容生產(chǎn)領(lǐng)域，三角形網(wǎng)格作為核心的幾何表示形式，其質(zhì)量直接影響虛擬資產(chǎn)在影視、游戲和工業(yè)設(shè)計(jì)等應(yīng)用場景中的表現(xiàn)與效率。

傳統(tǒng)的三維網(wǎng)格生成方式，如人工建?；?Marching Cubes 等算法，存在成本高、拓?fù)浣Y(jié)構(gòu)質(zhì)量差等問題。

針對這一瓶頸，清華大學(xué)朱軍團(tuán)隊(duì)近日提出了 DeepMesh 方法，通過引入創(chuàng)新的自回歸生成框架，顯著提升了高面片人造網(wǎng)格的生成能力。該方法支持生成高達(dá) 3 萬個(gè)面片的三維網(wǎng)格，相比現(xiàn)有技術(shù)提升了一個(gè)數(shù)量級。

• 論文標(biāo)題：DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning 
• 論文主頁：https://zhaorw02.github.io/DeepMesh/
• 論文地址：https://arxiv.org/abs/2503.15265
• 代碼：https://github.com/zhaorw02/DeepMesh

DeepMesh 基于輸入點(diǎn)云，采用自回歸的 Transformer 架構(gòu)逐步預(yù)測面片序列，從而生成拓?fù)浣Y(jié)構(gòu)合理且視覺美觀的高質(zhì)量三維網(wǎng)格。

DeepMesh 架構(gòu)如圖所示，系統(tǒng)首先利用編碼器對輸入點(diǎn)云進(jìn)行特征提?。惶崛〉降奶卣麟S后被輸入至自回歸 Transformer 模塊，該模塊通過融合自注意力與交叉注意力機(jī)制，逐步預(yù)測網(wǎng)格的頂點(diǎn)或面片序列，最終生成結(jié)構(gòu)完整的高質(zhì)量三維網(wǎng)格。

在預(yù)訓(xùn)練階段，DeepMesh 引入了三級塊結(jié)構(gòu)網(wǎng)格標(biāo)記化方法：根據(jù)面片之間的連通性對網(wǎng)格進(jìn)行分解，并將其劃分為粗、中、細(xì)多個(gè)空間層級。在此基礎(chǔ)上，將面片中各頂點(diǎn)的坐標(biāo)映射為相對于所屬層級塊的偏移索引，并對重復(fù)索引進(jìn)行合并處理。

該方法在確保幾何精度的同時(shí)，顯著壓縮了序列長度，從而大幅提升了訓(xùn)練效率。圖中展示了采用 DeepMesh 網(wǎng)格標(biāo)記化方法與其他方法，在訓(xùn)練不同面片數(shù)量的網(wǎng)格數(shù)據(jù)時(shí)的耗時(shí)對比情況。

通過對訓(xùn)練數(shù)據(jù)進(jìn)行封裝處理，并引入融合幾何質(zhì)量與結(jié)構(gòu)規(guī)整度的雙重篩選機(jī)制，DeepMesh 有效解決了異常樣本引發(fā)的訓(xùn)練不穩(wěn)定問題，同時(shí)實(shí)現(xiàn)了訓(xùn)練過程中的動態(tài)負(fù)載均衡。為突破長序列帶來的內(nèi)存瓶頸，模型還采用了滑動窗口截?cái)嘤?xùn)練技術(shù)，支持單個(gè)網(wǎng)格生成高達(dá) 3 萬個(gè)面片，顯著提升了建模能力。

此外，DeepMesh 創(chuàng)新性地引入了「直接偏好優(yōu)化（DPO）」強(qiáng)化學(xué)習(xí)框架，并構(gòu)建了一個(gè)結(jié)合客觀幾何指標(biāo)與主觀人類評價(jià)的分階段數(shù)據(jù)標(biāo)注系統(tǒng)。

該系統(tǒng)首先利用幾何質(zhì)量指標(biāo)篩除存在明顯缺陷的 3D 樣本，隨后由人工對剩余數(shù)據(jù)進(jìn)行標(biāo)注，評估其拓?fù)浣Y(jié)構(gòu)的合理性與視覺觀賞性?；谶@套高質(zhì)量的標(biāo)注數(shù)據(jù)，團(tuán)隊(duì)對模型進(jìn)行了強(qiáng)化訓(xùn)練，從而顯著提升了生成結(jié)果在幾何完整性與拓?fù)涿烙^性方面的表現(xiàn)。

DeepMesh 在細(xì)節(jié)保真與結(jié)構(gòu)多樣性方面表現(xiàn)出色，并具備對傳統(tǒng)生成方法所生成網(wǎng)格進(jìn)行拓?fù)鋬?yōu)化的能力。與現(xiàn)有方法相比，DeepMesh 在幾何精度與拓?fù)滟|(zhì)量兩個(gè)維度均實(shí)現(xiàn)最優(yōu)性能，生成的三維網(wǎng)格不僅在結(jié)構(gòu)合理性上表現(xiàn)卓越，也在視覺美觀性上更具吸引力。

在多樣性生成方面，DeepMesh 能在保持輸入點(diǎn)云幾何一致性的前提下，對同一輸入生成多種具有高保真度且外觀風(fēng)格各異的三維網(wǎng)格方案，展現(xiàn)出強(qiáng)大的創(chuàng)意生成與精度控制的能力。這一特性對于影視制作、游戲設(shè)計(jì)等需進(jìn)行多版本快速迭代的應(yīng)用場景具有顯著價(jià)值。

針對傳統(tǒng)方法（如 TRELLIS）生成的拓?fù)浣Y(jié)構(gòu)混亂問題，DeepMesh 可對其輸出結(jié)果進(jìn)行有效的拓?fù)鋬?yōu)化，顯著提升網(wǎng)格結(jié)構(gòu)的有序性與合理性。

憑借在高保真、多樣性與拓?fù)鋬?yōu)化方面的突出表現(xiàn)，DeepMesh 展現(xiàn)出在 3D 內(nèi)容創(chuàng)作領(lǐng)域的顛覆性潛力，特別適用于數(shù)字游戲、虛擬現(xiàn)實(shí)、影視制作等對創(chuàng)意表達(dá)與建模效率要求極高的行業(yè)。

該研究成果發(fā)布后迅速引發(fā)廣泛關(guān)注，知名推特博主 AK 第一時(shí)間轉(zhuǎn)發(fā)支持，相關(guān)內(nèi)容獲得上千點(diǎn)贊，引發(fā)業(yè)內(nèi)與社群的熱烈討論與積極反饋。

以下展示更多由 DeepMesh 生成的三維網(wǎng)格示例，進(jìn)一步體現(xiàn)模型在細(xì)節(jié)還原、拓?fù)浜侠硇约岸鄻有苑矫娴膹?qiáng)大能力。