60秒直出3D內容，紋理逼真！Meta最新3D Gen模型實現60倍速生成
在圖像生成和視頻生成這兩個賽道上，大模型僅用了兩年多的時間就卷得如火如荼。
即使是效果堪比Sora的Gen-3、Luma等模型發布，也很難引起曾經的轟動反應。
你可能會疑惑，AI還能玩出新花樣嗎？
Meta放出的最新研究告訴你——能！
不管是圖像還是視頻，即使能做出3D效果，終究只是二維空間中的像素組成的。
Meta最近發布的3D Gen模型，則能實現1分鐘內的端到端生成，從文本直出高質量3D資產。
不僅紋理清晰、形態逼真自然，而且生成速度比其他替代方案加快了3-60倍。
目前，模型還沒有開放試用API以及相應的代碼，官方消息中也沒有透露下一步的發布時間。
圖片
只能看到官方demo但沒法試用，已經讓很多網友心癢難耐了。
「把這些可愛的小東西3D打印出來該有多好。」
圖片
但好在，Meta放出了技術報告，讓我們可以細致觀摩一下技術原理。
圖片
論文地址：https://ai.meta.com/research/publications/meta-3d-gen/
Meta 3D Gen
在電影特效、AR/VR、視頻游戲等領域中，創作3D內容是最耗時，也是最具挑戰性的環節之一，需要很高的專業技能和陡峭的學習曲線。
這件事對人類困難，對AI來說也同樣困難。
相比于圖像、視頻等形式，生產級的3D內容有更多方面的嚴格要求，不僅包括生成速度、藝術質量、分辨率，還包括3D網格的結構和拓撲質量、UV圖結構以及紋理清晰度。
此外，3D生成還面臨數據方面的挑戰。
雖然有數十億張圖像和視頻可供學習，但其中適合訓練的3D內容量卻少了3～4個數量級。因此，模型只能學習這些非3D的視覺內容，并從二維的觀察中推斷出三維信息。
3D Gen模型則克服了這些困難，在領域內邁出了第一步。
模型最大的亮點在于支持基于物理的渲染（PBR，physically-based rendering），這對于在應用場景中實現3D資產的重新照明非常必要。
此外，經過專業藝術家的評估，3D Gen在生成同等質量，甚至更優內容的同時，縮短了生成時間，提升了指令跟隨性能。
生成出3D對象后，模型還支持對其紋理進行進一步的編輯和定制，20s內即可完成。
圖片
方法
這種更加高效的優質生成，離不開模型pipeline的精心設計。
3D Gen的生成主要分為兩步，由兩個組件分別完成——文本到3D對象生成器AssetGen和文本到紋理生成器TextureGen。
- 第一階段：3D資產生成。根據用戶提供的文本提示，使用3D AssetGen模型創建初始3D資產，即帶有紋理和PBR材質圖的3D網格，大約花費30s。
- 第二階段：紋理生成。根據第一階段生成的3D資產和用戶文本提示，使用3D TextureGen模型生成更高質量的紋理和PBR圖，大約花費20s。
其中，第二階段的TextureGen也可以單獨拿出來使用。如果有一個之前生成的，或者藝術家自己創作的無紋理3D網格，提供描述外觀的文本提示后，模型也能在20s左右的時間中為它從頭生成紋理。
圖片
AssetGen和TextureGen這兩個模型有效地結合了3D對象的三種高度互補的表示：視圖空間（物體圖像）、體積空間（3D形狀和外觀）以及UV空間（紋理）。
圖片
AssetGen項目地址：https://assetgen.github.io/
給定文本描述，AssetGen首先利用一個多視角、多通道版本的圖像生成器生成多張圖像，隨后生成物體的一致視圖。
據此，AssetGen中的重建網絡在體積空間中提取出物體的初始版本，并進行網格提取，確立其3D形狀和初始紋理。
最后，TextureGen利用視圖空間和UV空間的生成結果，對紋理進行重生成，在保持指令忠實度的同時提升紋理質量。
圖片
論文地址：https://ai.meta.com/research/publications/meta-3d-texturegen-fast-and-consistent-texture-generation-for-3d-objects/
上述的每一個階段都是建立在Meta強大的文生圖模型家族Emu之上，并使用了內部數據集進行微調，主要包括渲染過的合成3D數據。
單獨使用TextureGen模型可以為同一個物體生成不同的紋理表面
不同于許多SOTA方法，AssetGen和TextureGen都是前饋生成器，因此能實現快速、高效的部署。
將3D生成任務以這種方式劃分為兩個階段，并在同一個模型中集成對象的多個表示空間，這種pipeline的組合是Meta重要的創新。
實驗證明，不僅AssetGen和TextureGen兩個部件都能分別取得更好的效果，它們結合后形成的3D Gen也能以68%的勝率超過其他模型。
實驗
針對文本到3D資產生成的任務，論文將3D Gen與其他公開可用的常用方法進行了對比，并從用戶調研、定性實驗兩個方面進行了評估。
定性結果
從生產結果上直觀來看，3D Gen能夠應對不同范疇、不同類別物體的生成任務，而且指令跟隨的忠實度甚至好過很多文生圖模型。
比如讓吉娃娃穿蓬蓬裙、讓臘腸犬穿熱狗裝這樣人類都很難想象的場景，3D Gen也按照要求生成了合理的結果。
圖片
生成結果的多樣性也非常驚艷。比如提示模型只生成Llama（羊駝），他就能給出下圖中的13種不同結果，風格、形狀、紋理各異，可以說想象力很豐富了。
圖片
圖6、7、8則對比了3D Gen和其他模型對同一文本提示的生成結果。
對于一些比較有挑戰性的提示，3D Gen的細節效果有時遜色于Meshy v3等模型，但這涉及到一個權衡問題：要展現紋理中的高頻細節，代價就是有時會出現視覺失真。
圖片
下面這個多物體的復雜場景任務中，你覺得哪個模型的表現更好？
圖片
雖然成功的案例很多，但對目前的模型來說，翻車依舊時常發生，而且每個模型都有自己獨特的翻法。
比如CSM Cube經常在物體幾何上出問題，前后視角不一致，或者干脆生成了「雙頭大猩猩」；Tripo 3D的光照效果會出現「一眼假」；Rodin Gen 1和Meshy 3.0有時缺少物體細節的渲染。
至于Meta的3D Gen，在放出來的案例中就出現了物體幾何結構不完整、紋理接縫、指令不跟隨（最右側的海象沒有叼煙斗）等多方面的問題。
圖片
雖然沒人能在Meta的報告中戰勝Meta，但被拿來當「靶子」的作者，還是站出來為自己工作辯護了一番。
圖片
圖片
用戶調研
對于模型的文本到3D生成，人類評審將從兩方面進行評估：提示忠實度、視覺質量。
按不同的背景，評審被分成了兩組：（1）普通用戶，沒有3D方面的專業知識，（2）專業的3D藝術家、設計師和游戲開發者。
評估采用了DreamFusion引入的404個經過去重的文本提示，并根據內容復雜性分為三類：物體（156個），角色（106個）和物體角色組合（141個）。
每個3D生成結果都會以360度全景視頻的方式呈現給評審者，不同模型進行分別測試或者隨機的A/B測試。
表2展示了提示忠實度方面的的評估結果。在這一指標上，3DGen在兩個階段的得分都優于其他行業方法，緊隨其后的是T23D生成器。
圖片
如表3所示，A/B測試中還添加了對幾何視覺質量以及紋理細節的評測。
作者發現，普通用戶更傾向于喜歡那些紋理更銳利、生動、逼真且細節詳實的3D結果，但對較明顯的紋理和幾何偽影不是很關注。專業的3D藝術家則會更重視幾何與紋理的準確性。
圖片
在圖3中，作者分析了視覺質量、幾何、紋理細節和紋理偽影的表現率等指標，如何隨著文本提示描述的場景復雜度發生變化。
圖表顯示，雖然基準模型在簡單提示下的表現與3D Gen相當，甚至更優，但隨著提示復雜度逐漸增加，3D Gen開始反超，這也與圖7描述的定型結果一致。
圖片
結論
作為一個統一的流程，3DGen整合了Meta的基礎生成模型，用于文本到3D生成，具備紋理編輯和材料生成能力。
通過結合AssetGen和TextureGen的優勢，3DGen能夠在不到一分鐘的時間內根據文本提示生成高質量的3D對象。
在專業3D藝術家的評估中，3DGen的輸出在大多數情況下更受青睞，尤其是在復雜提示下，而且速度快3到60倍。
雖然Meta目前對AssetGen和TextureGen的整合比較直接，但它開創了一個非常有前景的研究方向，基于兩個方面：（1）在視圖空間和UV空間中的生成，（2）紋理和形狀生成的端到端迭代。
如同Sora的出現會深刻影響短視頻、電影、流媒體等眾多行業一樣，3D Gen也具有同樣巨大的潛力。
畢竟，小扎還是心心念念他的元宇宙。而AI驅動的3D生成，對于在元宇宙中構建無限大的虛擬世界也非常重要。
