DreamFace：一句話生成 3D 數字人？
在科技迅速發展的今天，生成式人工智能和計算機圖形學領域的研究日益引人注目，影視制作、游戲開發等行業正面臨著巨大的挑戰和機遇。本文將為您介紹一項 3D 生成領域的研究 ——DreamFace，它是首個支持 Production-Ready 3D 資產生成的文本指導漸進式 3D 生成框架，能夠實現文本生成可驅動的 3D 超寫實數字人。
這項工作已經被計算機圖形領域國際頂級期刊 Transactions on Graphics 接收，并將在國際計算機圖形頂級會議 SIGGRAPH 2023 上展示。
項目網站：https://sites.google.com/view/dreamface
預印版論文：https://arxiv.org/abs/2304.03117
Web Demo: https://hyperhuman.top
HuggingFace Space:https://huggingface.co/spaces/DEEMOSTECH/ChatAvatar
引言
自文本和圖像生成技術取得巨大突破以來，3D 生成技術逐漸成為了科研和產業界關注的焦點。然而，目前市面上的 3D 生成技術仍然面臨著許多挑戰，包括 CG 管線兼容性問題、準確性問題以及運行速度問題。
為了解決這些問題，來自影眸科技與上海科技大學的研發團隊提出了一種文本指導的漸進式 3D 生成框架 ——DreamFace。該框架能夠直接生成符合 CG 制作標準的 3D 資產，具有更高的準確性、更快的運行速度和較好的 CG 管線兼容性。本文將對 DreamFace 的主要功能進行詳細介紹，并探討其在影視制作、游戲開發等行業的應用前景。
DreamFace 框架概述
DreamFace 框架主要包括三個模塊：幾何體生成、基于物理的材質擴散生成和動畫能力生成。這三個模塊相輔相成，共同實現了一種高效而可靠的 3D 生成技術。
幾何體生成
幾何體生成模塊的核心任務是根據文本提示生成與之一致的幾何模型。DreamFace 采用了基于 CLIP（Contrastive Language-Image Pre-Training）的選擇框架，首先從人臉幾何參數空間內隨機采樣的候選項中選擇最佳的粗略幾何模型，然后通過隱式擴散模型（LDM）雕刻幾何細節，使頭部模型更符合文本提示。此外，該框架還支持基于文本提示的發型和顏色生成。
基于物理的材質擴散生成
基于物理的材質擴散生成模塊旨在預測與預測幾何體和文本提示一致的面部紋理。DreamFace 首先將預先訓練的 LDM 在收集的大規模 UV 材質數據集上微調，得到兩個 LDM 擴散模型。然后，采用聯合訓練方案協調兩個擴散過程，一個用于直接去噪 UV 紋理貼圖，另一個用于監督渲染圖像。
為了確保所創建的紋理地圖不含有不良特征或照明情況，同時仍保持多樣性，設計了一種提示學習策略。團隊利用兩種方法生成高質量的漫反射貼圖：（1）Prompt Tuning。與手工制作的特定領域文本提示不同，DreamFace 將兩個特定領域的連續文本提示 Cd 和 Cu 與相應的文本提示結合起來，這將在 U-Net 去噪器訓練期間進行優化，以避免不穩定和耗時的手工撰寫提示。（2）非面部區域遮罩。LDM 去噪過程將額外地受到非面部區域遮罩的限制，以確保生成的漫反射貼圖不含有任何不需要的元素。
最后，通過超分辨率模塊生成 4K 基于物理的紋理，以進行高質量渲染。
動畫能力生成
DreamFace 生成的模型具備動畫能力。通過預測獨特的變形，為生成的靜息（Neutral）模型賦予動畫效果，從而產生個性化的動畫。與使用通用 BlendShapes 進行表情控制的方法相比，DreamFace 的神經面部動畫方法能夠提供更細致的表情細節，并且能夠精細地捕捉表演。
應用和展望
DreamFace 框架在名人生成、根據描述生成角色等方面取得了優異的成績。此外，還支持使用提示和草圖進行紋理編輯，實現全局的編輯效果，如老化和化妝。通過進一步結合掩模或草圖，可以創建各種效果，如紋身、胡須和胎記。
DreamFace 的漸進式生成框架為解決復雜的 3D 生成任務提供了一種有效的解決方案，有望推動更多類似的研究和技術發展。此外，基于物理的材質擴散生成和動畫能力生成將推動 3D 生成技術在影視制作、游戲開發和其他相關行業的應用，讓我們拭目以待它在未來的發展和應用。
