一、人臉3D數字化概覽?

如下是我們現在在騰訊 AI Lab 做的一個高保真 3D 數字人小志，是采用虛幻引擎渲染的效果。從靜態的建模角度來看，現如今數字人臉部的數字化技術，基本上已經可以做到以假亂真，看起來跟照片非常接近的程度。動態的效果展示中，表情是模擬真人表情的動畫，結合語音驅動的數字人的口型和動作。

高保真 3D 數字人是如何制作出來的呢？其制作管線流程如下：?

首先使用光場掃描的方式采集模特的圖片數據，然后對這些圖片數據進行高模重建，重建的過程會有噪聲或者瑕疵，高模制作就是對瑕疵的清理、以及細節的雕刻，同時會按照固定的拓撲模板做一個低模重拓撲，這個過程中就可以制作出 UV 貼圖，包括材質渲染所需的貼圖，比如法線貼圖、高光貼圖、粗糙度貼圖。上面這些環節是靜態建模的過程。

后續如果要讓其動起來，還需要一些動態建模的過程，比如會先有一些演員不同表情的掃描，這些掃描的數據還是需要經歷前面的高模重建、高模制作、以及低模重拓撲的制作管線，才能真正用到動畫的資產里面去。下一步非常耗時的步驟其實是做控制器綁定，這一步對于后續的動畫動作是否自然生動至關重要。接下來是處理頭發、眼珠、牙齒等掛件，以及皮膚材質的設置、渲染等步驟。最后基于語音的輸入或者文本的輸入，讓其自動做一些口型、表情，以及動作。整個的數字人制作管線就是這樣的一個流程。

制作 3D 寫實數字人的工期久、人工成本大，所以 AI Lab 也在研究如何能更高效地制作高保真的數字人，主要分了幾條不同的路線來做技術的探索，各級方案的特點如下：

S 級別的數字人制作方案，耗費的時間和人工較大，是為了追求最高的質量。我們技術側研究更多是偏向 A、B、C 三個級別，無論是采集設備還是制作方案方面，都希望能夠更高效、更便捷地制作高保真數字人。比如 A 級，不再使用 S 級中的 360° 光場設備，而是使用相對簡易的相機陣列，很容易搭建起來，后續采用以 AI 算法為主的生成，因為輸入是比較豐富的，所以能夠兼顧高品質和高效率。B 級和 C 級是針對消費端的輸入，可以實現任意用戶采用消費端設備就可以采集并自動生成高保真數字人形象。最簡單的是 C 級別的方案，用單張或多張照片，就可以實現人臉的重建，以及后續的數字化。這種方案是 C 端用戶最容易觸達的。下面我重點介紹一下我們在 B 級方案中研發的一套算法，這項工作已經發表到了圖形學頂刊 ACM Transactions on Graphics 上。

二、RGB 自拍數字化

RGBD 自拍的圖像以及深度數據，經過算法自動選幀，篩選出覆蓋人臉各個角度、且動作沒有變形的一些幀，再進行幾何建模、材質建模，得到一個高清的紋理貼圖以及高清的法線貼圖，然后我們會復用在渲染引擎里面的一些其它的貼圖，當然從法線貼圖還可以進一步算出粗糙度貼圖。

接下來介紹整個算法的流程，主要分為 7 個步驟：

• 步驟一 自動選幀算法

這一步包括多步篩選，首先是 Landmark Detection 粗篩，從正臉、側臉、仰頭等不同角度都篩選出一些候選的幀。在這些候選幀中，會進行剛性篩選，篩選出與參考幀相比，沒有任何動作的幀。最后根據圖像質量排序，選出正臉、左、右、上四張 RGBD 數據。

• 步驟二 模型初始擬合

在初始擬合步驟中，首先會進行傳統的關鍵點擬合，得到一些初始形狀，提取臉部區域后，得到不同側面的 UV 展開，之后再進行融合和參數化擬合，就可以得到初始顏色貼圖。

• 步驟三 基于可微渲染的優化

基于可微渲染的優化框架是我們整個建模中最核心的算法。基于一個可微渲染器，根據圖像的 appearance 信息，以及 ID 的一致性信息和 depth 的一致性信息，再加上 landmark 各種約束，來反推基于 3DMM 的 shape 和 texture 的參數。

• 步驟四 紋理/法線貼圖合成

基于前步初始的 UV 展開后的圖，經過更細致的，基于局部金字塔的紋理貼圖基底去做 fitting，得到一個基于紋理基底的參數的表示，之后得到由參數化 fitting 融合出來的2k 的紋理貼圖和法線貼圖，再經過 image translation network 做紋理貼圖和法線貼圖的精細化，最終得到細節更加清晰的圖。

• 步驟五 補頭/掛件掛載/渲染

經過了 shape 的重建，以及紋理貼圖和法線貼圖的生成后，后續還要進行補頭、掛件掛載（頭發、眼珠、牙齒）等工作，并進行最終的渲染。

下面是一些結果展示。

• 步驟六 AutoRigging

靜態建模后，可以利用變形遷移等技術生成相應的表情 blendshape 資產。

• 步驟七  文本/語音驅動

有了以上資產后，就可以通過文本、語音驅動讓數字人動起來。整個算法流程大致是這樣的，我們在 TOG 論文里對于每個步驟有更詳細的描述，算法的核心代碼也已經開源，歡迎大家掃碼關注。在上面的工作中，最核心的一個步驟是重建出高保真的人臉模型，下面我們針對這個問題進行更深入的探討。

三、如何評估 3D 人臉重建

3D 人臉形狀的重建是一個比較核心的部分，我們對 shape 重建的結果和一些 SOTA方法進行了對比，也有在 benchmark 上面做一些客觀評測。很多情況還是需要仔細的去觀看，比如臉部形狀的貼合程度和嘴形鼻子形狀的重建效果。最終發現目前的 benchmark 都無法與主觀感受的效果相吻合，在這個過程中，我們發現 3D 人臉重建結果評估方法其實是存在很多問題的。

傳統 3D 人臉重建評估方法主要有剛性對齊和最近鄰點計算誤差兩個步驟。

在剛性對齊步驟中，容易出現的問題，是對齊方法對于局部擾動很敏感。比如上圖中灰色模型和黃色模型可以很好的對齊，如果對鼻子做一個擾動，理想情況下應該還是用原來的對齊相對 pose 來計算 error，那么鼻子區域的 error 就會比較大，但事實上經過算法重新計算剛性對齊后，很多其它地方都會參考鼻子去做 alignment，導致整個臉的區域會后移，這樣計算出來的 error 就不能很好的反應哪些區域重建的不好。

另一個問題是在找對應點計算 error 的過程中，對應點關聯易錯位。比如上圖中藍色的線是 GT 效果，橙色是計算出來的效果，x 點應該與 y₂ y₁ 點對應。

針對這兩個問題，我們在 3D 人臉重建的評估方法上做了一些改進。首先基于前面發現的問題，我們重新做了一個用于評估的 benchmark 數據集，叫做 REALY。REALY  包含 100 對 2D 圖片（下圖中第一排），以及 3D 掃描模型（下圖中第二排），最關鍵的是第三排，每個人臉的掃描模型做了一個統一的拓撲對齊后，再把原始高模對應的語義信息進行分割，就得到了在高模上的臉部區域的一些 Mask，我們可以分別對每個區域做評估，甚至對每個區域做完對齊之后做評估。

評估方法上，我們針對剛才提到的兩個問題做了改進。

針對全局剛性對齊的問題，我們按 Mask 做局部對齊并只計算局部誤差，就可以比較客觀的反映出來鼻子、嘴型、臉型、眉毛等的效果。

針對對應點錯位的問題，我們引入了逆向 non-rigid deformation 更新對應點關系，可以理解為在找對應點關系的時候是一個雙向過程，這樣可以使得對應點關系找得更準。我們也做了一些實驗，來驗證這兩個改進，發現有很大的幫助。

根據這個方法，我們對現有的能找到開源代碼的單張照片的 3D 人臉重建算法做了一個非常詳細的評測，過程中也發現了一些有趣的觀察：

這項工作已經發表到今年的計算機視覺頂會 ECCV 上，相關的數據集和代碼也已經公開，歡迎大家掃碼關注。以上就是我今天分享的內容，謝謝大家，歡迎大家提問。

四、問答環節

Q1：想問一下關于陰影的處理，是通過真么樣的思路？是有監督還是無監督的方法來做？

A1：首先是 moldel base delighting 的過程，會估計出球諧光照，根據估計出來的光照去處理 delighting，這一步驟會導致臉部區域不是很均勻，有些高光也無法去掉；其次是 fitting 的過程，會去掉不均勻的部分；再進行 refinement 的過程，使用比較均勻的 UV 貼圖，可以進一步的把光照做的比較平。所以是經過了以上三個步驟的處理使得光照比較均勻。

Q2：頭發是如何建模及渲染的？

A2：頭發是以掛件的形式掛上去的，是調用事先人工建模好的頭發庫，渲染也是在Groom 里用 UE4 渲染。

Q3：口腔內部如何建模？

A3：目前是沒有建模的，但是我們這個拓撲里口腔是一個包絡，有了這個腔體，可以往里面放牙齒和舌頭的掛件。

Q4：你們的數字人做的比其他算法更真實，主要的差異是什么原因導致？幾何模型、皮膚紋理更真實？還是貼合性？

A4：傳統的 3D 人臉重建我們只關注人臉局部的一個區域，但是做數字人來講，這還是遠遠不夠的。一是我們重建的 shape 跟真人非常貼合；二是紋理的合成，我們構建了一個比較高質量的的紋理數據集，通過這些數據集訓練 refinement 可以得到很精細的毛發等的相關細節；三是我們把整個完整的流程和管線都做的比較細致；四是有在用工業界的渲染管線來渲染數字人。以上就是我們的數字人更真實的原因。