簡(jiǎn)介

臉部建模一直是計(jì)算機(jī)圖像和視覺(jué)領(lǐng)域的熱門(mén)話題，包括卡通人物建模、人臉?biāo)囆g(shù)設(shè)計(jì)、人臉實(shí)時(shí)重構(gòu)等等，尤其是交互式人臉建模。我們構(gòu)建了一個(gè)快速的、交互的、基于深度學(xué)習(xí)的人臉建模框架。通過(guò)簡(jiǎn)單勾勒人臉圖畫(huà)(caricature)，我們的模型可以迅速生成對(duì)應(yīng)的三維人臉模型，并且可以同時(shí)擬合面部輪廓和細(xì)節(jié)表情。同時(shí)我們也提供了多種方式進(jìn)行快速的模型修改。實(shí)驗(yàn)證明我們的結(jié)果具有高精度和快速度。

框架

非常推薦大家通過(guò)視頻了解我們的框架：

Youtube: DeepSketch2Face(SIGGRAPH2017) Youtube

騰訊視頻: DeepSketch2Face(SIGGRAPH2017) 騰訊視頻

框架的流程如圖所示：

初始繪制模式(Initial Sketching Mode)

我們采用了卷積神經(jīng)網(wǎng)絡(luò)(CNN)來(lái)學(xué)習(xí)二維繪畫(huà)的人臉特征。如圖所示，輸入是 256 乘 256 大小的繪畫(huà)圖片，通過(guò)卷積層提取特征，結(jié)合每個(gè)像素點(diǎn)的雙線性插值編碼，利用不同的全連接層，最終輸出一個(gè) 50 維的人臉向量和一個(gè) 16 維的表情向量。我們預(yù)設(shè)了 50 個(gè)人臉基底和 16 個(gè)表情基底，最終輸出的模型則是向量和基底的點(diǎn)乘。我們可以做到近乎實(shí)時(shí)的渲染，即用戶每勾勒一筆線條，迅速輸出對(duì)應(yīng)的擬合三維模型。(對(duì)于卷積層，我們采用了較老的 AlexNet。我們也試驗(yàn)了 Resnet 等更新的網(wǎng)絡(luò)結(jié)構(gòu)，在精度上沒(méi)有特別顯著的提升;同時(shí)考慮到實(shí)時(shí)繪制的速度要求，我們選擇了這樣一個(gè)折衷方案。)

以下是一些真實(shí)渲染結(jié)果：

連續(xù)繪制模式(Follow-up Sketching Mode)

利用同樣的卷積神經(jīng)網(wǎng)絡(luò)以及區(qū)域變形技術(shù)(Laplacian deformation)，我們給用戶提供了簡(jiǎn)易修改的繪制方案。對(duì)于不精于從空白紙張繪制肖像的用戶，或者不想生成復(fù)雜人臉形狀的用戶，可跳躍***步直接進(jìn)行連續(xù)繪制。在連續(xù)繪制模式下，由單向工程(二維 -> 三維)轉(zhuǎn)變?yōu)殡p向工程 (二維 <-> 三維)：用戶可直接從當(dāng)前生成或預(yù)設(shè)的三維模型得到一個(gè)二維的人臉輪廓，并基于這個(gè)人臉輪廓進(jìn)行修改、刪除、變形等操作;類(lèi)似于***步，這個(gè)二維輪廓可以生成相應(yīng)的三維模型。

下圖是一個(gè)典型的通過(guò)連續(xù)繪制模式生成的模型：

精細(xì)修改模式(Gesture-based Refinement)

我們提供了基于手勢(shì)的精細(xì)修改模式。如圖所示，用戶可以通過(guò)相應(yīng)的手勢(shì)，選取圖像的區(qū)域進(jìn)行變形，如面頰凸起，眉毛修改、面部輪廓修改等等。用戶的手勢(shì)也是通過(guò)一個(gè)簡(jiǎn)單的卷積神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)，輸入是用戶繪畫(huà)的手勢(shì)，輸出是對(duì)應(yīng)的操作。  

其他

平均來(lái)講，基于我們的框架，新手繪制一個(gè)人臉模型只需要 5～7 分鐘，熟練后甚至在一兩分鐘內(nèi)就畫(huà)出一個(gè)逼真的人臉模型。我們支持多種模型格式輸出，以便對(duì)接其他平臺(tái)。用戶在實(shí)時(shí)操作過(guò)程中可以無(wú)障礙地進(jìn)行撤銷(xiāo)和恢復(fù)操作。用戶操作窗口本身也支持各種常見(jiàn)的渲染操作，如放大縮小旋轉(zhuǎn)移動(dòng)貼圖等等。同時(shí)，我們也提供了一個(gè)用于人臉建模的數(shù)據(jù)庫(kù)，包含極大量的人臉模型，及其不同的表情和夸張程度(levels of exaggeration)

結(jié)尾

有了這個(gè)軟件，再也不用擔(dān)心不會(huì)建模了!更多關(guān)于模型的細(xì)節(jié)和數(shù)學(xué)公式，請(qǐng)參考原論文DeepSketch2Face: A Deep Learning Based Sketching System for 3D Face and Caricature Modeling。