概述

本文將從零開始介紹如何創(chuàng)造并驅(qū)動(dòng)數(shù)字人，最后通過(guò)AI換臉實(shí)現(xiàn)虛擬制片。效果如下：

數(shù)字人驅(qū)動(dòng)

換臉憨豆先生

數(shù)字人簡(jiǎn)介

數(shù)字人（Digital Human / Meta Human），是運(yùn)用數(shù)字技術(shù)創(chuàng)造出來(lái)的、與人類形象接近的數(shù)字化人物形象。數(shù)字人可簡(jiǎn)單的分為 2D 數(shù)字人和 3D 數(shù)字人。本文使用的數(shù)字人是通過(guò) MetaHuman Creator 制作工具生成的 3D 數(shù)字人。3D 數(shù)字人的驅(qū)動(dòng)方式可簡(jiǎn)單的分為真人驅(qū)動(dòng)和模型驅(qū)動(dòng)。本文使用的驅(qū)動(dòng)方式為真人驅(qū)動(dòng)。

AI換臉簡(jiǎn)介

AI 換臉指的是通過(guò) AI 人工智能技術(shù)把原視頻或圖片的人臉換成其他的人臉。本文使用目前最新的 roop 換臉工具，通過(guò)一張照片，把數(shù)字人的臉換成憨豆先生。現(xiàn)在比較主流的換臉技術(shù)還有 deep facelab 和 SimSwap。

實(shí)現(xiàn)

準(zhǔn)備工作

首先需要下載虛幻引擎作為數(shù)字人的編輯器，下載地址為 https://www.unrealengine.com/zh-CN/download。其次要在虛幻引擎庫(kù)中下載 MetaHuman 插件。對(duì)于數(shù)字人驅(qū)動(dòng)還需要一臺(tái)XR級(jí)別以上的蘋果手機(jī)，下載 Live Link Face app。對(duì)于 AI 換臉，需要搭建 Python 環(huán)境，具體可按照如下地址搭建：https://github.com/s0md3v/roop。

數(shù)字人創(chuàng)建

首先打開虛幻引擎創(chuàng)建一個(gè)項(xiàng)目。本文使用的版本的UE5.0。

項(xiàng)目創(chuàng)建

之后導(dǎo)入一個(gè)立方體模型，模型下載地址為 https://www.aliyundrive.com/s/bpHH5zCqu33 (模型來(lái)自b站UP主修煉自我 https://space.bilibili.com/243808341)。然后選擇一張想做為虛擬人基底的照片導(dǎo)入到UE。本文選擇的是憨豆先生的照片。右鍵點(diǎn)擊基地照片選擇創(chuàng)建材質(zhì)。

材質(zhì)創(chuàng)建

然后雙擊立方體模型將生成好的材質(zhì)拖到材質(zhì)插槽中。

添加材質(zhì)

點(diǎn)擊上方編輯->插件，搜索 MetaHuman 插件并勾選。

添加 MetaHuman 插件

添加完插件之后在內(nèi)容瀏覽器中右鍵->MetaHuman->MetaHuman 本體。

創(chuàng)建 MetaHuman 本體

進(jìn)入 MetaHuman 本體插件之后，選擇網(wǎng)格體中的組件，將之前的立方體導(dǎo)入。之后移動(dòng)視角，把立方體的一面正對(duì)屏幕。接著依次點(diǎn)擊提升幀->追蹤活動(dòng)幀。結(jié)果如下：

模型關(guān)鍵點(diǎn)確認(rèn)

我們可以通過(guò)移動(dòng)綠色的點(diǎn)矯正人臉關(guān)鍵點(diǎn)。確認(rèn)關(guān)鍵點(diǎn)無(wú)誤之后點(diǎn)擊右側(cè)身體選擇一個(gè)合適的模版。最后選擇網(wǎng)格體轉(zhuǎn) MetaHuman 上傳模型到 MetaHuman Creator 進(jìn)行下一步操作。

上傳模型

上傳完畢后，進(jìn)入到 MetaHuman Creator (https://www.unrealengine.com/zh-CN/MetaHuman)。

MetaHuman Creator

可以看到左側(cè)有許多捏臉的設(shè)置，可以對(duì)我們的模型進(jìn)行微調(diào)。

模型微調(diào)

我們的模型在頭頂部分存在異常，原因可能是正面沒(méi)有對(duì)好，所以我們?cè)谧远x網(wǎng)格體選中頭頂調(diào)整區(qū)域影響，將頭頂恢復(fù)正常。

自定義網(wǎng)格體微調(diào)

當(dāng)模型調(diào)整完畢后重新返回虛幻引擎，點(diǎn)擊上方快速添加到項(xiàng)目->打開Quixel Bridge->下載模型

模型導(dǎo)入

模型下載

模型下載完畢之后點(diǎn)擊add添加到項(xiàng)目中，并重啟項(xiàng)目。之后將人物模型拖到場(chǎng)景中，模型的位置在 ALL/內(nèi)容/MetaHumans。

數(shù)字人驅(qū)動(dòng)

驅(qū)動(dòng)數(shù)字人的方式我們采用真人驅(qū)動(dòng)的方式，使用蘋果手機(jī)的攝像頭獲取臉部變形數(shù)據(jù)，通過(guò) Live Link Face 連接虛幻引擎和手機(jī)。首先我們打開 Live Link Face ，模式選擇 Live Link(ARKit)，進(jìn)入后點(diǎn)擊左上角設(shè)置，再點(diǎn)擊流送添加目標(biāo)，輸入電腦的IP地址。電腦和手機(jī)需要在同一個(gè)局域網(wǎng)內(nèi)。之后打開我們的虛幻引擎項(xiàng)目，點(diǎn)擊窗口 -> 虛擬制片 -> Live Link，添加我們的連接。

設(shè)置連接

勾選 Live Link

設(shè)置完 Live Link 以后，打開內(nèi)容瀏覽器->MetaHumans->Common->Face->Face_AnimBP 動(dòng)畫藍(lán)圖。之后點(diǎn)擊左下角的動(dòng)畫圖表，然后在選中 LLink Face Subj，將默認(rèn)值改為我們的 Live Link 連接。然后點(diǎn)擊左邊頭像的小圓點(diǎn)錄制我們的嘴形動(dòng)畫。錄制完畢后保存動(dòng)畫。

Face_AnimBP 動(dòng)畫藍(lán)圖

返回我們的世界主頁(yè)添加關(guān)卡序列。

添加關(guān)卡序列

點(diǎn)擊軌道->Actor到Sequencer->你的虛擬人。把虛擬人添加到關(guān)卡序列，然后刪除 Face 中的 Face_ControlBoard_CtrlRig。

關(guān)卡序列

然后點(diǎn)擊 Face 的+軌道->動(dòng)畫->錄制好的動(dòng)畫。添加完畢后，選擇將此影片渲染為視頻或圖像幀序列。我們選擇 JPG 格式圖像導(dǎo)出，如果使用 AVI 格式導(dǎo)出視頻會(huì)在 AI 換臉部分出現(xiàn)問(wèn)題。

添加動(dòng)畫

數(shù)字人虛擬制片導(dǎo)出

至此我們的數(shù)字人虛擬制片已經(jīng)完成。完成之后，發(fā)現(xiàn)自己捏的數(shù)字人太丑了，因此我決定再加一步換臉，讓我們的虛擬人變得更加生動(dòng)。

AI換臉

我們?cè)诿钚兄写蜷_下載好的 roop 的位置，通過(guò)命令 python run.py --execution-provider cuda 啟動(dòng) roop 的換臉界面。添加目標(biāo)選擇憨豆先生的一張照片，再選 target 添加我們生成的 JPG 文件夾，然后關(guān)閉 Keep audio，點(diǎn)擊 Start 生成換臉視頻。

roop 界面

圖片

憨豆先生換臉 最后我們就獲得了一個(gè)逼真的數(shù)字人虛擬制片。

參考文獻(xiàn)

https://github.com/s0md3v/roop https://www.bilibili.com/video/BV1vW4y1k73u/?spm_id_from=333.999.0.0&vd_source=5ac751b411e98660114949ea2d346aa3