作為構(gòu)建元宇宙內(nèi)容的基石，數(shù)字人是最早可落地且可持續(xù)發(fā)展的元宇宙細(xì)分成熟場景，目前，虛擬偶像、電商帶貨、電視主持、虛擬主播等商業(yè)應(yīng)用已被大眾認(rèn)可。在元宇宙世界中，最核心的內(nèi)容之一非數(shù)字人莫屬，因?yàn)閿?shù)字人不光是真實(shí)世界人類在元宇宙中的“化身”，也是我們在元宇宙中進(jìn)行各種交互的重要載具之一。
眾所周知，創(chuàng)建和渲染逼真的數(shù)字人類角色是計(jì)算機(jī)圖形學(xué)中最困難的問題之一。近日，在由51CTO主辦的MetaCon元宇宙技術(shù)大會(huì)《游戲與AI交互》分會(huì)場中，Unity大中華區(qū)平臺(tái)技術(shù)總監(jiān)楊棟通過一系列的Demo演示，在《Unity數(shù)字人技術(shù)—開啟元宇宙之旅》的主題分享中詳細(xì)介紹了Unity高清渲染管線技術(shù)。
一、Unity介紹
Unity目前在世界范圍內(nèi)是支持最多的計(jì)算平臺(tái)，現(xiàn)在支持將近30個(gè)計(jì)算平臺(tái)，包括PC、Mac、Linux、iOS、安卓、Switch、PlayStation、Xbox以及所有的AR/VR、MMAT這些設(shè)備。如果是制作三維互動(dòng)式內(nèi)容，Unity目前來講確實(shí)是最好的一個(gè)選擇。我們知道高畫質(zhì)渲染，在一些配備獨(dú)立顯卡的機(jī)器上去渲染高畫質(zhì)的內(nèi)容，現(xiàn)在所說的寫實(shí)類的數(shù)字人的技術(shù)是要依托高畫質(zhì)渲染技術(shù)的。
目前Unity中國團(tuán)隊(duì)擁有300多名全職員工，全世界將近7000人，70%以上是工程師。總部在上海，在北京跟廣州都有辦公室，也有相應(yīng)的員工在那里辦公。
二、Unity引擎的強(qiáng)大之處在哪些方面？
目前Unity雖然不是一個(gè)開元的引擎，但模塊是高可定制化的。
圖中是Unity目前支持的平臺(tái)，可以在這些圖標(biāo)上找到最常見的一些平臺(tái)。這些可能是這些年最火的一些游戲，這些圖標(biāo)有些比較熟悉，像王者榮耀、CALL DUTY、英雄聯(lián)盟、原神、糖豆人、閃耀暖暖……。實(shí)際上在國內(nèi)、國外全球的安卓及iOS榜單上，前1000位最賺錢的游戲，70%以上都是由Unity創(chuàng)作的。超過一半的switch游戲都是由Unity制作的。大家可能無法相信一款高畫質(zhì)看起來非常復(fù)雜的游戲，而且是在Xbox上首發(fā)的爆款游戲竟然是一個(gè)人開發(fā)的，充分說明Unity引擎的靈活性、工具鏈的強(qiáng)大之處。
Unity在向性能高效的方向進(jìn)行發(fā)展，分別說明一下三個(gè)主要的dots系統(tǒng)的組件，C#Job System、ECS、Burst Compiler。C#Job System實(shí)際上是可以讓開發(fā)的游戲或者應(yīng)用去充分利用綜合CPU的并發(fā)運(yùn)算的算力，因?yàn)楝F(xiàn)在面向?qū)ο蟮木幊赡Ｊ绞侵谱鞯膬?nèi)容，是運(yùn)行在主線程上面。第二個(gè)是Entity Component System（ECS），通過Entity Component System可以把數(shù)據(jù)跟系統(tǒng)，也就是游戲邏輯進(jìn)行分離，更易于維護(hù)，對于內(nèi)存上的使用也更友好。Burst Compiler可以針對目標(biāo)平臺(tái)去生成運(yùn)行運(yùn)行更高的機(jī)器碼。
另外一方面，高畫質(zhì)也是Unity非常好的特征。如果僅僅說要去使用很貴的PC或者是Xbox、Play station很貴的機(jī)器才能渲染精美的畫面的話，實(shí)際上游戲的通用性就太差了。Unity通過XRP，就是所謂的可變量渲染管線，為大家做了兩套開箱即用的渲染管線，一套是通用渲染管線URP，第二套是HDRP（高清渲染管線）。顧名思義，URP所謂的通用渲染管線就是所有的平臺(tái)都是支持的，不管是開發(fā)VR游戲、AR游戲還是像移動(dòng)端的游戲，都是可以用URP來進(jìn)行渲染方面的工作。HDRP是指PC mac Linux、Xbox1跟basestation4及以上的這些平臺(tái)，它也支持實(shí)時(shí)光線追蹤。
三、高清渲染管線如何實(shí)現(xiàn)數(shù)字人的高畫質(zhì)渲染？
《異教徒》數(shù)字人實(shí)際上并不是Unity制作的第一個(gè)數(shù)字人，但是《異教徒》這個(gè)數(shù)字人有它的獨(dú)特之處，因?yàn)檫@個(gè)數(shù)字人是非常逼真的，而且是形成了一套完整的工作流。要想實(shí)現(xiàn)像《異教徒》的高畫質(zhì)渲染，高清渲染管線是必不可少的。
《異教徒》這個(gè)數(shù)字人實(shí)際上是有原型的，他是英國在倫敦的一個(gè)戲劇演員，叫Jack，通過掃描他的數(shù)據(jù)，這是他全身的數(shù)據(jù)，重點(diǎn)需要掃描他的頭部數(shù)據(jù)，然后做成了整個(gè)數(shù)字人，表情是非常逼真的，使用到的是一個(gè)4D的Volumetric Video的技術(shù)來制作表情動(dòng)畫，其實(shí)用這種技術(shù)雖然可以制作非常逼真的表情，但是它也有一個(gè)缺陷，就是并不能進(jìn)行實(shí)時(shí)的驅(qū)動(dòng)，它可以做影視類的角色表情動(dòng)畫是沒有問題的，卻無法做到實(shí)時(shí)地驅(qū)動(dòng)。
在一些成功的案例中，可以看看眼睛的渲染和皮膚渲染，我們分別來看一下。
為了提升皮膚的質(zhì)量，加入了以下幾項(xiàng)技術(shù)，Detail Map是細(xì)節(jié)貼圖。Secondary Specular Lobe是第二層的高光，Cavity Specular Occlusion是指凹陷處，可以遮蔽掉高光，Screen Space Subsurface Scattering指屏幕空間的次表面散射。
第一個(gè)細(xì)節(jié)貼圖主要是用于模擬皮膚表面的細(xì)節(jié)等紋理，這張紋理并不大，是1K的紋理。
第二層高光Secondary Specular Lobe，它是用于模擬皮膚表面的油脂層，因?yàn)槠つw要出油，甚至皮膚看上去干巴巴的，所以需要用這個(gè)方式來增加一個(gè)第二層的高光。
第三個(gè)是凹陷高光，是為了遮蔽凹陷中央的高光。在加了第二層高光以后，皮膚凹陷的地方也出現(xiàn)高光，顯然是不真實(shí)的，需要把它的高光遮蔽掉，凹陷處不出現(xiàn)高光。
第四個(gè)是屏幕空間的次表面散射，用于制作皮膚本身的效果。我們知道皮膚本身是有一個(gè)所謂的3S效果，這就是所謂的次表面散射效果。皮膚顯然是需要用到次表面散射的，但是傳統(tǒng)的當(dāng)我們用MAYA或3Dmax這樣的離線渲染的軟件去模擬這個(gè)皮膚的時(shí)候，如果是渲染次表面散射的效果是非常耗時(shí)的。在Unity，實(shí)際上有兩種渲染次表面散射效果的技術(shù)。第一個(gè)是Screen Space Subsurface Scattering的技術(shù)，它渲染得比較快，第二種是通過光飛的方式，顯然光飛的方式更真實(shí)。
這個(gè)角色是《發(fā)條樂師》短片里面的小女孩的角色，小女孩的這個(gè)角色也是用到了屏幕空間的次表面散射的效果。右邊的樹葉，其實(shí)也是用到了次表面散射的效果。
接下來說說針對眼睛的渲染。實(shí)際上眼睛是一個(gè)非常復(fù)雜的物體，它由很多部分組成，在實(shí)時(shí)渲染里面去模擬真實(shí)的眼球，模擬4個(gè)部分：角膜、瞳孔、虹膜、鞏膜，就已經(jīng)能夠獲得非常真實(shí)的效果。
如圖所示，我們的眼球本身是一個(gè)非常復(fù)雜的物體，正面看跟側(cè)面看實(shí)際上是有區(qū)別的，特別是虹膜視角折射現(xiàn)象，如果是正常地去渲染，這張圖是非常有名的GDC上的數(shù)字人的角色。
數(shù)字人眼球?qū)嶋H上是按照真實(shí)的眼球的形狀來建模的，它會(huì)有一些特殊的涂色器來表現(xiàn)這個(gè)眼球的各個(gè)參數(shù)。包括它的反射，鞏膜跟虹膜上的法線貼圖，分別應(yīng)用不同的法線的數(shù)值能夠呈現(xiàn)的效果，甚至也做了眼瞼的遮擋，通過一個(gè)單獨(dú)的控制器來進(jìn)行控制，就可以控制眼瞼的效果。
總結(jié)一下，通過真人的掃描數(shù)據(jù)，經(jīng)過blend shape、Wrinkle Map、Colour Map、Facial Rigging的方式進(jìn)行表情制作，用控制器來驅(qū)動(dòng)這個(gè)表情。當(dāng)然我們也知道有很多其它的方式可以來驅(qū)動(dòng)這個(gè)表情，其實(shí)當(dāng)我們?nèi)ヤ秩酒つw、眼睛或者是毛發(fā)的時(shí)候，相對來說是比較容易的，但是表情驅(qū)動(dòng)實(shí)際上是一個(gè)非常大的難點(diǎn)。
經(jīng)常會(huì)聽到開發(fā)者說使用的Unity為什么做不出來Unity能夠做的效果？因?yàn)閁nity呈現(xiàn)的demo的效果都是由一群人通過很大的精力打造出來的，而且他們所用的技術(shù)在他們制作這個(gè)版本里面其實(shí)還沒有，做完這個(gè)demo，有了這些技術(shù)之后，會(huì)慢慢合到下個(gè)版本里，最終形成所有人都能使用的一個(gè)功能版本。
四、數(shù)字人制作過程是怎么樣的？
在做完《異教徒》以后，Unity中國團(tuán)隊(duì)實(shí)際上也做了一個(gè)自己的數(shù)字人，應(yīng)用《異教徒》的技術(shù)，坐姿4D掃描等技術(shù)。
這是一個(gè)實(shí)際的項(xiàng)目，過程實(shí)際上跟《異教徒》的過程是一模一樣的。包括做數(shù)據(jù)的清理，做相應(yīng)的blend shape，做Wrinkle Map，做Rig，然后驅(qū)動(dòng)表情，在ASSETStore里的控制器，用Animation Clip、用BlendShape的方式來呈現(xiàn)表情動(dòng)畫。當(dāng)然了面部捕捉實(shí)際上有更多的方式，比如說用Market來跟蹤，用ARKit來跟蹤，用圖像數(shù)據(jù)驅(qū)動(dòng)。
在做實(shí)際開發(fā)的時(shí)候，用相機(jī)捕捉表情來做人頭的表情的測試，還有另外一種方式，用圖像數(shù)據(jù)驅(qū)動(dòng)。有一個(gè)非常巨大的區(qū)別就是她有一頭飄逸的長發(fā)，這個(gè)飄逸的長發(fā)是Unity中國團(tuán)隊(duì)自己研發(fā)的一個(gè)解決方案，它是適合于URP、HDRP，既適用于通用的渲染管線，也適用于高畫質(zhì)的渲染管線來制作頭發(fā)。頭發(fā)的渲染跟傳統(tǒng)的插片式的方式是很不一樣的，是可以非常柔順的，甚至感覺像海飛絲廣告的效果。表情實(shí)際上是通過AR cade來實(shí)時(shí)驅(qū)動(dòng)的，當(dāng)然用AR cade來驅(qū)動(dòng)表情。
Unity的一個(gè)數(shù)字人叫艾瑪，這個(gè)數(shù)字人的表情是完全用Ziva Dynamics的技術(shù)來動(dòng)態(tài)驅(qū)動(dòng)的，核心技術(shù)實(shí)際上是去模擬模型下面或者是生物皮膚下面的這些肌肉群，既可以去模擬恐龍真實(shí)的身體肌肉的移動(dòng)，也可以把這套技術(shù)應(yīng)用到比如說非常逼真的數(shù)字人臉部表情動(dòng)作的模擬。傳統(tǒng)來講一個(gè)模型就是一個(gè)空殼，它外面就是一層殼，但是在Ziva Dynamics的技術(shù)里，后面實(shí)際上是有真實(shí)的基于解剖學(xué)的肌肉在那里，當(dāng)真實(shí)地移動(dòng)這些肌肉的時(shí)候，外面的這些皮就可以比傳統(tǒng)的用blend shape或者是用骨骼綁定的方式獲得另一個(gè)或者是更高層次的真實(shí)感。
今年3月份，Unity在GDC上發(fā)布的《Enemies》的最新數(shù)字人的預(yù)告片，這個(gè)數(shù)字人的表情是非常非常真實(shí)的。值得一提的是她的頭發(fā)是一套Unity即將公開的毛皮渲染技術(shù)，應(yīng)用于HDRP高清渲染管線的一套毛發(fā)。
歡迎查看MetaCon元宇宙技術(shù)大會(huì)官網(wǎng)，了解更多元宇宙和數(shù)字人相關(guān)內(nèi)容信息。地址：https://metacon.51cto.com/
