Meta的逼真數字人2.0再次進化，現在可以用iPhone生成了，只要拿出手機掃一掃！ 

早在2019年3月，Facebook就在活動上展示了第一代數字人形象（Codec Avatar 1.0）。第一代數字人是利用多重神經網絡，用 132 個攝像頭的專用捕獲裝置生成的。

一旦生成，在VR頭顯設備上的5個攝像頭。每只眼部提供兩個內部視角，臉部以下提供三個外部視角。 就像下面這樣。 

從那時開始，Facebook一直在不斷改進這些虛擬形象的逼真度，比如只需麥克風和眼球追蹤技術，就可以獲得更逼真的形象。最終在2020年8月進化為Codec Avatar 2.0版。 2.0版比1.0版最大的進步在于，攝像頭不再需要掃描跟蹤人臉，而是只要跟蹤眼球的運動就行了。 

新的神經網絡將VR頭顯的眼動追蹤數據與麥克風的音頻饋送相融合，推斷佩戴者可能的面部表情。 將聲音模型和眼動模型數據反饋至混合模型，再經過融合模型計算處理，由渲染器輸出Avatar形象。

今年5月，團隊更進一步宣布，2.0版的Avatar徹底達成了「完全逼真」的效果。 「我想說的是，未來十年的一個重大挑戰是，我們是否可以實現與面對面互動無法區分的遠程Avatar互動。」該項目負責人之一的 Sheikh 說。

看看上面的對比，a為真人照片，e為最終渲染生成的虛擬人，看起來好像沒有怎么吹牛？ 別急，上面這是實驗中的比對結果，實際上應用場景下，目前Meta虛擬人的形象是這樣的。

即使是最右邊「最逼真」的形象，還是卡通形象，這離「完全逼真」怕是還有點遠，不過Meta說的是十年，看看演示中的形象，這個目標實現的希望還是不小的。 

而且，虛擬人技術的進步，也不僅僅體現在逼真度一個方向，大可不必沿著一條路一直走，Meta也在嘗試著其他方向。 比如，摘掉VR頭顯？  

以前，生成一個單獨的Codec頭像需要帶一個名為「MUGSY」專門捕捉設備，上面有171個高分辨率攝像頭，就是上圖這個（密恐退散）。 

Meta現在說，不用帶這東西了，有個iPhone就行了！ 只要一臺帶正面深度傳感器的智能手機（比如帶FaceID功能的iPhone），直接掃一掃（確切地說，是好幾十掃），就能生成逼真的虛擬人頭像。 

首先保持面無表情，掃描一次，然后做出各種不同的表情，最多支持65種不同表情。 

Meta稱，用手機完成表情掃描，平均大概需要3-4分鐘。 當然這少不了算力的支持，最終生成的逼真虛擬人頭像，在一臺有四個高端GPU的機器上，大概需要6個小時。 當然，如果這個技術用在產品上，這些計算會交給云端GPU，無需用戶自己的算力資源。   

那么，為什么之前需要100來個攝像頭才能完成的事，現在只需一臺手機就可以做到了呢？ 秘訣就是一種叫做Hypernetwork的通用模型。 這是一種神經網絡，可以生成另一個神經網絡的權值。在上面的例子中，就是生成特定人的Codec Avatar.

研究人員通過掃描255個不同的人臉來訓練這個模型，使用的是一種先進的捕捉裝置，很像MUGSY，但是只有90個攝像頭。 

雖說別的研究人員已經展示過用智能手機掃描生成的人像了，而且Meta表示，生成的結果是SOTA級別的。 

然而，現在的系統還是不能應付眼鏡和長頭發。并且只能到頭，身體的其它部位還不行。 

當然了，Meta在達到這種保真度之前，還有很長的路要走。 現在Meta的人像都有種卡通風格。而那種逼真的感覺隨著時間的推移慢慢降低了。 現在這種形象可能更適合用Quest 2玩兒Horizon Worlds的群體。

然而，Codec Avatar可能最終只會是一個單獨的選項，而不是現在這種卡通風格的升級。 Meta的CEO扎克伯格是這么描述未來的：你可能會用一個充滿表現主義的人像玩兒平常的游戲，而用一個更逼真的人像來參加工作會議什么的。 

今年4月，負責Codec Avatar團隊的Yaser Sheikh表示，「現在來預測Codec Avatar還有多久能投入使用是不太可能的。」 不過，他明確表示，他認為項目是有很大進步的。