SIGGRAPH大會上，老黃帶著自家元宇宙產品再次大放光彩。

黃仁勛介紹，英偉達在神經圖形學、元宇宙、虛擬人（Avatars）推出的產品和研究，將成為引發(fā)圖形學的三大革命力量。

英偉達Omniverse ACE

8月9日，英偉達正式發(fā)布了一套基于云服務的AI模型——NVIDIA Omniverse Avatar Cloud Engine（ACE）。

英偉達副總裁Rev Lebaredian表示，ACE結合了相當多復雜的人工智能技術，開發(fā)者不僅可以更容易地構建和定制栩栩如生的虛擬助手，而且這些數(shù)字人甚至還有可能通過圖靈測試。

ACE建立在英偉達的統(tǒng)一計算框架之上，該框架提供了對豐富的軟件工具和API的訪問，從而利用高度逼真且可以進行互動的化身所需的各種技能。

這些工具包括用于開發(fā)語音AI應用的Riva、用于計算機視覺和智能視頻分析的Metropolis、用于高性能推薦系統(tǒng)的Merli、用于自然語言理解的大型語言模型的NeMo Megatron，以及用于AI動畫的Omniverse。

從骨架和肌肉開始構建化身

Omniverse重大升級

自Omniverse發(fā)布以來，已經有近20萬次下載量。今天，英偉達發(fā)布了Omniverse的最新版本。

黃仁勛將Omniverse稱為「一個USD平臺」，「一個用于構建元宇宙應用程序的工具包」，以及「一個運行虛擬世界的計算機引擎」。

最新的版本包含了幾個升級的核心技術，以及連接到更多到流行工具。

其中的升級就包括，物理加速引擎PhysX現(xiàn)在支持軟體和粒子布模擬，大幅提升虛擬世界物理準確性。

開源的材質定義語言（MDL）能夠模擬物理精確材料，并支持圖形API標準，如OpenGL或Vulkan。

Omniverse還將包括英偉達研究開發(fā)的結合RTX圖形和AI的神經圖形功能，比如：

1. Animal Modelers 讓藝術家可以迭代動物的形式與點云，然后自動生成一個3D 網格
2. GauGAN下一個進化版本：GauGAN360，可以生8K，360度全景圖
3. Instant NeRF：從2D圖像創(chuàng)建3D對象和場景

最新版本的Audio2Face，不僅可以完全根據(jù)聲音創(chuàng)建面部動畫，而且還能隨著時間的推移引導化身的情緒。

也就是說，創(chuàng)作者可以輕松地融合關鍵情緒，如喜悅、驚奇、憤怒和悲傷。

在未來版本的Audio2Face中，開發(fā)者可以只用一張照片創(chuàng)建化身，自動應用紋理并生成可用于動畫的3D網格。

利用高保真的肌肉運動模擬技術，AI可以通過觀看視頻學習ーー甚至是對虛擬梳理作出預期反應的栩栩如生的頭發(fā)。

英偉達Vid2Vid Cameo可以利用人工智能從任何標準的2D視頻中捕捉人物的面部動作和表情。

該模型基于生成性對抗網絡（GAN），映射面部運動以捕捉實時運動，并將該運動傳遞給虛擬角色。

這一神經網絡進行了18萬段視頻的訓練，學會了識別20個關鍵點來模擬面部運動ーー對眼睛、嘴巴、鼻子、眉毛等部位進行編碼。

如下， 它可以將愛倫 · 坡《十四行詩》的表演轉移到藝術家Gary Kelley的人物肖像上。

另外，Omniverse擴展機器學習框架Modulus，允許開發(fā)人員使用AI來加速現(xiàn)實世界物理模擬高10萬倍，讓元宇宙看起來和感覺上都像物理世界。

全新神經圖形SDK來了

要知道，元宇宙的一個重要支柱是神經圖形學。

神經圖形將人工智能和圖形交織在一起，為未來適合從數(shù)據(jù)中學習的繪圖管道鋪平了道路。神經圖形將重新定義用戶如何創(chuàng)建、模擬和體驗虛擬世界。

人工智能將幫助藝術家們創(chuàng)造出創(chuàng)造元宇宙所需的大量3D內容。例如，他們可以使用神經圖形來快速捕捉物理世界中的對象和行為。

在此，英偉達在今年推出的從2D圖像創(chuàng)建3D圖像的工具Instant NeRF便可以做到這點。同時，這篇論文還獲得了2022 SIGGRAPH的最佳論文獎之一。

就比如，設計師和研究人員應用神經圖形和其他技術便創(chuàng)建了一個高嶺土小精靈（Kaolin Wisp），這是一套用幾行代碼就可以創(chuàng)建神經場的工具。

除了Kaolin Wisp，英偉達還宣布了NeuralVDB，一個對行業(yè)標準OpenVDB的突破性升級，能夠加速實時渲染和模擬。

NeuralVDB使用神經模型和GPU優(yōu)化可以顯著降低內存占有率，這樣用戶就可以實時地與極其龐大和復雜的數(shù)據(jù)集進行交互，并有效地共享它們。在SIGGRAPH特別演講中，黃仁勛還提到了，

「人工智能和計算機圖形學技術的結合將推動元宇宙，即互聯(lián)網的下一次演變。」

它將成為連接虛擬世界和數(shù)字孿生世界的家園，一個既可以工作又可以玩耍的地方。而且，它將充滿活力，將成為最受歡迎的機器人形式之一：數(shù)字化人化身。

未來，我們將會有數(shù)十億的虛擬化身，我們與虛擬化身的互動就像與另一個人交談一樣自由。

經過Omniverse的設計、訓練和操作，他們將在數(shù)字工廠工作，玩在線游戲，并為電子零售商提供客戶服務等等。

數(shù)字人類和虛擬化身需要自然語言處理、計算機視覺、復雜的面部和身體動畫等等技術的加持。

為了讓其能夠與人類一樣自然地移動和說話，可以說這套復雜的技術必須與毫秒同步。

英偉達的目標就是簡化和加速Omniverse阿凡達云引擎（ACE），這是一項艱巨的工作。