神經渲染與AI生成框架結合,五倍提升游戲速度,英偉達是這樣做的
此前,在一場直播活動中,英偉達 CEO 黃仁勛宣布推出 DLSS 3。DLSS 全名為 Deep Learning Super Sampling,它是英偉達發布的深度學習超級采樣技術,其擁有開創性的光學多幀生成功能,其為游戲提供了不可或缺的三要素:提高幀率、最大限度地提升響應速度和改善圖像質量。
在一系列游戲和引擎中,與傳統渲染相比,DLSS 3 有助于將 GeForce RTX 40 系列的性能翻倍提高:
與此同時,英偉達副總裁 Bryan Catanzaro 也曾在 Twitter 上宣稱:「神經渲染在 Ada 架構的 DLSS 3.0 加持下邁出了非常重要的一步!除了 DL 驅動的超分辨率,它還使用光流、運動矢量和 DL 來生成整個幀。DLSS 3 渲染的 8 個像素中有 7 個是來自神經渲染的。」這足以將渲染速度提高 5 倍。
盡管這項了不起的技術目前僅限用于幾十款 3D 游戲,但神經渲染很快就會帶來收益。這項技術將釋放日常消費電子產品的新潛力。
在多數情況下,DLSS 3 在 4K 分辨率下比傳統渲染技術性能提高兩到三倍。雖然英偉達目前處于領先地位,但它也有競爭對手,比如英特爾 AI 驅動的高端軟件 XeSS (Xe Super Sampling),以及 AMD 的 RDNA 3 圖形架構。
游戲引領了神經渲染的浪潮,因為它們非常適合使用機器學習技術。谷歌高級研究員 Jon Barron 表示:「只看圖像的小 patch,試圖猜出圖像缺失了什么,這非常適合機器來學習。機器善于識別幀之間的相似性,包括那些幀率高到足以掩蓋運動中的微小錯誤。」
不過 DLSS 3 也存在不完美的地方,其在場景轉換方面存在缺陷。但是 Barron 和 Catanzaro 認為在神經渲染模型中通過添加訓練數據可以彌補這一缺陷。
英特爾圖形研究副總裁 Anton Kaplanyan 認為,未來神經渲染技術會讓 3D 內容創作變得更加觸手可及。不難看出,現在的社交網絡已經逐漸商品化了,人們只需點擊一個按鈕,拍一張照片,就可與親朋好友分享。如果我們想把這種體驗提升到 3D,我們就需要吸引那些不懂專業工具的人成為內容創造者。
2023 年,3D 神經渲染的改進速度關乎其未來的發展。但與傳統渲染相比,研究者缺少更多的經驗。Barron 指出:「計算機圖形學很神奇,它的工作效果非常好,我們有很多方法來解決問題,而這些方法可能永遠適用。」
接下來的問題是,圖形行業會在何時接受 3D 神經渲染作為一種替代方案。這種過渡可能是令人擔憂的,因為押注錯誤技術或錯誤架構的代價可不小。
盡管如此,Catanzaro 相信 3D 神經渲染已經勢不可擋。他說:「我們將會看到許多更加不同凡響的神經渲染技術。這些技術有的能夠做陰影、折射和反射,將來我們會考慮那些比 DLSS 更強的神經渲染方法,我認為未來的圖形領域將會是多種方法并行的。」
神經渲染最大的好處是效率
神經渲染的魅力不僅在于它潛在的性能,還在于它潛在的效率。DLSS 3 通過 RTX 在 Portal 游戲中提供的 530% 增益可以提高幀速率——或者通過將幀速率限制在一個目標內來降低功耗。如此一來,DLSS 3 可以減少呈現每一幀的成本。
英偉達 DLSS 3
這可不容小覷,因為消費電子領域面臨著一個重要問題,即摩爾定律大勢已去,就算沒有,也只是茍延殘喘罷了。Catanzaro 說道:「正如你所知道的,摩爾定律已經失去了勢頭,我個人認為后摩爾圖像就是神經圖像。對于英偉達來說,神經渲染已然成為一種具有代表性的方法,它不需要成倍增加晶體管數量就可以為公司帶來巨大收益。」
然而,英特爾的 Kaplanyan 并不認為摩爾定律會消亡,但他也贊同神經渲染可以提高效率。他說:「芯片的大小可以解決,我同意我們有著大好的機會,可以通過機器學習算法,更有效地利用這種能量和這一領域,產生新的視覺效果。」
AMD、英偉達和英特爾這三家公司都與設備制造商合作,來設計新的消費筆記本電腦和平板電腦,于是效率便成為了三家公司的必爭之地。對于設備制造商來說,效率提高帶來了更薄、更輕、電池續航時間更長的設備,同時也提升了用戶使用設備的功能。
顯然,2023 年將是消費設備中神經渲染的奠基年。支持 DLSS 3 的英偉達 RTX 40 系列將推出多種臺式電腦和筆記本電腦;英特爾預計將擴展其 Arc 圖形線與即將到來的 Battlemage 架構;AMD 將推出更多使用 RDNA 3 架構的變體產品。
這些產品的發布為圖形革命奠定了基礎。當然,這不是一蹴而就的,需要花些功夫——但隨著消費者對視覺效果和內容創造的要求越來越高,通過更小、更薄的創新,神經渲染可能是最好的交付方式。