人工智能正在改變世界，圖形計算這塊也不例外。

五年前，英偉達推出了DLSS技術，通過每個GeForce RTX GPU中的Tensor Core實現神經渲染來提高性能，在圖形領域帶來了速度更快、圖像質量更高的圖形處理革命。

圖片

從那時起，DLSS背后的Al模型就在不斷學習新的功能，如「幀生成」（Frame Generation），不僅將渲染速度提高了4倍，還獲得了出色的圖像質量。

圖片

今天，英偉達推出了NVIDIA DLSS 3.5，再次推動了渲染技術的發展。

這是一種全新的AI模型，采用了光線重建（Ray Reconstruction）技術，能為密集型光追游戲和應用程序，創建更高質量的光追圖像。

而且，因為DLSS 3.5之中的光線重建技術本身不依賴硬件，所以老的RTX系列的顯卡也能享受到這項技術升級。

不得不說黃老板還是厚道呀。

舉個栗子，RTX 4060可以享受到目前DLSS技術中的「SR+FG+RR」；RTX 2060可以享受到「SR+RR」。

那我們現在就再來看看光線重構（RR）技術的原理具體是什么樣的。

工作原理

為了了解光線重建的好處，我們需要了解光線追蹤圖像的原理。

光線追蹤是一種圖形渲染方法，可以模擬光線的物理行為。

首先，游戲引擎生成了場景的幾何形狀和材質，它們都具有物理屬性，會影響它們的外觀以及光線與它們的交互方式。

從攝像機的視角來拍攝光線樣本，能夠確定場景中光源的屬性以及光線照射到材料上時的反應。例如，如果光線照射到鏡子上，就會產生反射。

但如果為屏幕上的每個像素發射光線，在計算上就太過耗時。

即使是對需要數分鐘或數小時計算場景的離線渲染器來說，也是如此。

因此，必須使用光線樣本，即能在場景的各個點發射少量光線，以獲取場景光照、反射和陰影的代表性樣本。

圖片

它可以輸出一個帶有噪點和空白間隙的圖像，來確定在光線追蹤時場景應該如何呈現。

為了填補未經光線追蹤的缺失像素，手動調整的降噪器使用了兩種不同的方法：

一種是在時間上累積多個幀的像素，另一種是在空間上進行插值，將相鄰像素混合在一起。

通過這一過程，嘈雜的原始輸出被轉換成光線追蹤圖像。

這些手動調整的降噪器，需要為場景中每種類型的光線追蹤光照進行人工調整和處理。

這增加了開發過程中的復雜性，也提高了成本。

在高度光線追蹤的游戲中，如果讓多個降噪器同時運行以最大化圖像質量，還會降低幀率。

每個手動調整的降噪器，會從多個幀中積累像素以增加細節，這實際上是從過去「竊取」了光線。

但是，這樣做也有可能會引入重影、消除動態效果，或者降低其他效果的質量。

它還能插入相鄰像素，并將這些信息混合在一起。

但這樣做的風險可能會導致混合掉過多的詳細信息，或者混合不足，產生不均勻的光照效果。

圖片

升頻是光線追蹤照明流水線的最后一個階段，也是在快速幀速率下體驗最精細、要求最高的游戲的關鍵。

但是由于降噪處理會移除或減少效果的質量，手動調整的降噪器的局限性會被放大，這會削弱許多細節（也稱為高頻信息）。

而這些細節，是就超分辨率技術用來輸出清晰、干凈圖像的關鍵。

圖片

為此，英偉達提出的解決方案，就是DLSS 3.5。

他們的最大創新在于光線重建，這是一個增強版AI驅動的神經渲染器，用經過NVIDIA超算訓練的AI網絡，替代了手動調整的降噪器。

這樣就在采樣的光線之間生成了更高質量的像素，從而提高了所有GeForce RTX GPU的光追圖像質量。

圖片

DLSS 3.5的訓練數據比DLSS 3多了5倍，因此它能夠識別不同的光追效果，以更智能的方式決定如何使用時間和空間數據，并保留高頻信息，從而實現優質超分辨率。

圖片

離線渲染圖像所需的計算能力遠高于實時游戲所需的計算能力，而光線重構技術可從訓練數據中識別光照模式，如全局光照或環境遮擋，并在游戲中邊玩邊重現。

這個結果優于使用手動調整的降噪器。

圖片

在支持RTX的《傳送門》中，當DLSS關閉時，降噪器在空間插值方面會出現問題，無法混合足夠的像素，從而產生斑點效果。

此外，它也沒有從以前的幀中積累足夠的好像素，導致在光線下會出現沸騰效果。

有了DLSS 3.5后，它就能識別與反射相關的某些模式，并保持圖像穩定，積累精確像素、同時混合相鄰像素，生成高質量的反射效果。

圖片

在以下《賽博朋克2077》的場景中，圍繞汽車的車頭燈照明效果不準確。這是由于手動調整的降噪器從之前幀中提取了不準確的光照效果。

而DLSS 3.5能夠準確生成光照效果。我們不僅可以清楚地看到車頭燈的光束，還能夠看到光線在汽車前方路緣上的反射。

圖片

《賽博朋克2077》中的夜之城街道上充滿了來自旋轉廣告牌和霓虹燈的反射。

通過啟用DLSS 3.5，這些反射的質量和清晰度會在整個城市范圍內得到極大的提升。

圖片

另外，各種創意應用對傳統降噪器來說也是一個挑戰。因為它們需要根據每個場景進行手動調整，所以在預覽內容時，圖像質量會不夠理想。

而有了DLSS 3.5，AI神經網絡就能夠識別各種各樣的場景，在預覽和最終渲染之前生成高質量的圖像。

此外，D5 Render是一個面向建筑師和設計師的先進應用程序，它將于今年秋季與DLSS 3.5一同推出。

圖片

得益于RTX技術，現在我們在PC或筆記本上就能擁有兩臺計算機的動力。

第一臺是英偉達超算，它用數十億個數據點對DLSS AI模型進行訓練，以提升性能和圖像質量。

第二臺就是GeForce RTX顯卡，它專用的張量核心可以實時運行AI模型，而專門的RT核心、創新技術（如著色器執行重排序）以及每個RTX GPU的強大性能，都保證了一流的光追效果。

圖片

在《賽博朋克2077》中，超頻模式提供的全光追效果離不開AI的支持。

DLSS超分辨率（SR）能夠從較低分辨率的輸入中重建4K圖像，帶來顯著的性能提升和出色的圖像質量。

另外，英偉達還在GeForce RTX 40系列GPU上啟用了DLSS幀生成（FG），它可以分析連續幀來創建額外幀，從而進一步提高流暢度。

因此，即使是在要求最苛刻、動作最密集的時刻，也能進一步提高性能。

NVIDIA DLSS 3.5還通過用光線重建替代了多個手動調整的降噪器，進一步提升了光追效果的圖像質量。

圖片

通過結合超分辨率、幀生成和光線重建，與原生4K DLSS關閉渲染相比，DLSS 3.5將《賽博朋克2077》的幀率提高了5倍。

需要注意的是，具有多個光追效果的游戲可能有多個降噪器，而這些降噪器將被單一的光線重建神經網絡所取代。

在這種情況下，光線重建也可以提供性能提升。對于光追較少、降噪器較少的游戲，光線重建可以提高圖像質量，但可能會略微降低性能。

GeForce RTX 40系列用戶可以將超分辨率和幀生成與光線重建相結合，從而獲得令人驚嘆的性能和圖像質量。

而GeForce RTX 20和30系列用戶，則可以在超分辨率和DLAA的基礎上，將光線重建添加到AI強化工具中。

光線重建是開發人員提高光追游戲圖像質量的新選擇，也是DLSS 3.5的一部分。

采用DLSS 3.5的光柵化游戲，還包括我們最新超分辨率和DLAA更新，但由于缺乏光追效果，它們從光線重建中受益。

圖片

今年秋天，這些游戲就支持DLSS 3.5了

NVIDIA DLSS 3.5將于今年秋季在以下游戲和軟件中推出——

《艾倫·沃克2》、《賽博朋克2077：自由幻影》、《傳送門》、Chaos Vantage、D5 Render和NVIDIA Omniverse。

圖片

參考資料：

https://blogs.nvidia.com/blog/2023/08/22/dlss-ai-rtx-remix-half-life-d5-render-chaos-vantage/