訓練NeRF只需5秒?!英偉達這項新技術給谷歌研究員整不會了 | 開源
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
“這太瘋狂了!”
“18個月前,訓練NeRF需要5小時…”
“2個月前,訓練NeRF需要是5分鐘!”
“現在,訓練NeRF需要5秒!!??”
究竟發生了什么?竟讓谷歌研究科學家驚嘆至此。

(插播一下此前風靡的NeRF模型:伯克利&谷歌聯合打造,少數靜態圖生成3D逼真效果)
而且類似的評價還有很多~


介紹這項技術的博文也熱度非常,不到一天時間就收獲了上千贊。
原來,這是來自于英偉達的最新技術——基于多分辨率哈希編碼的即時神經圖形基元。
一只狐貍NeRF模型的只需要訓練5秒鐘!

而且不光訓練NeRF,該技術還在其他任務上也達到了驚人的訓練速度。
實現了幾個數量級的組合加速。
能夠在幾秒鐘內訓練高質量的神經圖形基元,并在幾十毫秒內渲染分辨率1920x1080的圖形。

單個GPU上實現多任務即時訓練
先來看效果。
有沒有種在實驗室的眩暈感,這是來自iPhone視頻訓練5分鐘的360度實時渲染效果~
還有想以34張真實照片重構的3D圖像~
除了NeRF之外嗎,還有三個神經圖形基元的實現。
Gigapixel Image
作者還友情提示,網絡是從頭開始訓練的,如果眨眼的話,可能會錯過它。
以全連接網絡為參數的神經圖形基元,訓練和評估成本較高。
本文使用了一種多功能的新輸入編碼來降低成本。
這種編碼允許在不犧牲質量的情況下使用更小的網絡,從而大大減少浮點數和內存訪問數量。

具體而言,一個小型神經網絡通過可訓練特征向量的多分辨率哈希表進行擴充。這些特征向量的值通過隨機梯度下降優化。
換句話說,這種編碼與任務無關。
研究團隊表示,他們在所有任務中都使用相同的案例和超參數,只改變了哈希表的大小。
目前該項目已開源,感興趣的旁友可戳下方鏈接~
GitHub鏈接:
https://github.com/NVlabs/instant-ngp
論文鏈接:
https://nvlabs.github.io/instant-ngp/assets/mueller2022instant.pdf
項目鏈接:
https://nvlabs.github.io/instant-ngp/