什么，你還不知道NeRF？ 

作為今年計算機(jī)視覺領(lǐng)域最火的AI技術(shù)，NeRF可謂是應(yīng)用廣泛，前景一片大好。 

B站上的小伙伴可算是把這項技術(shù)玩出了新花樣。 

拋磚引玉

那么，究竟NeRF是什么？ 

NeRF（Neural Radiance Fields）是最早在2020年ECCV會議上的最佳論文中提出的概念，其將隱式表達(dá)推上了一個新的高度，僅用2D的posed images作為監(jiān)督，即可表示復(fù)雜的三維場景。 

一石激起千層浪，自此之后NeRF迅速發(fā)展起來被應(yīng)用到多個技術(shù)方向，如「新視點(diǎn)合成、三維重建」等。 

NeRF其輸入稀疏的多角度帶pose的圖像訓(xùn)練得到一個神經(jīng)輻射場模型，根據(jù)這個模型可以渲染出任意視角下的清晰的照片，如下圖所示。也可以簡要概括為用一個MLP去隱式地學(xué)習(xí)一個三維場景。 

網(wǎng)友自然而然地也會將NeRF與同樣大受追捧的Deepfake做個比較。 

最近MetaPhysics發(fā)布的一篇文章就盤點(diǎn)了NeRF的進(jìn)化史、面臨的挑戰(zhàn)和優(yōu)勢，并預(yù)測NeRF最終將取代Deepfake。 

大部分有關(guān)deepfake技術(shù)引人注目的話題，是指自17年deepfakes進(jìn)入大眾視野后開始流行的兩個開源軟件包：DeepFaceLab (DFL) 和FaceSwap。 

盡管這兩個軟件包都擁有廣泛的用戶群和活躍的開發(fā)者社區(qū)，但這兩個項目與GitHub代碼都沒有明顯的偏離。 

當(dāng)然，DFL和FaceSwap的開發(fā)人員并沒有閑著：現(xiàn)在可以使用更大的輸入圖像來訓(xùn)練deepfake模型，盡管這需要更昂貴的GPU。 

但其實在過去的三年里，媒體鼓吹的deepfake圖像質(zhì)量提升主要還是得歸功于終端用戶。 

他們在數(shù)據(jù)收集方面積累了「省時而難得」的經(jīng)驗，以及訓(xùn)練模型的最佳方法（有時單次實驗就需要幾周時間），并且學(xué)會如何利用和擴(kuò)展原始2017代碼的最外層限制。 

VFX和ML研究社區(qū)中的一些人正試圖通過擴(kuò)展架構(gòu)來突破流行的deepfake包的「硬限制」，以便機(jī)器學(xué)習(xí)模型可以在高達(dá)1024×1024的圖像上進(jìn)行訓(xùn)練。 

其像素是DeepFaceLab或FaceSwap當(dāng)前實際范圍的兩倍，更接近于電影和電視制作中有用的分辨率。 

接下來讓我們一起了解一下NeRF吧~ 

揭開面紗 

NeRF（Neural Radiance Fields），它出現(xiàn)于2020年，是一種通過在神經(jīng)網(wǎng)絡(luò)內(nèi)拼接多個視點(diǎn)照片實現(xiàn)重建物體和環(huán)境的方法。 

它通過使用稀疏的輸入視圖集優(yōu)化底層連續(xù)的體積場景函數(shù)，實現(xiàn)了綜合復(fù)雜場景視圖的最好結(jié)果。 

該算法還使用全連接深度網(wǎng)絡(luò)表示一個場景，其輸入是單個連續(xù)的5D坐標(biāo)（空間位置(x, y, z)和觀看方向(θ， φ)），其輸出是該空間位置的體積密度和相關(guān)的發(fā)射幅亮度。 

通過沿著相機(jī)光線查詢5D坐標(biāo)來合成視圖，并使用經(jīng)典的體繪制技術(shù)（volume rendering）將輸出的顏色和密度投影到圖像中。 

實現(xiàn)過程： 

首先將一個連續(xù)的場景表示為一個5D向量值函數(shù)，其輸入是一個3D位置和2D觀看方向，對應(yīng)的輸出是一個發(fā)射顏色c和體積密度σ。 

在實踐中，采用3D笛卡爾單位向量d表示方向。利用用MLP網(wǎng)絡(luò)近似這個連續(xù)的5D場景表示，并優(yōu)化其權(quán)重。 

此外，通過限制網(wǎng)絡(luò)來預(yù)測體積密度σ作為位置x的函數(shù)，同時還允許RGB顏色c作為位置和觀看方向的函數(shù)進(jìn)行預(yù)測，從而鼓勵表示多視圖一致。 

為了實現(xiàn)這一點(diǎn)，MLP首先處理輸入的具有8個全連接層的3D坐標(biāo)x（使用ReLU激活和每層256個通道），并輸出σ和256維特征向量。 

這個特征向量隨后與相機(jī)射線的觀看方向連接，并傳遞給一個額外的全連接層，輸出與視圖相關(guān)的RGB顏色。 

此外，NeRF還引入了兩個改進(jìn)來實現(xiàn)高分辨率復(fù)雜場景的表示。第一個是位置編碼，以幫助MLP表示高頻函數(shù)，第二個是分層抽樣過程，使其能夠有效地對高頻表示進(jìn)行抽樣。 

眾所周知，Transformer架構(gòu)中的位置編碼可以提供序列中標(biāo)記的離散位置，作為整個架構(gòu)的輸入。而NeRF使用位置編碼是將連續(xù)的輸入坐標(biāo)映射到更高的維度空間，使MLP更容易逼近更高頻率的函數(shù)。 

從圖中可以觀察到，去除位置編碼會大大降低模型表示高頻幾何和紋理的能力，最終導(dǎo)致外觀過度平滑。 

由于沿著每條相機(jī)射線在N個查詢點(diǎn)密集評估神經(jīng)輻射場網(wǎng)絡(luò)的渲染策略十分低效，所以NeRF最后采用了一種分層表示，通過按最終渲染的預(yù)期效果比例分配樣本來提高渲染效率。 

簡而言之，NeRF不再只使用一個網(wǎng)絡(luò)來表示場景，而是同時優(yōu)化兩個網(wǎng)絡(luò)，一個「粗粒度」網(wǎng)絡(luò)和一個「細(xì)粒度」網(wǎng)絡(luò)。 

未來可期 

NeRF解決了過去的不足，即使用MLP將對象和場景表示為連續(xù)函數(shù)。相比于過往的方法，NeRF可以產(chǎn)生更好的渲染效果。 

但是，NeRF同樣也面臨許多技術(shù)瓶頸，比如NeRF的加速器會犧牲其他相對有用的功能（比如靈活性），以實現(xiàn)低延遲、更多交互環(huán)境以及較少訓(xùn)練時間的目的。 

所以，NeRF雖是一個關(guān)鍵性的突破，但是想要達(dá)到完美的效果，還是需要一定的時間。 

技術(shù)在進(jìn)步，未來依舊可期！?