本文經計算機視覺研究院公眾號授權轉載，轉載請聯系出處。

• 論文鏈接：https://arxiv.org/abs/2403.17537
• 項目鏈接：https://www.sysu-hcp.net/projects/cv/132.html

論文第一作者為中山大學計算機學院研二碩士生陳家豪，研究方向為神經渲染和三維重建，導師為李冠彬教授。該論文是他的第一個工作。論文通訊作者為中山大學計算機學院、人機物智能融合實驗室李冠彬教授，博士生導師，國家優秀青年基金獲得者。團隊主要研究領域為視覺感知、場景建模、理解與生成。迄今為止累計發表 CCF A 類 / 中科院一區論文 150 余篇，Google Scholar 引用超過 12000 次，曾獲得吳文俊人工智能優秀青年獎等榮譽。

自被提出以來，神經輻射場（Neural Radiance Fields, NeRF）因其在新視角合成及三維重建中的出色表現而受到極大關注。

雖然大量工作都在嘗試改進 NeRF 的渲染質量或運行速度，但一個現實的問題很少被人提及：如果待建模場景中出現了意想不到的瞬態干擾物，我們應該如何消除它們對 NeRF 造成的影響？

本文中，來自中山大學、卡迪夫大學、賓夕法尼亞大學和思謀科技的研究人員對此展開了深入研究，并提出了一種解決該問題的新穎范式。

通過總結現有方法的優勢缺陷、拓寬已有技術的應用思路，該方法不僅可以在各類場景中準確區分靜瞬態元素、提高 NeRF 的渲染質量，還入圍了 CVPR 2024 最佳論文候選。

讓我們一起來了解下這項工作。

背景介紹

新視角合成是計算機視覺和圖形學的一個重要任務，算法模型需要利用給定的多視角圖像及相機位姿來生成目標位姿對應的圖像。NeRF 在該任務上取得了重要突破，但其有效性與靜態場景的假設有關。

具體來說，NeRF 要求待建模場景在拍攝過程中保持靜止、多視角圖像內容必須一致。在現實中，我們很難滿足這種要求，例如在戶外拍攝時場景以外的車輛或路人可能會在鏡頭中隨機出現移動，在室內拍攝時某個物體或陰影會不經意間遮擋鏡頭。我們把這類場景以外的表現出運動或不一致的元素稱為瞬態干擾物（Transient Distractors）。如果我們不能消除它們，它們會給 NeRF 的渲染結果帶來偽影。

瞬態干擾物（黃色方框）的存在會導致大量偽影。

目前解決瞬態干擾物問題的方法大致可分為兩種。第一種方法使用語義分割等已有分割模型顯式地得到與干擾物有關的掩膜，然后在訓練 NeRF 時屏蔽對應像素。雖然這類方法可以得到精確的分割結果，但它們并不通用。這是因為我們需要提前得知與干擾物有關的先驗知識（如物體類別、初始掩膜等）、并且模型可以識別這些干擾物。

與第一種方法不同，第二種方法在訓練 NeRF 時使用啟發式算法隱式地處理瞬態干擾物，不要求先驗知識。雖然這類方法更加通用，但它們因設計復雜性和高度不適定性而無法準確分離瞬態干擾物和靜態場景元素。例如，由于瞬態像素對應的顏色紋理在不同視角下不一致，在訓練 NeRF 時該像素的預測值和真值之間的顏色殘差往往大于靜態像素的殘差。然而，場景中的高頻靜態細節也會因難以擬合而有過大的殘差，因此一些通過設置殘差閾值來去除瞬態干擾物的方法很容易丟失高頻靜態細節。

現有方法與本文提出的啟發式引導分割（HuGS）之間的比較。當靜態場景被瞬態干擾物干擾時，（a）基于分割的方法依賴先驗知識，會因無法識別意料之外的瞬態物體（例如比薩）而出現相關偽影；（b）基于啟發式的方法更具通用性但不夠準確（例如丟失了高頻靜態桌布紋理）；（c）HuGS 結合了它們的優點，能夠精確地分離瞬態干擾物和靜態場景元素，從而顯著改善 NeRF 的結果。

方法概述

基于分割模型的方法準確但不通用、基于啟發式算法的方法通用但不準確，那么是否可以把它們結合起來揚長補短、做到既準確又通用呢？

因此，論文作者以「horses for courses」為動機，提出了一種名為啟發式引導分割（Heuristics-Guided Segmentation, HuGS）的新穎范式。通過巧妙結合手工設計的啟發式算法和由提示驅動的分割模型，HuGS 可以在沒有額外先驗知識的情況下準確區分場景中的瞬態干擾物和靜態元素。

具體來說，HuGS 首先使用啟發式算法大致區分多視角圖像中的靜瞬態元素并輸出粗糙提示，然后使用粗糙提示引導分割模型生成更加精確的分割掩膜。在訓練 NeRF 時，這些掩膜會被用來屏蔽瞬態像素、消除瞬態干擾物對 NeRF 的影響。

HuGS 設計思路。

在具體實現上，論文作者選用 Segment Anything Model (SAM) 作為 HuGS 的分割模型。SAM 是當前最先進的基于提示驅動的分割模型，可以接受點、框、掩膜等不同類型的提示輸入并輸出對應的實例分割掩膜。

至于啟發式算法，作者在深入分析后提出了一種組合啟發式：基于 Structure-from-Motion (SfM) 的啟發式被用于捕獲場景的高頻靜態細節，而基于顏色殘差的啟發式被用于捕獲低頻靜態細節。兩種啟發式算法輸出的粗糙靜態掩膜互不相同，而它們的并集會被用來引導 SAM 得到更加準確的靜態掩膜。通過無縫結合這兩種啟發式算法，HuGS 在面對不同紋理細節時可以穩健地識別各類靜態元素。

HuGS 流程圖。(a) 給定帶有瞬態干擾物的靜態場景下的無序多視角圖像，HuGS 首先獲得兩種啟發式信息。(b) 基于 SfM 的啟發式算法通過 SfM 來獲取區分靜態特征點和瞬態特征點，然后使用稀疏的靜態特征點作為提示引導 SAM 生成稠密的靜態掩膜。(c) 基于顏色殘差的啟發式算法依賴于部分訓練（即只經過數千次迭代訓練）的 NeRF。其預測圖像和真實圖像之間的顏色殘差可以用于生成另一組靜態掩膜。(d) 兩種不同掩膜的結合最終引導 SAM 生成 (e) 每個圖像的準確靜態掩膜。

基于 SfM 的啟發式算法

SfM 是一種從二維圖像重建三維結構的技術。在提取圖像的二維特征后，SfM 會對特征進行匹配和幾何驗證、重建稀疏三維點云。SfM 在 NeRF 中常被用于估計圖像相機位姿，而論文作者發現 SfM 還可以被用來區分場景的靜瞬態元素。設某個二維特征點的匹配數量為與其對應相同三維點云點的其他二維特征點數量，那么來自靜態區域的二維特征點的匹配數量要大于來自瞬態區域的特征點匹配數量。

基于該發現，我們可以在匹配數量上設置閾值來過濾得到靜態特征點，再通過 SAM 將靜態特征點轉換為靜態掩膜。為了驗證該發現的正確性，論文作者在 Kubric 數據集上進行了統計。正如下圖所示，不同圖像區域的特征點匹配數量有顯著的差異。另一個可視化結果表明合理的閾值設置可以在去除瞬態特征點的同時保留靜態特征點。

左圖為來自不同圖像區域的特征點在匹配數量上的數量分布直方圖，其中靜態區域特征點的匹配數量均勻分布在 [0,200] 區間內，而瞬態區域特征點的匹配數量趨近于 0、集中分布在 [0,10] 區間內。右圖為經過過濾后不同圖像區域的剩余特征點密度隨閾值變化的曲線圖，其中整張圖像與靜態區域的剩余特征點密度隨著閾值上升呈線性下降，而瞬態區域的剩余特征點密度呈指數下降、并在閾值大于 0.2 后幾乎為 0。

兩個不同視角圖像的剩余特征點隨閾值上升而變化的可視化分布情況。位于瞬態區域內的剩余特征點被逐漸去除，而靜態區域的大部分特征點仍被保留。

基于顏色殘差的啟發式算法

雖然基于 SfM 的啟發式在大部分場景中表現良好，但它無法很好地捕獲靜態平滑紋理，這是因為平滑紋理缺乏顯著特征、難以被 SfM 的特征提取算法識別。

為了能夠識別低頻紋理，論文作者引入了基于顏色殘差的啟發式算法：首先在原始多視角圖像上部分訓練 NeRF（即只迭代數千次）、得到欠擬合模型，然后獲取渲染圖像和目標圖像之間的顏色殘差。正如背景介紹所述，低頻靜態紋理區域的顏色殘差要小于其他類型區域的殘差，因此可以在顏色殘差上設置閾值獲取與低頻靜態紋理相關的粗糙掩膜。通過顏色殘差得到的掩膜可以和通過 SfM 得到的掩膜互補，形成完整結果。

兩種啟發式算法的組合，其中（a）為輸入的目標圖像，（d）為只迭代五千次的 NeRF 渲染結果?；?SfM 的啟發式得到的靜態掩膜 (b) 在捕獲高頻靜態細節（如盒子紋理）的同時遺漏了靜態平滑部分（如白色椅背）。基于顏色殘差的啟發式得到的靜態掩膜（e）及其單獨引導 SAM 得到的分割掩膜（f）取得了相反效果。它們的并集（c）在覆蓋所有靜態元素的同時區分了瞬態干擾物（即粉色氣球）。

實驗結果

可視化結果

這里展示了 HuGS 在兩個不同真實場景下的可視化分割過程，以及基線模型 Mip-NeRF 360 在應用靜態掩膜前后的渲染結果比較。在組合啟發式算法和 SAM 的幫助下，HuGS 可以生成準確的靜態掩膜，而 Mip-NeRF 360 在應用靜態掩膜后消除了大量偽影，RGB 圖和深度圖的渲染質量有明顯提升。

定性 / 定量渲染結果比較

這里展示了論文方法在三個數據集和兩個基線模型上的實驗結果，以及與現有方法的比較。現有方法要么無法消除瞬態干擾物帶來的偽影，要么抹除掉過多的靜態紋理細節。相比之下，論文方法可以在有效消除偽影的同時更好地保留靜態細節。

定性 / 定量分割結果比較

論文作者同樣在 Kubric 數據集上與現有分割算法進行了比較。實驗結果表明，即使提供了先驗知識，語義分割、視頻分割等現有分割模型依然表現不佳，這是因為現有分割模型都沒有針對該任務進行設計?，F有基于啟發式的方法雖然可以大致定位瞬態干擾物的位置，但無法得到更加精確的分割結果。與之相比，HuGS 通過結合啟發式算法和分割模型，在沒有額外先驗知識的情況下準確分離瞬態干擾物和靜態場景元素。

消融實驗結果

論文作者還通過去除不同組件的方式來驗證各組件對 HuGS 造成的影響。結果表明，缺少基于 SfM 的啟發式的模型 (b) 無法很好地重建藍色方框中的低頻靜態紋理，而缺少基于顏色殘差的啟發式的模型 (c) 和 (d) 丟失了黃色方框中的高頻靜態細節。相比之下，完整方法 (f) 的數值指標和可視化結果最佳。

全文總結

論文提出了一種新穎的啟發式引導分割范式，有效解決了 NeRF 現實訓練中常見的瞬時干擾問題。通過戰略性地結合手工設計的啟發式和最先進的分割模型的互補優勢，該方法在沒有任何先驗知識的情況下實現了對不同場景中瞬時干擾物的高度準確分割。通過精心設計的啟發式，論文方法能夠穩健地捕捉到高頻和低頻的靜態場景元素。大量實驗證明了該方法的先進性。