本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

圖片

論文鏈接：https://arxiv.org/pdf/2310.19629

代碼鏈接：https://github.com/vLAR-group/RayDF

主頁：https://vlar-group.github.io/RayDF.html

方法流程：

圖 1 RayDF的整體流程和組成部分

一、Introduction

在機器視覺和機器人領域的許多前沿應用中，學習準確且高效的三維形狀表達是十分重要的。然而，現有的基于三維坐標的隱式表達在表示三維形狀或是渲染二維圖像時，需要耗費昂貴的計算成本；相比之下，基于射線的方法則能夠高效地推斷出三維形狀。但是，已有的基于射線的方法沒有考慮到多視角下的幾何一致性，以至于在未知視角下難以恢復出準確的幾何形狀。

針對這些問題，本論文提出一個全新的維護了多視角幾何一致性的基于射線的隱式表達方法RayDF。該方法基于簡單的射線-表面距離場（ray-surface distance field），通過引入全新的雙射線可見性分類器（dual-ray visibility classifier）和多視角一致性優化模塊（multi-view consistency optimization module），學習得到滿足多視角幾何一致的射線-表面距離。實驗結果表明，改方法在三個數據集上實現了優越的三維表面重建性能，并達到了比基于坐標的方法快1000倍的渲染速度（見Table 1）。

主要貢獻如下：

• 采用射線-表面距離場來表示三維形狀，這個表達比現有的基于坐標的表達更高效。
  
• 設計了全新的雙射線可見性分類器，通過學習任意一對射線的空間關系，使得所學的射線-表面距離場能夠在多視角下保持幾何一致性。
  
• 在多個數據集上證明了該方法在三維形狀重建上的準確性和高效性。
  

二、Method

2.1 Overview

如圖1所示，RayDF包含兩個網絡及一個優化模塊。對于主網絡ray-surface distance network，只需輸入一條射線，即可得到射線起點到射線打到的幾何表面點之間的距離值。其中，如圖2所示，RayDF使用一個包圍三維場景的球對輸入的射線進行參數化，將參數化得到的四維球坐標（入射點和出射點）作為網絡輸入。對于輔助網絡dual-ray visibility classifier，輸入一對射線和一個幾何表面點，預測兩條射線之間的相互可見性。這個輔助網絡在訓練好之后，將在后續multi-view consistency optimization module中起到關鍵作用。

圖 2 射線-表面距離場的射線參數化及網絡結構

2.2 Dual-ray Visibility Classifier

該方法中的輔助網絡是一個預測輸入的兩條射線是否能同時看到一個表面點的二元分類器。如圖3所示，將輸入的兩條射線所得特征取平均值，以確保預測的結果不受兩條射線的順序所影響。同時，將表面點進行單獨編碼得到的特征拼接在射線特征之后，以增強射線特征，從而提升分類器的準確性。

圖 3 雙射線可見性分類器的框架結構

2.3 Multi-view Consistency Optimization

以設計的主網絡ray-surface distance network和輔助網絡dual-ray visibility classifier為鋪墊，引入多視角一致性優化這一關鍵模塊，對兩個網絡進行two-stage訓練。

(1) 首先為輔助網絡dual-ray visibility classifier構造用于訓練的射線對。對于一張圖片中的一條射線（對應圖片中的一個像素），通過其ray-surface distance可知對應的空間表面點，將其投影到訓練集中的剩余視角下，即得到另一個射線；而該射線有其對應的ray- surface distance，文章設置閾值10毫米來判斷兩條射線是否相互可見。

(2) 第二階段是訓練主網絡ray-surface distance network使其預測的距離場滿足多視角一致性。如圖4所示，對于一條主射線及其表面點，以該表面點為球心均勻采樣，得到若干條multi-view ray。將主射線與這些multi-view ray一一配對，通過訓練好的dual-ray visibility classifier即可得到其相互可見性。再通過ray-surface distance network預測這些射線的ray-surface distance；若主射線與某一條采樣射線是相互可見的，那么兩條射線的ray-surface distances計算得到的表面點應是同一個點；依此設計了對應的損失函數，并對主網絡進行訓練，最終可以使ray-surface distance field滿足多視角一致性。   

2.4 Surface Normal Derivation and Outlier Points Removal

由于在場景表面邊緣處的深度值往往存在突變（存在不連續性），而神經網絡又是連續函數，上述ray-surface distance field在表面邊緣處容易預測出不夠準確的距離值，從而導致邊緣處的幾何表面存在噪聲。好在，設計的ray-surface distance field有一個很好的特性，如圖5所示，每個估計的三維表面點的法向量都可以通過網絡的自動微分以閉合形式輕松求出。因此，可以在網絡推理階段計算表面點的法向量歐氏距離，若該距離值大于閾值，則該表面點被視作離群點并剔除，從而得到干凈的三維重建表面。

圖 5 Surface normal計算

三、Experiments

為了驗證所提出方法的有效性，本文在三個數據集上進行了實驗，分別是object-level的合成數據集Blender [1]、scene-level合成數據集DM-SR [2]、scene-level真實數據集ScanNet [3]。論文選取了七個baselines進行性能對比，其中OF [4]/DeepSDF [5]/NDF [6]/NeuS [7]是基于坐標的level-set方法、DS-NeRF [8]是有depth監督的NeRF-based方法，LFN [9]和PRIF [10]是基于射線的兩個baselines。

由于RayDF方法很容易直接增加一個radiance分支來學習紋理，從而和上述支持預測radiance field的baselines進行比較。因此，論文對比實驗分為兩組，其中，Group 1只預測distances （幾何），Group 2同時預測distances和radiances（幾何和紋理）。

3.1 Evaluation on Blender Dataset

從Table 2和圖6可以看出，在Group 1和2中，RayDF在表面重建上取得了更優的結果，尤其是在最重要的 ADE 指標上明顯優于基于坐標和射線的baselines。同時在radiance field rendering上，RayDF也取得了與DS-NeRF相當的性能，并優于LFN和PRIF。

圖 6 Blender數據集可視化對比

3.2 Evaluation on DM-SR Dataset

從Table 3可以看出，在最關鍵的 ADE 指標上，RayDF超越了所有baselines。同時，在Group 2的實驗中，RayDF能夠在獲得高質量的新視圖合成的同時，保證恢復出準確的表面形狀（見圖7）。

圖 7 DM-SR數據集可視化對比

3.3 Evaluation on ScanNet Dataset

Table 4比較了RayDF和baselines在具有挑戰性的真實世界場景中的性能。在Group 1和2中，RayDF在幾乎所有評估指標上都明顯優于baselines，展示出了在恢復復雜的真實世界三維場景方面的明顯優勢。

圖 8 ScanNet數據集可視化對比

3.4 Ablation Study

論文在Blender數據集上進行了消融實驗，其中Table 5展示了在十分關鍵的dual-ray visibility classifier上的消融實驗結果。

• 如Table 5 (1)所示，如果沒有dual-ray visibility classifier的幫助，ray-surface distance field則會無法對新視角下的射線預測出合理的距離值（見圖9）。
  
• 在classifier的輸入中，選擇了輸入表面點坐標來作為輔助，如Table 5 (2)和(3)所示，若選擇輸入表面點距離值作為輔助或是不提供輔助信息，分類器會獲得較低的準確率和F1分數，導致為ray-surface distance network提供的可見性信息不夠準確，進而預測出錯誤的距離值。
  
• 如Table 5 (4)所示，以非對稱的方式輸入一對射線，所訓練得到的分類器準確率較高，但F1分數較低。這表明，這種分類器的魯棒性明顯低于用對稱輸入射線訓練的分類器。
  

其他ablations可在論文及論文附錄中查看。

圖 9 使用與不使用分類器的可視化對比

四、Conclusion

總的來說，論文證明了通過使用基于射線的多視角一致性框架，確實可以高效、準確地學習三維形狀表示。論文使用簡單的射線-表面距離場來表示三維形狀幾何圖形，并通過新穎的雙射線可見性分類器進一步實現多視角幾何一致性。在多個數據集上都證明了RayDF方法具有極高的渲染效率和出色的性能。歡迎進一步對RayDF框架進行擴展。更多可視化結果可在主頁查看：

https://vlar-group.github.io/RayDF.html

原文鏈接：https://mp.weixin.qq.com/s/dsrSHKT4NfgdDPYcKOhcOA