單目深度估計新成果來了！

方法名為Metric3D v2，是CVPR單目深度估計挑戰賽冠軍方案Metric3D的加強版。

用一套模型參數，在未知環境中，同時解決帶尺度深度估計和法向估計兩個問題。

可用于生成真實世界的幾何估計：

在密集場景和特殊樣本上也有較好效果：

無需微調和優化，可直接用于無人機感知：

無需調整尺度參數，提供單幀3D點云，其精度可以直接用于3D重建：

可部分替代物理深度估計工具，用于增強自動駕駛場景的單目SLAM：

Metric3D v2在16個單目深度和法向估計基準榜單上拿下SOTA，涵蓋絕對深度、相對深度和法向估計的域內和域外測試。

不做尺度對齊或微調，在KITTI上的單目深度估計相對誤差可低至5%。

這項工作由來自香港科技大學、阿德萊德大學、西湖大學、英特爾、香港大學、浙江大學的研究人員共同打造，目前已被AI頂刊TPAMI接收。

單目深度估計受限于尺度二義性

單目深度估計技術在計算機視覺領域具有重要意義。這項技術能從單幅2D圖像中推斷出場景的3D結構，為眾多應用提供了關鍵支持。

在傳統領域，單目深度估計廣泛應用于自動駕駛、機器人導航、增強現實等場景，幫助智能系統更好地理解和交互環境。

隨著AIGC的興起，單目深度估計在這一新興領域也發揮著重要作用。它為3D場景生成、虛擬現實內容制作、圖像編輯等任務提供了深度信息，大大提升了生成內容的真實感和沉浸感。

通過賦予AI系統對3D世界的理解能力，單目深度估計正在推動AIGC應用向更高維度發展。

但單目深度估計一直是一個“病態”問題，根本原因在于其受到尺度二義性的影響。

對單張圖像而言，尺度二義性來自于兩個方面：

其一是物體大小未知產生的二義性：

為解決這類問題，早期可泛化的深度估計模型如midas、leras等使用混合數據集訓練深度估計網絡，希望模型從大量數據集中學到各個物體在場景中的大小。

然而，不同數據集相機內參有很大差異，這種差異會引起第二種尺度二義性（有時又可視作透視畸變）：

同一個物體，使用不同相機在不同距離拍攝出的圖像也大致可能相同（下圖雕塑完全一致，但背景產生了畸變），因而對該物體的深度估計會受到影響.

早期的midas、leras等工作，提出估計相對深度來規避相機差異帶來的尺度二義性。

近期基于stable-diffusion的工作如Marigold/Geowizard或基于數據標注的工作DepthAnything v1/v2能夠恢復更高精細度的相對深度，卻無法恢復尺度信息。

為恢復尺度信息，前人提出將預訓練好的相對深度模型，在特定數據集上過擬合以學習尺度信息，如ZoeDepth。然而，該方法使得網絡學到的深度分布受限于所finetune的數據集，因而尺度誤差較大。

為緩解相機內參變化引起的尺度二義性，Metric3D提出在公共相機空間中學習絕對深度。該空間被定義為一個焦距固定的針孔相機模型空間。

由于網絡不再受相機尺度二義性的影響，學習難度被大大降低了。

在符合透視投影幾何的前提下，論文提出兩種將數據從真實焦距轉換到公共焦距的方法。

• 圖像變換法（CSTM_image）：通過縮放圖像改變焦距的方法。
• 標簽變換法（CSTM_label）: 拉伸或壓縮整個場景z軸深度的方法。

憑借公共相機空間的設計，Metric3D僅僅依靠卷積模型就在CVPR單目深度估計挑戰賽上獲得冠軍。

△算法框架：無須微調的有尺度深度估計；無須大量額外人工稠密重建的法向學習。

單目法向估計受限于數據質量

深度圖可以直接由RGB-D相機，激光雷達等測距傳感器獲得。

然而，法向圖真值需要稠密重建點云的渲染，稠密重建本身需要大量工程和人工成本（如Omnidata）。同時，室外場景的法向數據尤其難以獲得。

在Metric3D v2這項研究中，引入了一種聯合深度-法線優化框架，利用大規模深度標注的知識，克服戶外法線數據標簽稀缺的問題。

在聯合優化中，法向的知識來源有三：真實法向標注、迭代優化中深度和法向特征的前向交互 、稠密深度預測提供的偽法向標注

具體來說算法流程為：

• 真實世界->公共空間：將圖像和深度標簽從真實世界轉換到公共空間，使得圖像和深度圖滿足公共空間焦距的透視投影關系。
• 公共空間中估計幾何：網絡在公共空間預測初始深度圖和法向圖，并通過raft風格的迭代優化輸出最終深度圖和法向圖。訓練過程中，使用公共空間的深度圖真值監督深度估計。
• 公共空間->真實世界：將估計的深度圖轉回到真實世界，使之滿足實際投影關系。訓練時，當法向標注不可得時，使用預測出的深度圖求梯度得到偽法向真值，以提供弱監督。

為增強模型魯棒性，Metric3D v2在16個公開數據集共計16M張圖像上進行訓練。這些數據集由超過10000種相機內參采集，涵蓋室內、室外、自動駕駛等多種場景。

然而，其所需的數據量仍遠遠小于訓練DepthAnything v1/v2所需的62M。

Metric3D v2實驗結果

常規有尺度深度和法相估計的基準測試，Metric3D v2超越DepthAnything和OmniData（v2）：

相對深度估計基準測試，量化指標優于最近在CVPR2024大放異彩的Marigold：

再來看定量比較。

1、多場景深度與法向估計

盡管Metric3D v2是判別式模型，但在一些場景下，其細粒度也可以和基于生成模型的Marigold平分秋色。

同時，由網絡預測出的法向圖比深度直接轉換所得的更加平滑。

對比其它基線方法ZoeDepth和OmniData（v2），Metric3D v2能給出更高細粒度的帶尺度深度和法向。

2、單目場景三維重建

即使像Marigold、DepthAnything v2這樣的高精度相對深度模型，也需要在特定數據上擬合、或手動挑選出一組合適的仿射參數后，才能得到三維點云。

3、單幀直接測距

Metric3Dv2模型具有更高精度的測距功能：

總的來說，Metric3D v2是一種用于零樣本單目有尺度深度和表面法線估計的幾何基礎模型。

論文針對真實尺度下幾何估計中的各種挑戰，分別提出了解決方案。Metric3Dv2框架整合超過10000臺相機捕捉的上千萬數據樣本，訓練一個統一的有尺度深度和表面法向模型。

零樣本評估實驗展示了方法的有效性和魯棒性。對于下游應用，Metric3Dv2能夠從單一視角重建有尺度的三維結構，實現對隨機采集的互聯網圖像的測距和單幀稠密建圖。

憑借其精度、泛化能力和多功能性，Metric3D v2 模型可作為單目幾何感知的基礎模型。

在線試用: 

https://huggingface.co/spaces/JUGGHM/Metric3D

論文鏈接：https://arxiv.org/abs/2404.15506.pdf
項目主頁：https://jugghm.github.io/Metric3Dv2
代碼倉庫：https://github.com/YvanYin/Metric3D