昨日，CVPR 2017獲獎論文公布，引起了業內極大的關注。但除了這些獲獎論文，還有眾多精彩的論文值得一讀。因此在大會期間，國內自動駕駛創業公司 Momenta 聯合機器之心推出CVPR 2017精彩論文解讀專欄，本文是此系列專欄的***篇，作者為 Momenta 高級研發工程師賈思博。

論文：

Deep MANTA: A Coarse-to-fine Many-Task Network for joint 2D and 3D vehicle analysis from monocular image

這篇文章主要處理單目圖像中的車輛檢測問題。車輛檢測是一個經典的基于圖像的目標檢測問題，也是智能駕駛感知過程的核心問題之一。現有的多種目標檢測框架如 Faster RCNN、YOLO 等已經可以較好地處理一般的目標檢測問題，但是在應用于車輛檢測時還有兩個主要的痛點：(1)現有目標檢測算法在平均準確率(AP)衡量下可以做到較高精度，但是目標包圍框的定位(Localization)精度不夠，后者對于車輛檢測進一步分析有重要作用;(2)目標檢測局限在圖像空間中，缺乏有效算法預測車輛在真實 3D 空間中的位置和姿態。

針對以上問題，作者在這篇文章中提出了一種基于單目圖像檢測車輛并預測 3D 信息的框架。在文章中，對于一個 3D 車輛目標的描述，包括：車輛包圍立方體的位置坐標，各個部件(如車輪、車燈等)的 3D 坐標、可見性、地平面方向上的旋轉角，以及車輛自身 3D 尺寸。下圖是車輛建模的示意圖。論文通過預測車輛自身 3D 尺寸，從標注的 3D 模型庫中找到最相近的 3D 模型，進一步根據預測出的部件的 2D 坐標與 3D 模型坐標進行 PnP 匹配得到車輛的 3D 位置與姿態。

論文使用的網絡結構基于 Faster RCNN 框架。新的訓練方式最突出的特點有以下幾點：(1)網絡不僅預測車輛包圍框，同時還預測車輛部件坐標、部件可見性、車輛自身尺寸等豐富的信息;(2)網絡使用了級聯的結構(cascade)預測以上信息，在共享底層特征(feature map)的同時提供足夠的擬合能力預測多種信息，并反復回歸包圍框，提高定位精度;(3)在網絡推測(inference)時使用上述預測的信息進行 2D/3D 匹配以得到車輛的 3D 姿態與位置信息。訓練/推測過程的流程圖如下圖。此外，論文還提出了適合這一訓練框架的標注方法，只需要標注 3D 空間下車輛的 3D 包圍框，程序可以自動從 3D 模型庫中找到尺寸最相近的模型，并根據姿態信息自動生成部件坐標、部件可見性。這一標注方案對于 KITTI 這類帶有 3D 信息的數據集來說是很方便的。

文章使用了 103 個標準車輛 3D 模型，每個模型包含 36 個部件坐標信息。網絡基礎結構使用了 GoogleNet 以及 VGG16，具體訓練參數詳見文章第 5 節。模型在 KITTI 的車輛檢測、角度回歸、3D 定位任務中均達到了領先水平，驗證了這一方法的有效性。

Q&A

1.在多任務網絡中是如何平衡各個任務的 loss，以及如何利用部件可見性這一任務的?

A：除了部件坐標外均使用經驗值 loss weight = 1，對于部件坐標嘗試 loss weight = 3 時效果更佳。部件可見性主要用于輔助網絡學習部件坐標信息，在 inference 中并沒有用到這一信息。另外，在回歸部件坐標時，對于不可見的部件關鍵點沒有給 loss，對于可見的部件關鍵點給了 N_total/N_visible的 loss，即總的關鍵點個數比上可見的關鍵點個數，論文原文中沒有提到這一點。

2. 在分類不同車型時，為什么回歸 Template similarity 即車輛尺寸與每一個模型的尺寸比例，而不是直接回歸車輛尺寸?如果有不同車型具有同樣尺寸怎么辦?

A：使用 Template similarity 是一個簡便的提供歸一化的方法，如果直接回歸尺寸，對于不同的車型 scale 相差較大，效果不好。Caltech 模型庫中確實有可能出現同樣尺寸的情形，但從訓練結果看并沒有造成明顯的問題。

3. 關于作者提出的「弱標注方法」，是如何標注車輛的 3D 框的?

A：KITTI 數據集中有車輛的 3D groundtruth，所以可以直接生成 3D 框數據，不需要額外標注。對于真實環境下的數據，作者正在嘗試解決，現在還沒有一個比較有效的方案。

【本文是51CTO專欄機構“機器之心”的原創文章，微信公眾號“機器之心( id: almosthuman2014)”】

戳這里，看該作者更多好文