本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

在2D圖像中做3D目標(biāo)檢測(cè)很難？

現(xiàn)在，拿著一部手機(jī)就能做到，還是實(shí)時(shí)的那種。

這就是谷歌AI今天發(fā)布的MediaPipe Objectron，一個(gè)可以實(shí)時(shí)3D目標(biāo)檢測(cè)的pipeline。

分開來看：

MediaPipe是一個(gè)開源的跨平臺(tái)框架，用于構(gòu)建pipeline來處理不同模式的感知數(shù)據(jù)。

Objectron在移動(dòng)設(shè)備上實(shí)時(shí)計(jì)算面向?qū)ο蟮?D邊界框。

日常生活中的物體，它都可以檢測(cè)，來看下效果。

它可以在移動(dòng)端設(shè)備上，實(shí)時(shí)地確定物體的位置、方向和大小。

這個(gè)pipeline檢測(cè)2D圖像中的物體，然后通過機(jī)器學(xué)習(xí)模型，來估計(jì)它的姿態(tài)和大小。

那么，它具體是怎么做到的呢？

獲取真實(shí)世界中的3D數(shù)據(jù)

我們知道，3D數(shù)據(jù)集相對(duì)于2D來說，非常有限。

為了解決這個(gè)問題，谷歌AI的研究人員使用移動(dòng)增強(qiáng)現(xiàn)實(shí)(AR)會(huì)話數(shù)據(jù)(session data)，開發(fā)了新的數(shù)據(jù)pipeline。

目前來說，大部分智能手機(jī)現(xiàn)在都具備了增強(qiáng)現(xiàn)實(shí)的功能，在這個(gè)過程中捕捉額外的信息，包括相機(jī)姿態(tài)、稀疏的3D點(diǎn)云、估計(jì)的光照和平面。

為了標(biāo)記groud truth數(shù)據(jù)，研究人員構(gòu)建了一個(gè)新的注釋工具，并將它和AR會(huì)話數(shù)據(jù)拿來一起使用，能讓注釋器快速地標(biāo)記對(duì)象的3D邊界框。

這個(gè)工具使用分屏視圖來顯示2D視頻幀，例如下圖所示。

左邊是覆蓋的3D邊界框，右邊顯示的是3D點(diǎn)云、攝像機(jī)位置和檢測(cè)平面的視圖。

注釋器在3D視圖中繪制3D邊界框，并通過查看2D視頻幀中的投影來驗(yàn)證其位置。

對(duì)于靜態(tài)對(duì)象，只需要在單幀中注釋一個(gè)對(duì)象，并使用來自AR會(huì)話數(shù)據(jù)的ground truth攝像機(jī)位姿信息，將它的位置傳播到所有幀。

這就讓該過程變得非常高效。

AR合成數(shù)據(jù)生成

為了提高預(yù)測(cè)的準(zhǔn)確性，現(xiàn)在比較流行的一種方法，就是通過合成的3D數(shù)據(jù)，來“填充”真實(shí)世界的數(shù)據(jù)。

但這樣往往就會(huì)產(chǎn)生很不真實(shí)的數(shù)據(jù)，甚至還需要大量的計(jì)算工作。

谷歌AI就提出了一種新的方法——AR合成數(shù)據(jù)生成 (AR Synthetic Data Generation)。

這就允許研究人員可以利用相機(jī)的姿勢(shì)、檢測(cè)到的平面、估計(jì)的照明，來生成物理上可能的位置以及具有與場(chǎng)景匹配的照明位置 。

這種方法產(chǎn)生了高質(zhì)量的合成數(shù)據(jù)，與真實(shí)數(shù)據(jù)一起使用，能夠?qū)?zhǔn)確率提高約10%。

用于3D目標(biāo)檢測(cè)的機(jī)器學(xué)習(xí)pipeline

為了達(dá)到這個(gè)目的，研究人員建立了一個(gè)單階段的模型，從一個(gè)RGB圖像預(yù)測(cè)一個(gè)物體的姿態(tài)和物理大小。

模型主干部分有一個(gè)基于MobileNetv2的編碼器-解碼器架構(gòu)。

還采用一種多任務(wù)學(xué)習(xí)方法，通過檢測(cè)和回歸來共同預(yù)測(cè)物體的形狀。

對(duì)于形狀任務(wù)，根據(jù)可用的ground truth注釋(如分割)來預(yù)測(cè)對(duì)象的形狀信號(hào)；對(duì)于檢測(cè)任務(wù)，使用帶注釋的邊界框，并將高斯分布擬合到框中，以框形質(zhì)心為中心，并與框的大小成比例的標(biāo)準(zhǔn)差。

檢測(cè)的目標(biāo)是預(yù)測(cè)這個(gè)分布，它的峰值代表了目標(biāo)的中心位置。

回歸任務(wù)估計(jì)邊界框8個(gè)頂點(diǎn)的2D投影。為了獲得邊界框的最終3D坐標(biāo)，還利用了一個(gè)成熟的姿態(tài)估計(jì)算法(EPnP)，可以在不知道物體尺寸的前提下恢復(fù)物體的3D邊界框。

有了3D邊界框，就可以很容易地計(jì)算出物體的姿態(tài)和大小。

這個(gè)模型也是非常的輕量級(jí)，可以在移動(dòng)設(shè)備上實(shí)時(shí)運(yùn)行。

在MediaPipe中進(jìn)行檢測(cè)和跟蹤

在移動(dòng)端設(shè)備使用這個(gè)模型的時(shí)候，由于每一幀中3D邊界框的模糊性，模型可能會(huì)發(fā)生“抖動(dòng)”。

為了緩解這種情況，研究人員采用了最近在“2D界”發(fā)布的檢測(cè)+跟蹤框架。

這個(gè)框架減少了在每一幀上運(yùn)行網(wǎng)絡(luò)的需要，允許使用更大、更精確的模型，還能保持在pipeline上的實(shí)時(shí)性。

為了進(jìn)一步提高移動(dòng)pipeline的效率，每隔幾幀只讓運(yùn)行一次模型推斷。

最后，這么好的項(xiàng)目，當(dāng)然已經(jīng)開源了！

戳下方傳送門鏈接，快去試試吧~

傳送門

GitHub項(xiàng)目地址：
https://github.com/google/mediapipe/blob/master/mediapipe/docs/objectron_mobile_gpu.md

谷歌AI博客：
https://ai.googleblog.com/2020/03/real-time-3d-object-detection-on-mobile.html