無(wú)人駕駛的感知部分作為計(jì)算機(jī)視覺(jué)的領(lǐng)域范圍，也不可避免地成為CNN發(fā)揮作用的舞臺(tái)。本文是無(wú)人駕駛技術(shù)系列的第八篇，深入介紹CNN（卷積神經(jīng)網(wǎng)絡(luò)）在無(wú)人駕駛3D感知與物體檢測(cè)中的應(yīng)用。

CNN簡(jiǎn)介

卷積神經(jīng)網(wǎng)絡(luò)（Convolutional Neural Network，CNN）是一種適合使用在連續(xù)值輸入信號(hào)上的深度神經(jīng)網(wǎng)絡(luò)，比如聲音、圖像和視頻。它的歷史可以回溯到1968年，Hubel和Wiesel在動(dòng)物視覺(jué)皮層細(xì)胞中發(fā)現(xiàn)的對(duì)輸入圖案的方向選擇性和平移不變性，這個(gè)工作為他們贏得了諾貝爾獎(jiǎng)。時(shí)間推進(jìn)到上世紀(jì)80年代，隨著神經(jīng)網(wǎng)絡(luò)研究的深入，研究人員發(fā)現(xiàn)對(duì)圖片輸入做卷積操作和生物視覺(jué)中的神經(jīng)元接受局部receptive field內(nèi)的輸入有相似性，那么在神經(jīng)網(wǎng)絡(luò)中加上卷積操作也就成了自然的事情。當(dāng)前的CNN相比通常的深度神經(jīng)網(wǎng)絡(luò)（DNN），特點(diǎn)主要包括：

• 一個(gè)高層的神經(jīng)元只接受某些低層神經(jīng)元的輸入，這些低層神經(jīng)元處于二維空間中的一個(gè)鄰域，通常是一個(gè)矩形。這個(gè)特點(diǎn)受到生物神經(jīng)網(wǎng)絡(luò)中receptive field的概念啟發(fā)。

• 同一層中不同神經(jīng)元的輸入權(quán)重共享，這個(gè)特點(diǎn)可以認(rèn)為是利用了視覺(jué)輸入中的平移不變性，不光大幅度減少了CNN模型的參數(shù)數(shù)量，還加快了訓(xùn)練速度。

由于CNN在神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)上針對(duì)視覺(jué)輸入本身特點(diǎn)做的特定設(shè)計(jì)，所以它是計(jì)算機(jī)視覺(jué)領(lǐng)域使用深度神經(jīng)網(wǎng)絡(luò)的不二選擇。在2012年，CNN一舉打破了ImageNet這個(gè)圖像識(shí)別競(jìng)賽的世界紀(jì)錄之后，計(jì)算機(jī)視覺(jué)領(lǐng)域發(fā)生了天翻地覆的變化，各種視覺(jué)任務(wù)都放棄了傳統(tǒng)方法，啟用了CNN來(lái)構(gòu)建新的模型。無(wú)人駕駛的感知部分作為計(jì)算機(jī)視覺(jué)的領(lǐng)域范圍，也不可避免地成為CNN發(fā)揮作用的舞臺(tái)。

無(wú)人駕駛雙目3D感知

在無(wú)人車(chē)感知中，對(duì)周?chē)h(huán)境的3D建模是重中之重。激光雷達(dá)能提供高精度的3D點(diǎn)云，但密集的3D信息就需要攝像頭的幫助了。人類用兩只眼睛獲得立體的視覺(jué)感受，同樣的道理能讓雙目攝像頭提供3D信息。假設(shè)兩個(gè)攝像頭間距為B，空間中一點(diǎn)P到兩個(gè)攝像頭所成圖像上的偏移（disparity）為d，攝像頭的焦距為f，那么我們可以計(jì)算P點(diǎn)到攝像頭的距離為：

所以為了感知3D環(huán)境得到z，需要通過(guò)雙目攝像頭的兩張圖像I_l和I_r得到d，通常的做法都是基于局部的圖片匹配：

由于單個(gè)像素的值可能不穩(wěn)定，所以需要利用周?chē)南袼睾推交约僭O(shè)d(x,y)≈d(x+α,y+β)（假設(shè)α和β都較小），所以求解d變成了一個(gè)最小化問(wèn)題：

這和optical flow任務(wù)想要解決的是非常類似的問(wèn)題，不過(guò)是（Il，Ir）變成了（It ，It+1），所以下面將要介紹的算法，兩者都適用。

MC-CNN

現(xiàn)在來(lái)看看Matching-Cost CNN算法，這個(gè)算法使用了一個(gè)CNN來(lái)計(jì)算上式的右側(cè)matchingcost，MC-CNN的網(wǎng)絡(luò)結(jié)構(gòu)見(jiàn)圖1。

圖1 MC-CNN的網(wǎng)絡(luò)結(jié)構(gòu)

這個(gè)網(wǎng)絡(luò)的輸入是兩個(gè)圖片的一小塊，輸出是這兩塊不匹配的概率，相當(dāng)于一個(gè)cost函數(shù)，當(dāng)兩者匹配時(shí)為0，不匹配時(shí)***可能為1。通過(guò)對(duì)一個(gè)給定的圖片位置搜索可能的d取值，找到最小的CNN輸出，就得到了這一點(diǎn)局部的偏移估算。MC-CNN算法接下來(lái)做了如下后期處理：

• Cross-based cost aggregation：基本思想是對(duì)鄰近的像素值相似的點(diǎn)的偏移求平均，提高估計(jì)的穩(wěn)定性和精度。

• Semi-global matching：基本思想是鄰近的點(diǎn)的平移應(yīng)該相似，加入平滑約束并求偏移的***值。

• 插值和圖片邊界修正：提高精度，填補(bǔ)空白。

最終算法效果如下：

圖2 MC-CNN的算法效果

MC-CNN雖然使用了CNN，但僅限于計(jì)算匹配程度，后期的平滑約束和優(yōu)化都是必不可少的，那有沒(méi)有可能使用CNN一步到位呢？FlowNet就是這樣做的。

FlowNet

為了實(shí)現(xiàn)端到端的模型結(jié)構(gòu)，需要用CNN實(shí)現(xiàn)特征提取，匹配打分和全局優(yōu)化等功能。FlowNet采取了encoder-decoder框架，把一個(gè)CNN分成了收縮和擴(kuò)張兩個(gè)部分。

圖3 encoder-decoder的框架

在收縮部分FlowNet提出了兩種可能的模型結(jié)構(gòu)：

• FlowNetSimple：把兩幅圖片疊起來(lái)輸入到一個(gè)“線性”的CNN中，輸出是每個(gè)像素的偏移量。這個(gè)模型的弱點(diǎn)是計(jì)算量大，而且無(wú)法考慮全局的優(yōu)化手段，因?yàn)槊總€(gè)像素的輸出是獨(dú)立的。

• FlowNetCorr：先對(duì)兩幅圖片分別進(jìn)行特征的提取，然后通過(guò)一個(gè)相關(guān)層把兩個(gè)分支合并起來(lái)并繼續(xù)下面的卷積層運(yùn)算。這個(gè)相關(guān)層的計(jì)算和卷積層類似，只是沒(méi)有了學(xué)習(xí)到的特征權(quán)重，而是由兩個(gè)分支得到的隱層輸出相乘求和。

圖4 FlowNetSimple與FlowNetCorr

FlowNet網(wǎng)絡(luò)收縮部分不僅減少了CNN的計(jì)算量，同時(shí)起到了在圖像平面上聚合信息的作用，這也導(dǎo)致分辨率下降。于是在FlowNet網(wǎng)絡(luò)擴(kuò)張部分使用 “up convolution”來(lái)提高分辨率，注意這里不僅使用了上一層的低分辨率輸出，還使用了網(wǎng)絡(luò)收縮部分相同尺度的隱層輸出，如圖5所示。

圖5 FlowNet網(wǎng)絡(luò)擴(kuò)張

FlowNet算法在常見(jiàn)的公開(kāi)數(shù)據(jù)集上都獲得了不錯(cuò)的效果，值得一提的是它的速度很快。

無(wú)人駕駛物體檢測(cè)

物體檢測(cè)技術(shù)是無(wú)人駕駛感知必不可少的部分。自從2012年CNN在圖片分類問(wèn)題上的突破，物體檢測(cè)自然是CNN應(yīng)用的下一個(gè)目標(biāo)，CNN的物體檢測(cè)算法層出不窮，我們挑選比較有代表性的幾個(gè)算法做介紹。

Faster R-CNN

CNN在物體識(shí)別領(lǐng)域大行其道之前，通常做法類似于DPM（Deformable Parts Model）這樣的解決方案：在圖像上抽取局部特征的組合作為模板，比如基于圖像的空間梯度的HOG特征；為了能夠處理形變，遮擋等變化，我們建立一個(gè)“彈性”的結(jié)構(gòu)，把這些“剛性”的部分組合起來(lái)；***加上一個(gè)分類器判斷物體是否出現(xiàn)。這樣的算法一般復(fù)雜度較高，需要大量經(jīng)驗(yàn)，而且改進(jìn)和優(yōu)化難度較大。CNN的到來(lái)改變了一切。

R-CNN系列算法是一個(gè)兩段式的算法，它把物體識(shí)別這個(gè)問(wèn)題分為：

• 物體可能所在區(qū)域的選擇：輸入一張圖片，由于物體在其中的位置大小有太多可能性，我們需要一個(gè)高效的方法找出它們，這里的重點(diǎn)是在區(qū)域個(gè)數(shù)的一定上限下，盡可能找到所有的物體，關(guān)鍵指標(biāo)是召回率。

• 候選區(qū)域的識(shí)別：給定了圖片中的一塊矩形區(qū)域，識(shí)別其中的物體并修正區(qū)域大小和長(zhǎng)寬比，輸出物體類別和更“緊”的矩形框。這里重點(diǎn)在識(shí)別的精度。

在了解算法的大致架構(gòu)后，來(lái)看看算法的具體實(shí)現(xiàn)，這里主要描述R-CNN這一系列算法的***版：Faster R-CNN，它對(duì)應(yīng)上面兩步分為RPN（Region Proposal Network）和Fast R-CNN，接下來(lái)分別介紹。

RPN

我們稱物體可能所在區(qū)域?yàn)楹蜻x，RPN（Region Proposal Network）的功能是***效地產(chǎn)生一個(gè)候選列表。如圖6，RPN選擇以CNN為基礎(chǔ)，圖片通過(guò)多個(gè)（比如4）卷積層進(jìn)行特征提取，在***一個(gè)卷積層輸出的特征圖上使用一個(gè)3x3的滾動(dòng)窗口連接到一個(gè)256或者512維的全連接隱層，***再分支到兩個(gè)全連接層，一個(gè)輸出物體類別，一個(gè)輸出物體的位置大小。為了能夠使用不同的物體大小和長(zhǎng)寬比，在每一個(gè)位置上考慮三個(gè)尺度(128x128, 256x256, 512x512)和三個(gè)長(zhǎng)寬比(1:1, 1:2, 2:1)一共9種組合。這樣一個(gè)1000x600的圖片上考慮了(1000/16) × (600/16) × 9 ≈ 20,000種位置、大小和長(zhǎng)寬比的組合，由于使用CNN計(jì)算，這一步耗時(shí)不多。***根據(jù)空間重疊程度去掉冗余的候選區(qū)域，一張圖片大約獲得2000個(gè)左右的物體可能區(qū)域。

圖6 Region Proposal Network

Fast R-CNN

在候選區(qū)域分類階段，我們使用的是基于全連接的神經(jīng)網(wǎng)絡(luò)，如圖7的右側(cè)部分：

而左側(cè)的特征提取部分可以重用RPN中的CNN計(jì)算結(jié)果，大大節(jié)約了計(jì)算時(shí)間，能達(dá)到5-17幀每秒的速度。

圖7 Fast R-CNN

MS-CNN

雖然Faster R-CNN算法大名鼎鼎，但在物體尺度變化很大的場(chǎng)景，比如無(wú)人駕駛，它還有提升的空間，Multi-scale CNN（MS-CNN）正是針對(duì)這個(gè)問(wèn)題的嘗試。CNN的層級(jí)結(jié)構(gòu)由于pooling層的存在自然形成了和不同尺度的一個(gè)對(duì)應(yīng)關(guān)系。那為什么不把對(duì)物體的檢測(cè)放到CNN的不同層里去呢？這正是MS-CNN的想法。

在選擇物體候選區(qū)域階段，MS-CNN使用了圖8的網(wǎng)絡(luò)結(jié)構(gòu)，我們看到如果把CNN網(wǎng)絡(luò)里的卷積層看成一個(gè)大樹(shù)的“主干”，那么在conv3、conv4和conv5這三個(gè)卷積層之后，這個(gè)網(wǎng)絡(luò)都長(zhǎng)出了“分支”，每個(gè)“分支”都連接了一個(gè)檢測(cè)層，負(fù)責(zé)一定的尺度范圍，這樣多個(gè)“分支”一起，就能覆蓋比較寬的物體尺度范圍，達(dá)到我們的目的。

在候選區(qū)域識(shí)別階段，我們讓上一階段多個(gè)檢測(cè)層的輸出特征圖分別輸入到一個(gè)子網(wǎng)絡(luò)里，這里有幾個(gè)值得注意的細(xì)節(jié)：

圖8 MS-CNN

• ***層是“Deconvolution”，目的是為了提高特征圖的分辨率，保證物體檢測(cè)的準(zhǔn)確率，特別是對(duì)尺度偏小的物體。

• Deconvolution之后，在抽取物體特征時(shí)（綠色框），同時(shí)還抽取了物體周邊的信息（藍(lán)色的框），這些“上下文”信息對(duì)識(shí)別準(zhǔn)確率的提高有明顯幫助。

總的來(lái)說(shuō)，MS-CNN和Faster R-CNN相比，優(yōu)勢(shì)是識(shí)別的準(zhǔn)確度有很大提高，尤其在物體尺度變化的情況下，比如KITTI數(shù)據(jù)集里面的行人和自行車(chē)。但是Faster R-CNN還是有速度的優(yōu)勢(shì)。

圖9 MS-CNN

SSD

雖然Faster R-CNN的速度比之前的R-CNN已有很大提高，但還達(dá)不到實(shí)時(shí)的要求。Single Shot Detector（SSD）就是一個(gè)能夠?qū)崟r(shí)運(yùn)行，有更佳準(zhǔn)確度的算法，最近人氣很高。SSD沿用了滑動(dòng)窗口的思想，通過(guò)離散化物體的位置，大小和長(zhǎng)寬比，使用CNN高效計(jì)算了各種可能的物體情況，從而達(dá)到了高速檢測(cè)物體的目的。

圖10 Single Shot Detector

如圖10所示，SSD使用了VGG-16網(wǎng)絡(luò)來(lái)做底層的圖片特征提取，通過(guò)取消生成候選區(qū)域，縮放圖片縮放和特征圖采樣的步驟，一步到位判斷物體位置和分類，得到了高速的物體檢測(cè)算法。

在VGG網(wǎng)絡(luò)的基礎(chǔ)上，SSD加入了逐步變小的卷積層，這些不同尺度的卷積層分別使用3x3大小的卷積核進(jìn)行物體位置偏移和分類的判斷，使SSD能夠檢測(cè)到不同大小的物體。

結(jié)論

無(wú)人駕駛的感知部分作為計(jì)算機(jī)視覺(jué)的領(lǐng)域范圍，也不可避免地成為CNN發(fā)揮作用的舞臺(tái)。CNN在無(wú)人駕駛中的應(yīng)用主要包括3D感知與物體檢測(cè)。在3D感知中使用到的網(wǎng)絡(luò)包括MC-CNN與FlowNet， 在物體檢測(cè)中使用到的網(wǎng)絡(luò)包括Faster R-CNN、 MSCNN與SSD。本文詳細(xì)介紹了各種網(wǎng)絡(luò)的優(yōu)缺點(diǎn)，希望對(duì)各位在選擇網(wǎng)絡(luò)時(shí)有幫助。

作者：吳雙，王江，劉少山

本文為《程序員》原創(chuàng)文章