本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

自主駕駛在復雜場景下的目標檢測任務至關重要，而毫米波雷達和視覺融合是確保障礙物精準檢測的主流解決方案。本論文詳細介紹了基于毫米波雷達和視覺融合的障礙物檢測方法，從任務介紹、評估標準和數據集三方面展開。

并對毫米波雷達和視覺融合過程的傳感器部署、傳感器標定和傳感器融合（融合方法分為數據級、決策級和特征級融合方法）三個部分進行了匯總討論。

此外，還介紹了三維（3D）目標檢測、自動駕駛中的激光雷達和視覺融合以及多模態信息融合，并進行了展望。

背景介紹

較高level的自動駕駛車輛面臨的挑戰之一是復雜場景中的精確目標檢測，當前的視覺目標檢測算法已經達到了性能上限，因為檢測算法在實踐中面臨非常復雜的情況。

對于自動駕駛場景，障礙物主要包括行人、汽車、卡車、自行車和摩托車，視覺范圍內的障礙物具有不同的尺度和長寬比。此外，障礙物之間可能存在不同程度的遮擋，并且由于暴雨、大雪和大霧等極端天氣，障礙物的外觀可能會模糊，從而導致檢測性能大大降低[13]。研究表明，CNN對未經訓練的場景泛化能力較差[14]。

camera不足以獨立完成自動駕駛感知任務，與視覺傳感器相比，毫米波雷達的檢測性能受極端天氣的影響較小[15]、[16]。此外，毫米波雷達不僅測量距離，還可以利用運動物體反射信號的多普勒效應測量速度矢量[17]、[18]。然而，毫米波雷達無法提供目標的輪廓信息，并且難以區分相對靜止的目標。從這個方面看，視覺傳感器和毫米波雷達的探測能力可以相互補充。基于毫米波雷達和視覺融合的檢測算法可以顯著提高自主車輛的感知能力，幫助車輛更好地應對復雜場景中的目標檢測任務。

基于毫米波雷達和視覺融合的目標檢測過程如下圖所示，毫米波雷達與視覺融合過程包括三個部分：傳感器選擇、傳感器標定和傳感器融合，為了實現毫米波雷達和視覺融合目標檢測的預期性能，需要解決以下挑戰：

1. 同一時間和空間的標定校準；
2. 融合不同傳感器的數據以實現best性能的目標檢測；

最近幾年，大部分綜述集中在視覺檢測上，很少有radar-camera融合相關的paper，對雷達和視覺融合缺乏深入分析，本論文將重點介紹低成本毫米波雷達和視覺融合解決方案。

檢測任務定義

二維（2D）目標檢測使用2D box在車輛的視覺圖像中選擇檢測到的障礙物目標，然后對目標進行分類和定位。這里的定位指的是圖像中目標的定位，而不是真實世界中目標相對于車輛的定位。

在三維（3D）目標檢測中，使用3D box定位目標，不僅是圖像中確定目標的位置，而且還確定了現實世界中目標的姿態和位置。

評價標準

主要使用AP和AR權衡目標檢測中的準確度和召回率，通過將召回值和精度值分別作為水平軸和垂直軸，可以獲得精度召回（PR）曲線，平均精度（mAP）表示檢測模型的合并結果，可通過計算所有類別的平均AP值獲得。

以自動駕駛KITTI數據集為例，對于2D對象檢測，通過比較檢測邊界框和gt邊界框之間的IoU是否大于閾值來確定目標定位的正確性[22]。然而在自主駕駛的研究中，三維目標檢測目前更具吸引力。KITTI正式規定，對于車輛，正確預測要求預測的3D框與真實3D框重疊70%以上，而對于行人和自行車，則要求3D框重疊50%[24]。

相關數據集

相關數據集主要包括：Apolloscape、KITTI、Cityscapes、Waymo Open Dataset、nuScenes等；

Apolloscape

百度在2017年創建的阿波羅開放平臺的part，它使用Reigl激光雷達收集點云，Reigl生成的三維點云比Velodyne生成的點云更精確、密度更高。目前，ApolloScape已經打開了147000幀像素級語義標注圖像，包括感知分類和道路網絡數據等。

KITTI

KITTI數據集[22]，由德國卡爾斯魯厄理工學院和美國豐田學院建立，是目前最常用的自動駕駛數據集。該團隊使用了一輛配備camera和Velodyne激光雷達的大眾汽車在德國卡爾斯魯厄開車6小時，記錄交通信息。數據集為每個序列提供原始圖像和精確的三維box以及類標簽。類主要包括汽車、面包車、卡車、行人、自行車和電車。

Cityscapes

由三個德國實驗室聯合提供：戴姆勒、馬克斯·普朗克信息研究所和達姆施塔特科技大學。它是一個語義理解圖像-城市街道場景數據集，主要包含來自50多個城市的5000張城市環境中駕駛場景的高質量像素級標注圖像（2975張用于training，500張用于val，1525張用于test，共19個類別）。此外，它還有20000張粗略的標注圖像。

Waymo Open Dataset

Waymo數據集是Alphabet股份有限公司旗下自動駕駛公司Waymo的開源項目。它由Waymo自動駕駛汽車在各種條件下收集的標定數據組成，包括覆蓋25個城市的1000多萬英里自動駕駛里程數據。數據集中包括激光雷達點云和視覺圖像。車輛、行人、騎自行車的人和標志都經過了精心標記，該團隊完成了1200多萬條3D標注和120萬條2D標注。

nuScenes

nuTonomy建立的Nuscene數據集[29]是現有最大的自動駕駛數據集，這是第一個配備全自動車輛傳感器的數據集。該數據集不僅提供相機和激光雷達數據，還包含radar數據，是目前唯一一個包含雷達數據的數據集。nuScenes提供的三維邊界框標注不僅包含23個類，還包含8個屬性，包括行人姿勢、車輛狀態等。

傳感器部署

絕大多數汽車制造商采用了radar和攝像頭相結合的傳感器配置方案，除了特斯拉，其他制造商也使用了融合傳感技術，將激光雷達、毫米波雷達和camera結合起來。可以得出結論，使用radar和視覺融合的傳感解決方案是當前自主駕駛車輛障礙物檢測領域的主流趨勢，主要因為radar和camera具有互補的特性。

領域方案傳感器部署匯總：

Lidar、Radar、Camera三類傳感器性能對比：

毫米波雷達作為自動駕駛車輛上常見和必要的傳感器，具有遠距離探測、低成本和動態目標可探測性的特點。由于這些優點，車輛的感應能力和安全性得到了提高[37]。與激光雷達相比，毫米波雷達的優勢主要體現在應對惡劣天氣和低部署成本方面[36]。此外，它還有以下優點：

• 毫米波雷達可以探測250米范圍內的障礙物，這對自主駕駛的安全至關重要，而激光雷達的探測范圍在150米范圍內[41]。
• 毫米波雷達可以基于多普勒效應測量目標車輛的相對速度，分辨率為0.1m/s，這對于自主駕駛中的車輛決策至關重要[41]。

與毫米波雷達相比，激光雷達具有以下優點[38]、[39]：

• 激光雷達比毫米波雷達具有相對較高的角度分辨率和檢測精度。此外，毫米波雷達數據更稀疏；
• 激光雷達的測量包含語義信息，并滿足先進自主駕駛的感知要求，而毫米波雷達缺乏這一點；
• 無法從毫米波雷達測量中完全濾除雜波，導致雷達信號處理中出現錯誤；

radar是探測距離和徑向速度的最佳傳感器。它具有“全天候”功能，特別是考慮到它在夜間仍能正常工作。然而，雷達無法區分顏色，目標分類能力較差[36]。camera具有良好的顏色感知和分類能力，角度分辨率能力不弱于激光雷達[36]。然而，它們在估計速度和距離方面受到限制[40]。此外，圖像處理依賴于車載芯片算力，而不需要毫米波雷達的信息處理。充分利用雷達感應信息可以大大節省計算資源[36]。通過比較radar和攝像機的特性，可以發現它們之間有許多互補的特性。因此，將radar和視覺融合感知技術應用于障礙物檢測領域，可以有效提高感知精度，增強自主車輛的目標檢測能力。毫米波雷達或激光雷達和視覺融合都很有用。

傳感器標定

不同傳感器的空間位置和采樣頻率不同，同一目標的不同傳感器的傳感信息可能不匹配。因此，校準不同傳感器的傳感信息非常必要，毫米波雷達返回的檢測信息是雷達點，camera接收視覺圖像。以nuScenes[29]的相機和毫米波雷達數據作為示例。該數據集提供的數據已通過幀同步處理，因此不需要時間同步，下圖效果可通過空間坐標變換獲得。雷達點的RGB值由橫向速度、縱向速度和距離這三個物理量轉換而來，雷達點的顏色表示與雷達點對應的對象的物理狀態。一般而言，傳感器校準包括坐標標定[42]–[48]、雷達點濾波[43]、[45]和誤差校準[49]–[51]。

坐標系標定

坐標標定的目的是將雷達點與圖像中的目標進行匹配。對于坐標標定，最常用的方法分為坐標變換方法[45]、[46]、傳感器驗證方法[42]、[44]、[47]和基于視覺的方法[43]、[52]。

坐標變換法通過矩陣運算將同一坐標系下的雷達信息和視覺信息統一起來。[46]根據毫米波雷達和視覺傳感器的空間位置坐標，通過坐標變換方法完成空間校準。針對不同傳感器采樣率引起的時間不一致性，采用線程同步方法實現圖像幀和毫米波雷達數據的同時采集。[45]使用了基于偽逆的點對齊方法，該方法使用最小二乘法獲得坐標變換矩陣。傳統的坐標變換無法生成目標的精確位置，給最終結果帶來誤差。[53]Wang等人提出了一個校準實驗，在不使用專用工具和雷達反射強度的情況下，將真實坐標投影到雷達探測圖中，這削弱了對校準誤差的依賴性。

傳感器驗證方法利用同一物體上不同傳感器的檢測信息相互校準多個傳感器。在[42]中，傳感器驗證包括兩個步驟。首先通過雷達生成目標列表，然后通過視覺信息對列表進行驗證。[47]經過radar坐標變換后，首先粗略搜索圖像，然后與雷達信息進行比較。比較結果將目標分為兩類：匹配目標和非匹配目標。在[44]中，Streubel等人設計了一種融合時隙方法，匹配雷達和視覺在同一時隙中檢測到的對象。

基于視覺的方法：[52]使用運動立體技術實現雷達目標和圖像目標的匹配。[43]Huang等人使用自適應背景減法來檢測圖像中的運動目標，生成候選區域，并通過判斷目標是否存在來驗證目標雷達點是否位于候選區域。

Radar點濾波

雷達點濾波的目的是濾除噪聲和無用的檢測結果，以避免這些雷達點造成的誤判。[45]Guo等人提出了一種利用幀內聚類和幀間跟蹤信息進行噪聲濾波和有效目標提取的方法。在[43]中，通過毫米波雷達獲得的速度和角速度信息對雷達點進行濾波。然后對無效雷達點進行濾波，從而減少樹木和橋梁等固定目標對毫米波雷達的影響。

誤差校準

由于傳感器或數學計算中的誤差，校準的雷達點可能存在誤差。一些文章提出了糾正這些錯誤的方法。在[50]中，提出了一種基于交互式微調的方法，對投影在視覺圖像上的雷達點進行最終校正。[51]中的作者提出了一種改進的擴展卡爾曼濾波（EKF）算法，用于建模不同傳感器的測量誤差。在[49]中，分析了各種坐標對檢測結果的影響，并提出了一種半積分笛卡爾坐標表示方法，將所有信息轉換為隨宿主車輛移動的坐標系。目前使用開源數據集時，不需要進行誤差校準。然而，如果數據集是自制的，則雷達濾波和糾錯是必要的技術步驟。

基于傳感器融合的檢測任務

一般來說，毫米波雷達和視覺融合分為三個層次，包括數據層、決策層和特征層。數據級融合是毫米波雷達和攝像機檢測到的數據的融合，具有最小的數據丟失和最高的可靠性。決策級融合是毫米波雷達和攝像機檢測結果的融合。特征級融合需要提取雷達特征信息，然后將其與圖像特征融合。

數據層融合

數據級融合是一種成熟的融合方案，目前還不是主流的研究趨勢。然而，其融合不同傳感器信息的想法仍有參考價值。如下表所示，數據級融合首先基于雷達點[42]、[45]、[54]、[55]生成感興趣區域（ROI）。然后根據ROI提取視覺圖像的對應區域。最后，使用特征提取器和分類器對這些圖像進行目標檢測[45]、[47]、[53]、[55]–[61]。

一些文獻使用神經網絡進行目標檢測和分類[61]、[62]。對于數據級融合，有效雷達點的數量直接影響最終的檢測結果。如果圖像的某一部分中沒有雷達點，則該部分將被忽略。該方案縮小了目標檢測的搜索空間，節省了計算資源，同時留下了安全隱患。數據級融合過程如圖4所示。

ROI的生成

ROI是圖像中的選定區域，與純圖像處理方案相比，數據級融合方案使用雷達點生成ROI，這可以顯著提高ROI生成的速度[42]。初始ROI的大小由障礙物和毫米波雷達之間的距離決定[45]。

目標檢測

由于圖像中目標位置和大小的不確定性，基于視覺的目標檢測通常采用滑動窗口和多尺度策略，產生大量候選框，導致檢測效率低。毫米波雷達與視覺融合方案避免了滑動窗口方法，降低了計算成本，提高了檢測效率。

決策層融合

決策級融合是目前主流的融合方案，該過程如下表所示：

雷達的優勢在于縱向距離，視覺傳感器的優勢在于水平視野。決策級融合可以兼顧這兩方面的優點，充分利用傳感信息。決策級融合濾波算法的挑戰是建模兩種檢測信息的聯合概率密度函數，決策級融合主要包括兩個步驟：傳感信息處理[65]–[69]、[71]和決策融合[66]、[72]–[78]、[84]。

傳感信息處理

傳感信息的處理包括雷達信息和視覺信息。雷達探測結果生成一個物體列表，并包含物體的速度和距離等信息[65]、[66]；視覺信息處理對圖像執行目標檢測算法，定位2D位置。

決策融合

車輛檢測的決策級融合融合不同傳感器的檢測結果，主流濾波算法應用貝葉斯理論[72]、[73]、卡爾曼濾波框架[74]–[76]和Dempster-Shafer理論[66]。在一些文獻中，雷達檢測目標列表用于驗證視覺檢測結果[77]、[78]，此外，參考文獻[84]提出了運動立體算法來調整和細化最終檢測結果。

基于貝葉斯理論的融合方法

參考文獻[72]提出了一種基于貝葉斯理論的方法，通過使用概率推理方法來解決多傳感器數據融合問題，稱為貝葉斯規劃。當添加新的傳感器時，傳統的多傳感器融合算法不再適用。融合算法在[73]中進行了模塊化和推廣，并提出了一種基于貝葉斯網絡的動態融合方案，以提高每個融合算法的可重用性。

基于卡爾曼濾波的融合方法

[74]基于李群的EKF框架，提出了一種使用特殊歐幾里德群的決策級融合濾波器。參考文獻[75]提出了一種融合框架，可以在3D空間和2D圖像平面中同時跟蹤檢測對象。類似于卡爾曼濾波器的不確定性驅動機制用于均衡不同質量的傳感結果。在[76]中，雷達首先檢測到給定圖像，以粗略搜索目標。然后使用經過訓練的點檢測器來獲得對象的邊界框。采用基于卡爾曼濾波的信息融合方法，證明了集中式和分散式信息融合方案的功能等價性。

基于Dempster-Shafer理論的融合方法

參考文獻[66]提出了基于Dempster-Shafer理論的決策級融合，將多個傳感器的檢測列表作為輸入，使用其中一個作為臨時evidence 網格，并將其與當前evidence 網格融合，最后執行聚類處理，在evidence 網格中確定了目標。

基于雷達驗證的融合方法

參考文獻[77]將視覺檢測和雷達檢測生成的目標列表重疊，以生成唯一的車輛列表。雷達數據用于驗證視覺檢測結果，如果存在與雷達數據中的視覺檢測結果匹配的目標，則藍色框將被標記為強假設。否則，如果沒有目標，它不會被丟棄：一個綠框將被標記為弱假設。參考文獻[78]提出了一種多目標跟蹤（MTT）算法，該算法可以通過評估雷達散射中心的跟蹤分數來實時校正被跟蹤目標列表。利用立體視覺信息擬合目標車輛的輪廓，并利用與目標車輛匹配的雷達目標校正其位置。

特征級融合

特征級融合是近年來出現的一種新方案，該過程如下表所示：

在特征級融合方法[79]–[83]中，使用額外的雷達輸入分支是一種常見的方法，基于CNN的目標檢測模型可以有效地學習圖像特征信息。通過將雷達檢測信息轉化為圖像形式，檢測模型可以同時學習雷達和視覺特征信息，實現特征級融合，特征級融合過程如下圖所示：

基于CNN的融合框架

雷達特征提取的目的是變換雷達信息，因為雷達信息不能與圖像信息直接融合。雷達特征提取主要采用將雷達點轉換到圖像平面生成雷達圖像的方法。多通道變換后的雷達圖像包含雷達檢測到的所有環境特征，每個通道表示一個物理量，如距離、縱向速度、橫向速度等。參考文獻[83]提出了一種新的條件多生成器生成對抗網絡（CMGGAN），該網絡利用雷達傳感器的測量數據生成類似camera圖像，包括雷達傳感器檢測到的所有環境特征。[80]提出了一種新的雷達特征描述方法，稱為雷達稀疏圖像，雷達稀疏圖像是416×416三通道圖像，其大小直接對應于視覺圖像的大小，這三個通道包含雷達點速度和深度特征信息。在[82]中，Chang等人將雷達點處的深度、水平和垂直信息轉換為不同通道的真實像素值。對于沒有雷達點的區域，他們將像素值設置為0，并使用以雷達點為中心的圓圈渲染雷達圖像。在[81]中，考慮到雷達檢測結果中缺乏高度信息，Nobis等人在垂直方向上拉伸投影雷達點，以便更好地將其與圖像整合。雷達信息的特征以像素值的形式存儲在增強圖像中。此外，還提出了一種地面真值噪聲濾波器來濾除無效雷達點。

特征融合

基本特征融合方法可分為兩類：級聯和元素相加。前者將雷達特征矩陣和圖像特征矩陣連接成多通道矩陣，而后者將兩個矩陣合并成一個矩陣。

[79]設置了兩種融合方法：級聯和逐元素相加，實驗結果表明這兩種融合方式都提高了檢測性能。按逐元素添加方法在手動標注的測試集上性能更好，而級聯方法在生成的測試集中性能更好。[82]中提出了一種用于傳感器特征融合的新塊，稱為空間注意融合（SAF）。使用SAF塊生成注意力權重矩陣，以融合雷達和視覺特征。同時，[82]將SAF方法與三種逐元素加法、乘法和級聯方法進行了比較，結果表明，SAF具有最佳性能。此外，[82]在Faster R-CNN上進行了泛化實驗，SAF模型也提高了檢測性能。

挑戰和未來趨勢

Challenges

對于目標檢測任務，目前的研究成果已經取得了優異的性能，然而，這些成果大多是二維目標檢測。在真實的自動駕駛場景中，復雜的交通環境通常需要3D目標檢測來更準確地感知環境信息，當前3D對象檢測網絡的性能遠低于2D檢測的水平。因此，提高三維目標檢測的精度不僅是自動駕駛領域的一項挑戰，也是目標檢測任務中的一項重大挑戰。

毫米波雷達和視覺的融合仍然存在挑戰，這是本文的重點。毫米波雷達的最大缺點是雷達特征稀疏，與視覺圖像相比，毫米波雷達提供的信息非常少，無法帶來顯著的性能改進。此外，毫米波雷達和視覺的特征信息是否可以進一步整合，以及它們之間的相關互信息是否已經挖掘出來，還有待研究。因此，毫米波雷達視覺融合仍然面臨兩大挑戰：稀疏感知信息和更有效的融合，這也是多傳感器融合領域的兩大挑戰！

Future Trends

作者認為有三個主要趨勢，其中之一是3D對象檢測：提高三維目標檢測的精度將是一個主要的研究趨勢。其余兩個趨勢涉及雷達視覺融合。一方面，有必要整合新的傳感信息，即增加新的傳感器，如激光雷達，它在自動駕駛方面取得了優異的性能；另一方面，有必要探索傳感信息融合的新方法，如多模態融合。

基于多傳感器融合的三維目標檢測還在基于視覺的目標檢測網絡的基礎上增加了雷達輸入分支和信息融合模塊。參考文獻[91]使用了一種類似于特征級融合的方案，首先通過2D檢測將雷達點繪制成矩形區域，然后執行3D檢測。此外，由于激光雷達具有豐富的特征，可以重建物體輪廓，更容易估計三維box，因此，利用激光雷達進行多傳感器融合三維物體檢測的研究較多。

隨著激光雷達成本的降低，配備激光雷達的自動駕駛車輛已成為一種趨勢。然而，激光雷達不能替代毫米波雷達，毫米波雷達有其獨特的優勢。激光雷達具有更高的探測精度，它們相輔相成，激光雷達和視覺的融合在自動駕駛中正變得很有價值。無論是毫米波雷達還是激光雷達，其傳感信息在不同模式下都是相同的環境信息。雷達感測信息和視覺信息也是不同模態的信息。將雷達視覺融合視為多模態信息融合，可能有更好的解決方案。此外，在自動駕駛領域，數據集提供的毫米波雷達數據是后處理數據。然而，從信息保護的角度來看，后處理雷達數據中包含的信息量必須相對于原始數據丟失。如果將原始雷達檢測數據和視覺圖像視為兩種不同的傳感信息模式進行融合，則可以獲得更豐富的傳感信息。多模態信息融合的挑戰在于如何完美地組合不同模態的信息及其攜帶的噪聲，以及如何挖掘相關信息以幫助理解同一事物。

原文鏈接：https://mp.weixin.qq.com/s/Oc_rKRgxiYdA8JkJGILHVg