本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面&&個人理解

BEV空間中的3D檢測已成為自動駕駛領域中非常流行的方法，各大公司都在搶占使用。盡管與透視法相比，BEV已有較大改進，但在現實世界的自動駕駛汽車中部署基于BEV的技術仍然具有挑戰性。這主要是由于它們依賴于基于視覺transformer（ViT）的架構，該架構引入了相對于輸入分辨率的二次復雜度。為了解決這個問題，BEVENet提出了一種高效的基于BEV的3D檢測框架，它利用僅卷積的架構設計來規避ViT模型的限制，同時保持基于BEV方法的有效性。

BEVENet的實驗表明，在NuScenes上比SOTA方法快3倍，在NuScene驗證數據集上實現了0.456的mAP和0.555的NDS，推理速度為每秒47.6幀。首次實現了基于BEV方法的顯著效率提高，突出了其在真實世界自動駕駛應用中的增強可行性！

聊一下目前行業應用的情況

BEV空間中的3D檢測在自動駕駛研究界獲得了相當大的吸引力。作為基于激光雷達方法的替代方案，使用周視相機生成偽激光雷達點已成為一種前景廣闊的解決方案。因此，已經提出了許多將感知任務納入BEV空間的方法。然而，現有的方法通常對計算要求很高，并且嚴重依賴于大規模數據集。雖然這些條件可以在實驗室環境中滿足，但它們對在真實世界中的車輛環境中實施存在相當大的障礙。

ViT模塊是需要大量GPU內存消耗和矩陣運算的組件，盡管ViT架構由于其捕獲全局語義信息的能力而在基于BEV的方法中被廣泛使用，但需要在較多的數據集上進行訓練，并且需要比卷積神經網絡（CNNs）更長的訓練時間，以便于模型理解像素之間的位置關系！盡管訓練成本增加，但與基于CNN的模型相比，ViT在各種視覺基準上只提供了微小的改進。

ViT模型的另一個值得注意的限制是其相對于輸入維度的二次復雜度，特別是輸入圖像的分辨率。盡管這些模型是強大的，但它們在嵌入式設備上的部署受到計算資源限制的阻礙。此外，大輸入分辨率肯定受到ViT模型的青睞，然而，自動駕駛場景中的大多數物體都相對較小，因此它們的檢測對ViT模型來說仍然是一個持續的挑戰。

基于上述分析，建議通過研究替代方法來解決這些局限性，例如純基于CNN的模塊。BEVENet主要目標是設計一種高效的3D檢測框架，該框架在受約束的硬件條件下采用BEV范式。為此，系統地分析了3D檢測pipeline中的六個基本組件：主干、視圖投影、深度估計、時間融合、BEV特征編碼和檢測頭。模型復雜性和基準測試指標在分析中都被考慮在內，因為它們是神經網絡模型在現實世界中部署的基本指標。

網絡的設計

BEVENet的目標是設計一個高效的模型，用于在有限的硬件資源上進行部署，同時保持基于BEV的方法的精度。這里采用了一種基于 reduction based的方法，迭代地降低每個模塊的復雜性。具體來說，首先通過GFlop的理論分解和復雜性分析，對NuScenes排行榜上的SOTA方法進行分解。隨后，迭代地組合每個模塊的備選方案，將速度作為設計選擇的基準。最后，試圖通過結合來自已建立的基線的最優模型調整策略來提高最終3D檢測任務的性能。

如圖2所示，BEVENet架構包括六個模塊：具有NuImage預訓練的共享backbone模型ElanNet；具有查找表的視圖投影模塊LSS；具有數據增強的全卷積深度估計模塊；具有2秒歷史信息的時間模塊；具有殘差block的BEV特征編碼器；最后，提出了一種具有環形NMS的簡化檢測頭。

1）Backbone部分

主干模型構成了3D檢測任務的基石，利用來自六個相機的輸入來提取后續任務的基本語義特征。為了緩解ViT模型帶來的復雜性挑戰，使用精心挑選的四個模型進行了比較研究。為了對比ViT模型與其卷積模型之間的復雜性，從每個類別中戰略性地選擇了兩個具有代表性的模型。其中包括naive ViT、SwinT、Resnet和ElanNet。通過這項比較研究，目標是挖掘出性能最好的模型，同時堅持提高簡單性和性能的目標。除了比較主干之外，還同時研究了提高模型性能的可能技術：試圖減輕由來自不同來源的數據集的統計偏移引起的性能惡化（采用了對NuImage的預訓練）。

2） View Projection

視圖投影模塊：來自2D域的相機圖像沿著光線被提升到3D空間，在水平方向和垂直方向上進行投影。參考Lift Splat Shoot和BEVDet，特征投影模塊預測每個像素的深度概率，根據幾何相似性計算地面真實深度（圖3）。

3）深度預測

引入深度估計模塊來補償由視圖投影引起的depth精度噪聲。該模塊用自己的深度預測覆蓋截頭體云點深度，通過經驗確定的權重對兩者進行平均。該模塊攝取激光雷達點和多視圖圖像；前者作為GT，而后者經過增強以增強預測穩健性（圖4）。圖像特征、相機參數和圖像增強變換矩陣的融合被輸入到編碼層中。深度估計模塊利用內參和外參來增強深度預測。在深度估計模塊中，采用了與BEVDepth相同的設計，但將擴充矩陣和外部參數與內部參數一起添加作為深度估計網絡的輸入，MLP層也被卷積網絡所取代。

4）Temporal Fusion 和BEV編碼

時間融合模塊旨在提高3D檢測精度，主要因為模型可以利用潛在時間信息的能力。在被遮擋或遮擋的場景中，它可以根據隱藏目標過去的位置推斷隱藏目標的位置。該模塊設計簡單，通過卷積編碼器處理先前幀的累積特征圖，利用前兩秒跨度的特征更好地解釋被遮擋物體的運動和定位。同時，BEV編碼器模塊充當連接偽激光雷達云和最終檢測頭的中間層。采用兩個殘差block將稀疏的激光雷達點變換為特征點的密集矩陣。BEV空間中的每個網格都是通過具有預定義分辨率的體素化生成的。

5）檢測頭

基于BEV功能，檢測頭參考了CenterPoint，將預測目標設置為包括自動駕駛場景中物體的位置、scale、方向和速度。為了與其他算法進行公平的比較，在訓練階段采用了與CenterPoint相同的設置。損失函數為：

在推理階段，根據RepVGG將所有多分支卷積層和BN層重新參數化為級聯的普通卷積網絡。如圖5a所示，檢測頭包括幾個并行卷積神經網絡，這種結構可以通過合并卷積層和BN層來簡化。如圖5c所示，ResNet-like架構等效于沒有skip連接或1x1卷積的普通卷積神經網絡。identity 模塊可以直接添加到輸出特征圖中，而無需任何特殊操作。同時，通過對批量輸入的平均值和標準方差進行數學求和，可以將BN層與卷積層相結合。通過重新參數化簡化檢測頭的圖示。與原始檢測頭相比，通過輸出節點的值對其進行數學組合，這將產生相同的結果，但乘法運算較少。

實驗對比

數據集和評估指標：BEVENet使用NuScenes基準數據集進行評估，包括通過六個攝像頭和一個激光雷達傳感器拍攝的1000個駕駛場景。該數據集標注了51.2米地平面內的10個類別，用于3D檢測任務。性能評估利用了官方的NuScenes指標，即平均平均精度（mAP）、平均平移誤差（ATE）、平均尺度誤差（ASE）、平均方位誤差（AOE）、平均速度誤差（AVE）、均值屬性誤差（AAE）和NuScenes-Detection Scores（NDS），以及以效率為導向的指標，即每秒幀數（FPS）和GFlops。前者測量NVIDIA A100 GPU上的性能，不包括預處理和后處理時間，而后者使用MMDetection3D工具包。

數據處理：數據處理采用了類似于BEVDet的方法，針對NuScenes數據集的特定需求量身定制，該數據集的原始分辨率為1600×900。在預處理過程中，將其重新縮放到704×256。關鍵幀變換包括隨機翻轉、縮放、裁剪、旋轉和復制粘貼機制，以解決目標分布中的任何傾斜問題。這些增強操作在數學上被轉換為變換矩陣。類均衡分組和采樣（CBGS）與復制粘貼機制相結合，在訓練過程中應用，遵循CenterPoint的方法。在測試階段，只縮放圖像，但不裁剪圖像以與模型的輸入尺寸對齊。

在NuScenes排行榜上選擇了11種SOTA方法作為基線：BEVFormer、BEVDet、BEVDet4D、BEVDepth、PETR、PGD、FCOS3D、DETR3D、CAPE、SoloFusion和TiGBEV。從表I中，可以看到，與SOTA方法相比，BEVENet在各種性能指標上都取得了顯著改進。BEVENet的圖像大小為704x256，在161.42的最低GFlop下，其計算效率優于所有其他模型。這反映了BEVENet的資源效率，使其特別適合在硬件受限的環境中進行部署。在FPS方面，BEVENet也以47.6的幀速率表現出色。至于其他核心性能指標，BEVENet的mAP為45.6，NDS為55.5，再次成為所有中最高的。

消融實驗：

上面的部分展示了模型的最佳性能，與其他SOTA模型并列。下面將介紹通過復雜性分析確定最終設計中出現的模塊的分析過程。考慮到不同模塊配置的不同結果，提出了決策背后的基本原理。為了啟動分析，首先為BEVENet的六個主要模塊中的每一個提出了六個SOTA基線配置，如圖2所示。這些基線配置是ResNet50、LSS、原始BEVDepth、具有視覺tarnsformer模型的BEV編碼器、設置為8秒的時間融合窗口和利用具有Scale NMS的CenterHead的檢測頭。這些基線配置在表III中用粗體突出顯示。將把用于復雜性分析的初始BEVENet稱為BEVENet基線，以將其與最終提出的BEVENet區分開來。對這些基線的添加標記為“+”。六個模塊的消融實驗分析如下：

在分析不同的主干模型時，仔細檢查了ViT、SwinTransformer、ResNet和ELanNet，每個模型都有相似的參數計數，以便進行公正的比較。從ResNet50作為基線開始，根據表III（a），FPS為27.4，mAP為39.3，NDS為45.9，發現ViT在17.9的FPS中表現不佳，Swin-T與ResNet50不相上下，ELanNet在30.2的FPS中更出色。用NuImage預訓練增強ELanNet顯著提高了性能，將FPS提高到30.3，同時將mAP和NDS分別提高到42.0和50.1。因此，為提高推理效率而設計的ELanNet在這項任務中超過了ViT、Swin Transformer和ResNet50。

視圖投影模塊的功能是2D到3D轉換的關鍵，它在各種配置中進行了檢查，ElanNet將NuImage預訓練作為主干。如表III（b）所示，盡管LSS、Transformer和MLP方法之間的FPS、mAP和NDS差異最小，但LSS通過預先計算的圖像到點云轉換矩陣，將FPS顯著提高到34.9，驗證了其對視圖投影的有效性。同時，對投影后深度優化至關重要的深度估計模塊進行了檢查。

圖6最初反映了BEVDepth結構，顯示了其10.9%的巨大復雜性貢獻。因此MLP層被2層殘差block代替，最低限度的重新設計將FPS提高了近一個點，將mAP提高了兩個點（表III（c））。此外，通過集成圖像增強矩陣進一步增強了它。

在一系列時間窗口長度上對時間融合模塊進行了評估，該模塊對高遮擋環境中的有效推理和速度估計細化至關重要。如表III（d）所示，將間隔從“8秒”縮短到“2秒”，FPS適度提高0.6，而不會對mAP或NDS得分造成明顯損害。同時，BEV編碼器模塊作為時間合并特征和檢測頭之間的聯絡，出乎意料地將FPS增強了兩幀，盡管其復雜性適中，如圖6所示。從Transformer作為基線開始，對MLP和殘差塊替換進行了實驗。表III（e）證明了殘差block的卓越性能，將FPS提高到38.8。

原文鏈接：https://mp.weixin.qq.com/s/kEW9DvtmHC7x9VuTLpzMXg