用幾何圖形來實時構建高精地圖，真香！

就是雨天也不在話下~

我們都知道，實時高精地圖，能為自動駕駛汽車提供及時、緊湊且語義豐富的環境信息。但如何提高它的穩健性、有效應對各種復雜場景，成為一大挑戰。

來自北理、港中文、騰訊AI Lab團隊引入一種新表征學習方法——GeMap，端到端學習地圖實例中的幾何形狀和關系。

結果在各種遮擋、路口轉彎的場景也能表現平穩，并實現SOTA。該論文被ECCV 2024收錄。

來看看這到底是如何做到的？

高精地圖的幾何表示

在線矢量化高清 (HD) 地圖的構建對于下游預測和規劃至關重要。

然而，城市道路系統中實例的形狀和關系仍未得到充分探索，例如矩形、平行、垂直或特定車道寬度。

此外，當車輛前進或轉彎時，這些形狀和關系屬性將保持不變。以前的方法基于絕對坐標來格式化實例，在這種情況下，絕對坐標對平移和旋轉很敏感。

團隊提出了GeMap（幾何地圖），它以端到端的方式學習地圖實例的歐幾里得形狀和關系，超越了基本感知。

來看看具體框架。

首先，透視圖 (PV) 圖像被轉換為鳥瞰圖 (BEV) 特征，然后幾何解耦解碼器輸出矢量化高清地圖。

在解碼器的每個塊中，查詢首先通過歐幾里得形狀和關系注意力進行處理，重點關注幾何相關性。

最后，通過形狀和關系約束在 G-Representations 中增強預測。

幾何表示。

團隊引入了捕捉單個地圖實例的形狀（歐幾里得形狀線索）和不同實例之間的關系（歐幾里得關系線索）的幾何表示。

歐幾里得形狀線索。位移向量的長度和相鄰向量之間的角度構成形狀線索，用于計算形狀損失。例如，矩形與 90 度角和兩個相等的邊相關。

歐幾里得關系線索。 點對之間的距離和位移矢量對之間的角度表示關系線索。關系線索與歐幾里得關系幾何有更表面的聯系，例如平行或垂直。

幾何解耦注意力。

一種被MapTR，PivotNet等采用的架構將地圖元素上的每一個點對應到Transformer的一個查詢。這一架構的問題在于：對兩大類的幾何性質（關系和形狀）不加區分。

在自注意力中，所有查詢（也就是“點”）之間都平等地相互作用。然而，地圖元素的形狀對應著一組一組的查詢。這些組之間的交互，在感知元素形狀時就成為了累贅。反之在感知元素之間關聯的時候，形狀亦成為了冗余因素。這意味著將形狀、關聯的感知解耦，可能帶來更好的結果。

他們提出了幾何解耦注意力（GDA）。GDA 將 vanilla 自注意力模塊解耦為歐幾里得形狀注意力（捕獲實例內幾何）和歐幾里得關系注意力（捕獲實例間幾何）。

實驗結果

他們在nuScenes和Argoverse 2兩個數據集上進行了大量實驗。

兩者都是常用的大規模自動駕駛數據集，且提供了地圖標注。

主要結果。

在nuScenes上，他們進行了三組實驗。

我們首先使用了一種比較純粹的目標函數組合，只包括幾何損失和其它必要的損失（如點到點距離、邊的方向、分類），這一組合是為了體現我們提出的幾何性質的重要價值，而不過多追求SOTA的結果。

可以看到，在這種情況下，相比于MapTR，我們的方法能在mAP提升了4%。為了探索GeMap的極限，團隊還加上了一些輔助目標，包括分割和深度估計，在這種情況下實現了SOTA（mAP提升0.7%）。

值得注意的是，取得這樣的提升并不需要犧牲太多的推理速度。

最后，我們還嘗試了引入額外的LiDAR模態輸入，在額外模態輸入的加持下，GeMap的性能也能取得進一步提升。

同樣，在Argoverse 2數據集上也取得了非常突出的效果。

消融實驗。

在nuScenes上進一步進行的消融實驗證明了幾何損失和幾何解耦注意力的價值。

有趣的是，正如團隊所預料的，直接使用幾何損失反而會帶來模型表現的下降。他們認為這是因為結構上的對形狀和關聯處理的耦合，導致模型很難優化幾何表示；而在與幾何解耦注意力結合之后，幾何損失就發揮了應有的作用。

更多結果。

此外，我們還在nuScenes上進行了可視化分析。可視化的結果表明，GeMap除了具有對旋轉和平移的魯棒性，在處理遮擋問題上也表現出了一定優勢，如下圖。圖中有挑戰性的地圖元素使用橘色方框標出。

對于對遮擋的魯棒性，在雨天的實驗結果中也得到了定量驗證。

（因為雨水對相機有天然的遮擋）

這可以解釋為模型學到了幾何性質，因此即使有遮擋，也能更好地猜出地圖元素。

例如，模型理解了車道線的形狀，那么只需要”看到“一部分，就能夠估計剩下的部分；模型理解了車道線之間的平行關系，或者車道的寬度特點，因此哪怕其中一條被遮擋，也能根據平行、寬度因素猜測被遮擋的部分。

在自動駕駛系統中，幾何性質實際上廣泛存在。

例如，在3D目標檢測中，車輛的朝向在同車道上通常具有一致性；在運動預測中，軌跡本身具有形狀上的先驗；在3D車道線檢測中具有車道寬度先驗。

GeMap的建模幾何性質的思路可以恰當地擴展到上述更多的自動駕駛任務中，從幾何角度增強整個自動駕駛系統的性能。

不過，GeMap本身的感知距離相對有限，可以對此進行針對性的改進以增強長距離的感知。

比較常見的思路包括增加時序融合模塊；將相機、激光雷達、毫米波雷達等多種傳感器輸入有機地融合，實現感知距離上的優勢互補。

論文鏈接：https://arxiv.org/abs/2312.03341

項目主頁：https://invictus717.github.io/GeMap/

GitHub源代碼：https://github.com/cnzzx/GeMap