本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫在前面&筆者的個(gè)人理解

近年來(lái)，自動(dòng)駕駛受到越來(lái)越多的關(guān)注，高精地圖成為自動(dòng)駕駛技術(shù)的關(guān)鍵組成部分。這些地圖提供了道路網(wǎng)絡(luò)的復(fù)雜細(xì)節(jié)，并作為車輛定位、導(dǎo)航和決策等關(guān)鍵任務(wù)的基本輸入。鑒于視覺(jué)傳感器的廣泛可用性和可負(fù)擔(dān)性，已成為自動(dòng)駕駛汽車不可或缺的一個(gè)方面。這篇綜述的目的是為研究人員提供HD地圖構(gòu)建的最新進(jìn)展的全面概述和總結(jié)。文章首先簡(jiǎn)要總結(jié)了與使用相機(jī)傳感器創(chuàng)建高精地圖相關(guān)的關(guān)鍵框架和背景信息。隨后對(duì)地圖制作所使用的研究方法進(jìn)行了全面調(diào)查，包括離線和在線方法。特別是，基于網(wǎng)絡(luò)的建圖方法已經(jīng)成為HD地圖領(lǐng)域的一個(gè)突出研究領(lǐng)域。為了應(yīng)對(duì)這一迅速發(fā)展的趨勢(shì)，我們對(duì)這一特定領(lǐng)域的各種研究工作進(jìn)行了全面而細(xì)致的概述。最后討論了相關(guān)問(wèn)題和未來(lái)的挑戰(zhàn)，旨在指導(dǎo)研究人員了解該領(lǐng)域的當(dāng)前趨勢(shì)和流行方法。

總結(jié)來(lái)說(shuō)，本文的主要貢獻(xiàn)如下：

• 1） 回顧了現(xiàn)有的關(guān)于高精地圖構(gòu)建的文獻(xiàn)，特別關(guān)注基于相機(jī)的方法。我們分析了這些方法的優(yōu)勢(shì)和局限性，深入了解了它們?cè)趯?shí)時(shí)自動(dòng)駕駛應(yīng)用中的有效性和適用性；
• 2） 強(qiáng)調(diào)了使用神經(jīng)網(wǎng)絡(luò)進(jìn)行端到端建圖的新興趨勢(shì)，這展示了實(shí)時(shí)高精地圖生成的潛力。我們討論了它們的基本原理、架構(gòu)和性能，揭示了它們?cè)谠擃I(lǐng)域的可行性和實(shí)用性；
• 3） 確定了基于相機(jī)的高精地圖構(gòu)建中的關(guān)鍵挑戰(zhàn)和懸而未決的研究問(wèn)題。

聊一聊相關(guān)背景

HD地圖是一種數(shù)字汽車地圖表示，可以全面準(zhǔn)確地描述自動(dòng)駕駛汽車導(dǎo)航的物理環(huán)境。這些地圖的構(gòu)建需要利用各種數(shù)據(jù)源，包括相機(jī)和激光雷達(dá)傳感器?？紤]到相機(jī)傳感器的成本效益和語(yǔ)義魯棒性，它們的集成已成為自動(dòng)駕駛汽車傳感器套件的重要組成部分。在本節(jié)中，我們闡明了高精地圖構(gòu)建的任務(wù)定義，并提供了該領(lǐng)域所用方法的系統(tǒng)分類。

A.高精地圖構(gòu)建的任務(wù)定義

高精地圖的構(gòu)建通過(guò)生成準(zhǔn)確表示物理環(huán)境的三維模型，豐富視覺(jué)傳感器的數(shù)據(jù)以實(shí)現(xiàn)高精度。基于相機(jī)的高精地圖包括使用安裝在車輛上的一個(gè)或多個(gè)相機(jī)來(lái)捕捉道路環(huán)境的圖像，然后處理這些圖像以提取所需信息。

首先，采集的圖像要經(jīng)過(guò)地圖元素提取方法，包括車道標(biāo)記、交通標(biāo)志、道路邊界等的識(shí)別。通常，計(jì)算機(jī)視覺(jué)算法，如邊緣檢測(cè)、目標(biāo)檢測(cè)和語(yǔ)義分割，都用于此目的。隨后，利用提取的地圖元素來(lái)構(gòu)建道路環(huán)境的3D表示，有助于生成HD地圖。這涉及到將二維元素映射到三維模型上，從而能夠創(chuàng)建道路環(huán)境的詳細(xì)描述。最后，生成的高精地圖經(jīng)過(guò)驗(yàn)證和定期更新，以確保其準(zhǔn)確性和完整性。

從本質(zhì)上講，高精地圖的構(gòu)建過(guò)程需要整合多種技術(shù)和技術(shù)，包括數(shù)據(jù)收集、處理和地圖生成。通過(guò)解決這些技術(shù)固有的相關(guān)挑戰(zhàn)和局限性，我們可以提高高精地圖制作的準(zhǔn)確性和可靠性，從而促進(jìn)更安全、更高效的自動(dòng)駕駛汽車的開(kāi)發(fā)。

B.高精地圖構(gòu)建的分類

根據(jù)時(shí)間成本要求、數(shù)據(jù)處理管道和計(jì)算資源，可視化方法可大致分為離線和在線方法。同樣，基于高精地圖構(gòu)建中使用的數(shù)據(jù)處理框架，視覺(jué)方法可以大致分為基于規(guī)則的方法或基于網(wǎng)絡(luò)的方法。

1）離線和在線方法：術(shù)語(yǔ)“在線”和“離線”建圖起源于SLAM領(lǐng)域，用于區(qū)分實(shí)時(shí)車載過(guò)程和外部進(jìn)行的過(guò)程。在線和離線之間的選擇取決于傳感器數(shù)據(jù)的處理方法、算法的運(yùn)行時(shí)間是否滿足實(shí)時(shí)要求以及計(jì)算設(shè)備的使用情況。該命名法已被各種方法廣泛采用。值得注意的是，HDMapNet引入了在線高精地圖構(gòu)建的概念，強(qiáng)調(diào)使用車載傳感器和硬件創(chuàng)建本地地圖。這種方法不同于傳統(tǒng)的解決方案，傳統(tǒng)解決方案嚴(yán)重依賴人力資源進(jìn)行場(chǎng)外注釋。

如圖4所示，離線建圖方法需要在服務(wù)器上進(jìn)行漫長(zhǎng)的計(jì)算才能獲得詳細(xì)的高精地圖，在線建圖方法直接在自車中生成語(yǔ)義地圖。全局高精地圖的構(gòu)建通常是離線過(guò)程。主要目標(biāo)是生成可用于自動(dòng)駕駛的詳細(xì)準(zhǔn)確的地圖。離線處理允許更多的傳感器數(shù)據(jù)、更復(fù)雜的算法和更長(zhǎng)的處理時(shí)間，從而實(shí)現(xiàn)更高的準(zhǔn)確性和完整性。SLAM是一種在線地圖構(gòu)建方法，需要實(shí)時(shí)處理來(lái)估計(jì)車輛的位置并同時(shí)繪制地圖。隨著計(jì)算機(jī)視覺(jué)任務(wù)的發(fā)展，地圖已被建模為神經(jīng)網(wǎng)絡(luò)可以學(xué)習(xí)的目標(biāo)，也逐漸出現(xiàn)了能夠端到端在線構(gòu)建高精地圖的網(wǎng)絡(luò)。

2） 基于規(guī)則和基于網(wǎng)絡(luò)的模型：基于規(guī)則的高精地圖使用預(yù)定義的算法和規(guī)則，使用顏色閾值和霍夫變換等技術(shù)構(gòu)建地圖。雖然這些方法很簡(jiǎn)單，但可能缺乏準(zhǔn)確性、穩(wěn)定性和對(duì)不同環(huán)境的適應(yīng)性。相比之下，基于網(wǎng)絡(luò)的方法在管理復(fù)雜場(chǎng)景、學(xué)習(xí)復(fù)雜模式以提高準(zhǔn)確性方面表現(xiàn)出了高超的能力。然而，它們依賴于標(biāo)注的數(shù)據(jù)和大量的計(jì)算資源，并且它們的擬合能力限制了全局HD地圖的生成?；旌戏椒ńY(jié)合了其他方法，在各自擅長(zhǎng)的地方使用。例如，語(yǔ)義分割網(wǎng)絡(luò)可以提取地圖元素，而基于規(guī)則的3D重建，如關(guān)鍵點(diǎn)匹配，是3D構(gòu)建階段的首選。

C.相關(guān)數(shù)據(jù)集

無(wú)論是使用數(shù)據(jù)驅(qū)動(dòng)的網(wǎng)絡(luò)方法還是基于規(guī)則的方法，高精地圖的構(gòu)建都需要大量的數(shù)據(jù)。相關(guān)數(shù)據(jù)集大致可分為二維數(shù)據(jù)集、三維數(shù)據(jù)集和高精地圖數(shù)據(jù)集。

• 2D數(shù)據(jù)集：常見(jiàn)的2D數(shù)據(jù)集有Cityscapes、Mapillary Vistas等；
• 3D數(shù)據(jù)集見(jiàn)表1；
• HD map數(shù)據(jù)集：最常見(jiàn)的HD map數(shù)據(jù)集便是nuScenes、Argoverse2、OpenLane-V2等；
• 車道數(shù)據(jù)集見(jiàn)表2。

基于視覺(jué)的離線全局高精地圖構(gòu)建

基于昂貴采集車輛的傳統(tǒng)集中式高精地圖構(gòu)建和基于傳感器的低成本視覺(jué)眾包解決方案都不在自動(dòng)駕駛汽車的車輛側(cè)進(jìn)行高精地圖構(gòu)建。我們將這種在云中或服務(wù)器上構(gòu)建高精地圖的方法歸類為離線高精地圖構(gòu)建，表示在車輛側(cè)完成數(shù)據(jù)收集后，需要離開(kāi)車輛側(cè)將傳感器數(shù)據(jù)處理成地圖。在本節(jié)中，我們首先解釋離線構(gòu)建高精地圖的原因。接下來(lái)詳細(xì)介紹離線構(gòu)建高精地圖的常見(jiàn)步驟：地圖元素提取、三維矢量化重建和地圖元素更新。第一步是地圖元素提取，包括識(shí)別和隔離地圖上的不同地圖元素實(shí)例，如車道、燈桿和地標(biāo)。這個(gè)過(guò)程可以使用各種技術(shù)來(lái)實(shí)現(xiàn)，例如語(yǔ)義分割和目標(biāo)檢測(cè)算法，它們分析輸入的視覺(jué)傳感器數(shù)據(jù)以提取和分類不同的元素。該過(guò)程中的第二步是地圖元素的3D重建。一旦識(shí)別并隔離了地圖元素，下一步就是創(chuàng)建這些元素的3D表示。這通常使用計(jì)算機(jī)視覺(jué)技術(shù)來(lái)重建3D環(huán)境。這些方法允許創(chuàng)建每個(gè)地圖元素的高度精確的3D模型，該模型可用于創(chuàng)建詳細(xì)和精確的地圖。近年來(lái)，隨著三維檢測(cè)任務(wù)的發(fā)展，人們對(duì)直接從傳感器輸入中估計(jì)三維目標(biāo)的位置和形狀信息進(jìn)行了大量研究。地圖元素也可以作為3D檢測(cè)算法的研究目標(biāo)，直接獲得3D地圖元素信息。然而，目前對(duì)3D地圖元素的端到端提取的研究有限，只有3D車道線提取的工作和數(shù)據(jù)集。通過(guò)融合3D地圖元素、位置、基礎(chǔ)地圖和其他信息，可以構(gòu)建或更新高精地圖?？傮w而言，離線構(gòu)建高精地圖的過(guò)程非常復(fù)雜，需要準(zhǔn)確的地圖元素的位置和形狀信息，并進(jìn)行有效的融合。

A.為什么要離線構(gòu)建高精地圖

由于高精地圖的高精度，從傳感器數(shù)據(jù)到地圖的制作過(guò)程需要先進(jìn)的算法來(lái)處理大量的傳感器數(shù)據(jù)，并使三維地圖中的地圖元素盡可能精確，以獲得覆蓋范圍廣的高精地圖。因此，高精地圖的制作需要大量的計(jì)算資源，如強(qiáng)大的處理器，以克服大數(shù)據(jù)量和復(fù)雜制作步驟的挑戰(zhàn)。然而，所需的計(jì)算資源很難在自動(dòng)駕駛汽車的車載硬件上實(shí)現(xiàn)，尤其是在自動(dòng)駕駛車輛的情況下，其中計(jì)算硬件配備了更真實(shí)的車輛感知算法，這些算法需要大量資源來(lái)確保駕駛安全性和可靠性。由于自動(dòng)駕駛汽車上安裝的算法之間的優(yōu)先級(jí)限制，可用于地圖繪制的計(jì)算資源量將不豐富。將傳感器數(shù)據(jù)傳輸?shù)竭h(yuǎn)程服務(wù)器進(jìn)行處理可以降低車輛網(wǎng)絡(luò)連接的負(fù)載和存儲(chǔ)容量。此外，在其他服務(wù)器上離線構(gòu)建高精地圖允許多輛車共享同一張地圖并協(xié)作構(gòu)建。這減少了重復(fù)性工作，并提高了地圖的準(zhǔn)確性和完整性。高精地圖的離線構(gòu)建仍然是繪制地圖的主要方法。在這篇文章中，我們將只討論基于相機(jī)的算法。

B.離線全局高精地圖構(gòu)建pipeline

基于相機(jī)的離線高精地圖創(chuàng)建過(guò)程，從圖像數(shù)據(jù)輸入開(kāi)始，可以分為地圖元素提取、地圖元素的三維重建、定位和建圖。

地圖元素提取是從相機(jī)傳感器構(gòu)建地圖的第一步。該步驟主要涉及通過(guò)對(duì)輸入的原始圖像數(shù)據(jù)的一系列操作來(lái)獲得關(guān)于圖像平面中的結(jié)構(gòu)化地圖元素的準(zhǔn)確信息。最初，這是使用簡(jiǎn)單的計(jì)算機(jī)圖形算法實(shí)現(xiàn)的，例如基于霍夫變換的車道線提取。隨著今年圖像算法的發(fā)展，目標(biāo)檢測(cè)和語(yǔ)義分割得到了廣泛的研究。地圖元素可以用作經(jīng)典計(jì)算機(jī)視覺(jué)任務(wù)的研究目標(biāo)，如語(yǔ)義分割和目標(biāo)檢測(cè)?？梢詫?duì)地圖元素進(jìn)行注釋，并通過(guò)相應(yīng)地訓(xùn)練神經(jīng)網(wǎng)絡(luò)來(lái)獲得地圖元素的提取結(jié)果。通過(guò)神經(jīng)網(wǎng)絡(luò)提取地圖元素的方法使地圖元素提取算法更加穩(wěn)健和靈活，減少了人工干預(yù)，大大提高了地圖構(gòu)建的效率。具體而言，segment anything的工作標(biāo)志著使用神經(jīng)網(wǎng)絡(luò)提取圖像目標(biāo)的時(shí)代更加全面和精細(xì)，這提供了更強(qiáng)的提取地圖元素的能力。

3D元素建模緊跟著在透視圖中提取地圖元素的工作。該步驟是通過(guò)透視變換將相機(jī)空間中的地圖元素轉(zhuǎn)換為3D空間中的地圖元素。傳統(tǒng)的方法通常是利用激光雷達(dá)數(shù)據(jù)通過(guò)校準(zhǔn)獲得這種轉(zhuǎn)換關(guān)系，并通過(guò)簡(jiǎn)單的計(jì)算直接進(jìn)行透視變換。最近，越來(lái)越多的方法試圖探索通過(guò)神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)從2D圖像輸入到3D空間的地圖元素提取。近年來(lái)，隨著Nerf的提出，用于3D地圖重建的隱式編碼空間視角關(guān)系的神經(jīng)網(wǎng)絡(luò)正逐漸被考慮在內(nèi)。

數(shù)據(jù)融合是高精地圖離線建設(shè)的最后一步。這項(xiàng)工作通常利用多個(gè)幀之間的一致性來(lái)融合每個(gè)幀的提取地圖元素?cái)?shù)據(jù)。通過(guò)融合多幀數(shù)據(jù)，最終獲得完整的全局高精地圖。

C.地圖元素提取

地圖要素提取是高精地圖構(gòu)建中最重要的環(huán)節(jié)。它是從原始視覺(jué)傳感器數(shù)據(jù)中提取準(zhǔn)確的結(jié)構(gòu)化地圖元素信息，這是高精地圖構(gòu)建的基本任務(wù)。在傳統(tǒng)的集中式高精晰度地圖構(gòu)建方案中，如圖2所示，地圖元素提取通常通過(guò)基于規(guī)則的方法來(lái)完成，如霍夫變換、多項(xiàng)式擬合、閾值化等。

2013年后，隨著深度學(xué)習(xí)的快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)的方法逐漸成為主流。地圖元素提取通常遵循自動(dòng)駕駛感知任務(wù)的范式，將地圖元素視為傳統(tǒng)視覺(jué)任務(wù)的主體。卷積神經(jīng)網(wǎng)絡(luò)證明了在不同尺度上提取特征的能力。通過(guò)在結(jié)構(gòu)上設(shè)計(jì)不同類型的網(wǎng)絡(luò)層，可以將包括特征提取、分類、語(yǔ)義分割和目標(biāo)檢測(cè)在內(nèi)的任務(wù)無(wú)縫集成到單個(gè)網(wǎng)絡(luò)模型中，以進(jìn)行全面的訓(xùn)練和優(yōu)化。近年來(lái)，隨著ViT的引入，也出現(xiàn)了一些基于變換器結(jié)構(gòu)的特征提取主干。上述主干網(wǎng)絡(luò)通常被設(shè)計(jì)用于圖像分類任務(wù)，將提取的圖像特征映射到一組分類概率中。實(shí)際應(yīng)用程序的可視化任務(wù)更為復(fù)雜。

通過(guò)主干完成特征提取后，通常會(huì)根據(jù)任務(wù)要求設(shè)計(jì)不同的解碼網(wǎng)絡(luò)，輸出所需的數(shù)據(jù)模式。根據(jù)不同的輸出格式，視覺(jué)任務(wù)可分為圖像分類、語(yǔ)義分割、目標(biāo)檢測(cè)和實(shí)例分割。

1）用于建圖的語(yǔ)義分割：語(yǔ)義分割是將圖像分割成與不同類別的目標(biāo)（如道路、人行道、車道、交通標(biāo)志等）相對(duì)應(yīng)的區(qū)域的任務(wù)。它通?；谠跇?biāo)記圖像的大型數(shù)據(jù)集上訓(xùn)練的網(wǎng)絡(luò)，可以實(shí)現(xiàn)實(shí)時(shí)分割不同類型目標(biāo)的高精度。

2）用于建圖的目標(biāo)檢測(cè)：目標(biāo)檢測(cè)任務(wù)是檢測(cè)和定位圖像或視頻幀中感興趣的目標(biāo)。它最初包括兩個(gè)階段的過(guò)程，首先生成一組區(qū)域建議，然后將每個(gè)建議分類為特定的目標(biāo)類別（如汽車、行人、交通標(biāo)志等）。目標(biāo)檢測(cè)可以基于各種CNN架構(gòu)，如Faster R-CNN、YOLO、SSD、CenterNet和CornerNet。一些目標(biāo)檢測(cè)方法的比較如表IV所示。

近年來(lái)，ViT的發(fā)明進(jìn)一步提高了物體檢測(cè)任務(wù)的能力。這種機(jī)制有效地增強(qiáng)了模型關(guān)注整個(gè)圖像的能力，并可以實(shí)現(xiàn)更高的精度。DETR表示的模型將目標(biāo)與預(yù)設(shè)的查詢相對(duì)應(yīng)，使端到端的目標(biāo)檢測(cè)更加有效，這只有一個(gè)階段。

目標(biāo)檢測(cè)方法通常提供特定目標(biāo)類型的邊界框信息，但它們通常缺乏精確的形狀信息，這對(duì)于繪制HD地圖至關(guān)重要。因此，物體檢測(cè)主要用于識(shí)別元素，如地面箭頭、燈桿和交通燈，這些元素主要需要關(guān)于位置和類別的信息，而不是詳細(xì)的形狀表示。由于物體檢測(cè)技術(shù)的局限性，高精地圖中形狀相關(guān)元素的準(zhǔn)確描述仍然是一個(gè)挑戰(zhàn)。

3）用于建圖的實(shí)例分割：語(yǔ)義分割雖然提供了像素級(jí)的語(yǔ)義類別，但在區(qū)分同一類別的不同實(shí)例方面存在不足，不足以滿足高精地圖更新和構(gòu)建自動(dòng)駕駛?cè)蝿?wù)的駕駛空間的要求。因此，實(shí)例分割被研究為語(yǔ)義分割的擴(kuò)展，以有效準(zhǔn)確地從圖像數(shù)據(jù)中獲得元素類別、形狀信息和位置細(xì)節(jié)，在自動(dòng)駕駛應(yīng)用中發(fā)揮著至關(guān)重要的作用。實(shí)例分割涉及處理圖像數(shù)據(jù)以獲取圖像中每個(gè)感興趣個(gè)體的像素級(jí)掩碼，其中具有相同語(yǔ)義類別的個(gè)體被分配不同的實(shí)例號(hào)以及共享的語(yǔ)義標(biāo)簽。該任務(wù)能夠同時(shí)提取單個(gè)類別、精確的位置信息和相應(yīng)的形狀細(xì)節(jié)。

D.三維重建

提取圖像中的地圖元素信息后，通常需要通過(guò)矢量提取、視角轉(zhuǎn)換等方法對(duì)高精晰度地圖的三維空間中的地圖要素進(jìn)行建模，如圖8所示。一種常見(jiàn)的3D重建方法是攝影測(cè)量，它涉及使用從不同角度拍攝的照片來(lái)創(chuàng)建3D模型。這項(xiàng)技術(shù)依賴于這樣一個(gè)事實(shí)，即照片中的物體根據(jù)其在空間中的位置而不同，從而可以計(jì)算其三維坐標(biāo)。攝影測(cè)量可以使用專門的軟件工具進(jìn)行，這些工具可以自動(dòng)識(shí)別和匹配照片中的特征，然后根據(jù)這些匹配生成3D模型。

E.HD地圖構(gòu)建

高精地圖構(gòu)建需要融合來(lái)自不同幀或不同相機(jī)傳感器的各種地圖元素及其相應(yīng)的3D空間關(guān)系。此過(guò)程旨在創(chuàng)建地圖區(qū)域的統(tǒng)一、精確表示。它本質(zhì)上構(gòu)成了一個(gè)經(jīng)典的多傳感器多源融合挑戰(zhàn)。最近，隨著在線地圖神經(jīng)網(wǎng)絡(luò)的發(fā)展，一些工作也設(shè)計(jì)了用于離線地圖融合的網(wǎng)絡(luò)結(jié)構(gòu)。MVMap利用多視圖特征視角提供的全局一致性，將多個(gè)幀的地圖輸出集成到統(tǒng)一的HD地圖中。為了減輕檢測(cè)不太準(zhǔn)確或不太清楚的幀的影響，該模型結(jié)合了置信度估計(jì)模塊。該模塊為更精確估計(jì)的幀分配更高的權(quán)重，便于基于置信度得分對(duì)HD Map補(bǔ)丁進(jìn)行加權(quán)平均。NeMO設(shè)計(jì)了一個(gè)可寫可讀的大地圖、一個(gè)基于學(xué)習(xí)的融合模塊以及它們之間的交互。通過(guò)假設(shè)所有BEV網(wǎng)格上的特征分布一致，應(yīng)用共享權(quán)重神經(jīng)網(wǎng)絡(luò)來(lái)更新廣泛的大地圖。這種創(chuàng)新范式能夠融合廣泛的時(shí)間序列數(shù)據(jù)，并創(chuàng)建擴(kuò)展范圍的BEV局部地圖。

為了解決高精地圖高成本注釋的挑戰(zhàn)，已經(jīng)開(kāi)發(fā)了矢量化地圖注釋（VMA）框架。它結(jié)合了一種分而治之的注釋策略，以解決高精地圖創(chuàng)建中的空間可擴(kuò)展性問(wèn)題。VMA將地圖元素簡(jiǎn)化為統(tǒng)一的點(diǎn)序列表示，包括一系列幾何圖案。

表V總結(jié)了在nuScenes數(shù)據(jù)集上評(píng)估的各種語(yǔ)義圖構(gòu)建方法的性能，其中IoU作為準(zhǔn)確性度量。對(duì)這些方法的比較表明，仍有改進(jìn)的潛力，特別是在實(shí)現(xiàn)人行橫道的更高精度方面。

基于視覺(jué)的在線局部高精地圖構(gòu)建

A.為什么要在線構(gòu)建高精地圖

在線構(gòu)建高精地圖是指實(shí)時(shí)生成地圖。這種方法提供了幾個(gè)顯著的優(yōu)點(diǎn)。首先，在線構(gòu)建確保了高精地圖不斷更新最新數(shù)據(jù)的新鮮感。這保證了地圖保持準(zhǔn)確，即使在路況頻繁變化的動(dòng)態(tài)環(huán)境中也是如此。這種實(shí)時(shí)更新功能使車輛能夠做出明智的決定，繞過(guò)障礙物并避免事故。其次，在線構(gòu)建提供了將各種數(shù)據(jù)源合并用于地圖創(chuàng)建的靈活性。來(lái)自聯(lián)網(wǎng)車輛的實(shí)時(shí)數(shù)據(jù)可以補(bǔ)充現(xiàn)有的地圖信息，提高準(zhǔn)確性和適應(yīng)性。第三，通過(guò)消除離線處理和存儲(chǔ)的需要，在線高精地圖構(gòu)建可以潛在地降低總體成本。這在涉及大量自動(dòng)駕駛汽車的場(chǎng)景中尤其有益，在這些場(chǎng)景中，成本效益高的解決方案至關(guān)重要。

B.沒(méi)有矢量化實(shí)例的在線建圖方法

1）onboard視覺(jué)SLAM：SLAM問(wèn)題最早是在1986年的國(guó)際機(jī)器人與自動(dòng)化會(huì)議（ICRA）上提出的。SLAM被描述為，放置在未知環(huán)境中未知位置的機(jī)器人是否可以逐步構(gòu)建環(huán)境的一致地圖，同時(shí)實(shí)時(shí)確定其在地圖中的位置，要求配備有特定傳感器的受試者在沒(méi)有關(guān)于環(huán)境的先驗(yàn)信息的情況下實(shí)時(shí)估計(jì)其自身的運(yùn)動(dòng)以解決定位問(wèn)題并且同時(shí)構(gòu)建環(huán)境的地圖以解決地圖構(gòu)建問(wèn)題。

2）占用網(wǎng)絡(luò)：占用網(wǎng)絡(luò)的任務(wù)最早由特斯拉提出。該方法將周圍環(huán)境劃分為體素網(wǎng)格，體素的屬性包括占用概率、語(yǔ)義信息和占用流信息。通過(guò)體素的表示，運(yùn)動(dòng)中的車輛對(duì)周圍環(huán)境有著密集的理解和認(rèn)知。從NeRF中汲取靈感，占用網(wǎng)絡(luò)包含了一個(gè)隱式可查詢MLP解碼器。該解碼器可以處理任何坐標(biāo)值（x，y，z），以提取關(guān)于該空間中的位置的細(xì)節(jié)，包括所提到的屬性信息。這種能力使占用網(wǎng)絡(luò)能夠?qū)崿F(xiàn)3D占用地圖的靈活分辨率。

總之，SLAM一直是一個(gè)廣泛研究的主題，而占用網(wǎng)絡(luò)代表了實(shí)時(shí)創(chuàng)建環(huán)境三維表示的最新進(jìn)展，從而產(chǎn)生了密集的語(yǔ)義圖。這兩種類型的方法還需要更多地關(guān)注非地圖元素的類別，例如行人、車輛和樹(shù)木。這些信息對(duì)于實(shí)際車輛駕駛是必要的，但對(duì)于全球高精地圖構(gòu)建來(lái)說(shuō)有些多余。此外，地圖元素的實(shí)例級(jí)信息仍然短缺。

C.Onboard矢量化HD地圖網(wǎng)絡(luò)

HDMapNet的出現(xiàn)，及其使用神經(jīng)網(wǎng)絡(luò)直接建模矢量化地圖元素實(shí)例的創(chuàng)新方法，引發(fā)了該領(lǐng)域的興趣激增，并引發(fā)了研究的新趨勢(shì)。該方法側(cè)重于分析矢量化靜態(tài)地圖元素實(shí)例，最終通過(guò)應(yīng)用神經(jīng)網(wǎng)絡(luò)直接從車輛攝像頭數(shù)據(jù)生成矢量化地圖。

1） 矢量化高精地圖網(wǎng)絡(luò)的通用管道：專門用于矢量化高精地圖構(gòu)建的神經(jīng)網(wǎng)絡(luò)的一般過(guò)程在圖10中總結(jié)為幾個(gè)主要部分。如圖10所示，在輸入環(huán)視圖像后，高精地圖構(gòu)建網(wǎng)絡(luò)的總體架構(gòu)可以劃分為不同的部分：主干、視角轉(zhuǎn)換和地圖解碼器。這三個(gè)組成部分構(gòu)成了視覺(jué)建圖網(wǎng)絡(luò)的基本框架，這是各種相關(guān)方法共享的共同結(jié)構(gòu)。為了增強(qiáng)建圖性能，某些方法包含了補(bǔ)充的后處理步驟、時(shí)間信息注入和輔助監(jiān)督分支。這些附加方法對(duì)于視覺(jué)建圖不是必需的。

2）使用后處理學(xué)習(xí)地圖組件：HDMapNet是第一個(gè)將深度神經(jīng)網(wǎng)絡(luò)直接應(yīng)用于語(yǔ)義地圖構(gòu)建的任務(wù)。具體結(jié)構(gòu)如圖11所示。網(wǎng)絡(luò)結(jié)構(gòu)通過(guò)視覺(jué)傳感器的數(shù)據(jù)輸入，通過(guò)Transformer網(wǎng)絡(luò)模型，直接對(duì)BEV視角下的多視圖數(shù)據(jù)進(jìn)行解碼和融合，最終生成三個(gè)網(wǎng)絡(luò)分支，分別進(jìn)行車道線的語(yǔ)義分割、實(shí)例嵌入量的學(xué)習(xí)和車道線方向的預(yù)測(cè)。通過(guò)對(duì)車道線進(jìn)行語(yǔ)義分割，獲得屬于車道線的鳥(niǎo)瞰圖的透視像素，然后通過(guò)實(shí)例嵌入量和方向預(yù)測(cè)字段連接每幀數(shù)據(jù)的車道起點(diǎn)，生成車道線實(shí)例。通過(guò)對(duì)三個(gè)分支數(shù)據(jù)的組合后處理，最終生成具有方向信息的實(shí)例級(jí)鳥(niǎo)瞰視角下的車道線結(jié)果，實(shí)現(xiàn)了簡(jiǎn)單地圖的實(shí)時(shí)構(gòu)建。

然而，HDMapNet仍然需要經(jīng)過(guò)大量的后處理步驟。從上面自下而上的實(shí)例提取方法的介紹可以看出，這種方法消耗了大量的時(shí)間，而且后處理不穩(wěn)定，無(wú)法在車端實(shí)時(shí)構(gòu)建地圖。

在CVPR2023自動(dòng)駕駛挑戰(zhàn)賽中，MachMap在Argoverse2基準(zhǔn)測(cè)試中達(dá)到83.5 mAP，并以非常領(lǐng)先的性能位居地圖挑戰(zhàn)賽第一。MachMap將任務(wù)劃分為多段線的直線檢測(cè)和多邊形的實(shí)例分割。

3）端到端建圖網(wǎng)絡(luò)：許多方法已經(jīng)探索了端到端在線建圖。VectorMapNet是第一個(gè)實(shí)現(xiàn)高精地圖直接輸出的網(wǎng)絡(luò)。VectorMapNet通過(guò)深度神經(jīng)網(wǎng)絡(luò)提取網(wǎng)絡(luò)編碼的視角轉(zhuǎn)換特征，獲得鳥(niǎo)瞰圖下的深度特征，然后將地圖元素設(shè)置為查詢輸入，通過(guò)地圖元素檢測(cè)器檢測(cè)關(guān)鍵點(diǎn)表示的地圖元素，將鳥(niǎo)瞰圖的深度特征和關(guān)鍵點(diǎn)進(jìn)行集成，并通過(guò)設(shè)計(jì)曲線生成模型結(jié)構(gòu)將連接信息分配給關(guān)鍵點(diǎn)，最終直接輸出矢量化的三維地圖結(jié)果。MapTR的具體結(jié)構(gòu)如圖12所示。后續(xù)發(fā)展出來(lái)了MapTRv2、InsightMapper、InstaGraM、PivotNet、Bi-Mapper等等一系列算法。

4）時(shí)序融合：上述方法使用視覺(jué)傳感器生成矢量化高精地圖。然而，由于它們僅依賴于單幀輸入，因此它們遇到了限制。這種約束影響了它們的穩(wěn)健性和有效性，尤其是在閉塞等復(fù)雜場(chǎng)景中，主要是由于缺乏時(shí)間背景。此外，當(dāng)應(yīng)用于感知范圍擴(kuò)大的情況時(shí)，它們的性能往往會(huì)惡化。引入時(shí)間信息以在此基礎(chǔ)上構(gòu)建局部地圖是一種自然的過(guò)程。一方面，時(shí)間連續(xù)性為障礙物遮擋的挑戰(zhàn)提供了有效的解決方案。另一方面，它增強(qiáng)了空間信息的恢復(fù)，從而提高了從PV到BEV轉(zhuǎn)換的準(zhǔn)確性。此外，時(shí)間連續(xù)性有助于直接生成綜合的局部地圖。StreamMapNet是第一個(gè)將時(shí)間信息引入在線地圖的工作。如圖13所示，主預(yù)測(cè)器與其他單幀網(wǎng)絡(luò)結(jié)構(gòu)基本相同，由BEV編碼器和地圖解碼器組成。不同的是，它使用內(nèi)存緩沖區(qū)來(lái)存儲(chǔ)傳播的內(nèi)存特性。

5）矢量化地圖構(gòu)建網(wǎng)絡(luò)的研究現(xiàn)狀和比較：表VI總結(jié)了最近在nuScenes數(shù)據(jù)集上的一些工作的性能。上述最先進(jìn)的研究側(cè)重于使用具有特定規(guī)則的點(diǎn)集作為建模地圖元素。該研究利用神經(jīng)網(wǎng)絡(luò)強(qiáng)大的學(xué)習(xí)能力，通過(guò)逐層可變電壓解碼器查詢預(yù)設(shè)的地圖元素實(shí)例，輸出端到端的矢量化車道線地圖。這使得能夠?qū)崟r(shí)構(gòu)建端到端的車道圖。然而，值得注意的是，該研究尚處于早期階段，缺乏地圖元素中典型的廣泛語(yǔ)義和拓?fù)溥壿嬯P(guān)聯(lián)。此外，在利用時(shí)間信息方面的工作并不多，大量的時(shí)間感知任務(wù)提供了很好的參考價(jià)值。因此，需要進(jìn)一步的研究來(lái)探索這一領(lǐng)域。

與建圖相關(guān)的其他工作

拓?fù)漕A(yù)測(cè)

車道圖是高級(jí)自動(dòng)駕駛中離線高精地圖的基本組成部分。道路網(wǎng)絡(luò)對(duì)規(guī)劃和導(dǎo)航非常有用。因此，道路網(wǎng)絡(luò)預(yù)測(cè)的任務(wù)可以是地圖的一部分。如圖14所示，車道中心線、相應(yīng)的十字路口、紅綠燈控制信號(hào)等是高精地圖的關(guān)鍵信息。

STSU首先提出了在線車道拓?fù)浣Y(jié)構(gòu)的提取，它將任務(wù)擴(kuò)展到包括中心線提取和車道連接關(guān)系。隨后，LaneGap等工作將連接關(guān)系建模為用于檢測(cè)的可驅(qū)動(dòng)路徑。這一方面也包含在MapTRv2中。隨后，引入了交通元素與車道之間的對(duì)應(yīng)關(guān)系，進(jìn)一步提高了對(duì)場(chǎng)景結(jié)構(gòu)的理解。例如，OpenLaneV2數(shù)據(jù)集及其相應(yīng)的算法TopoNet。MFV在OpenLaneV2數(shù)據(jù)集的拓?fù)涮魬?zhàn)中排名第一。此外，Road Genome為拓?fù)渫评硪肓艘粋€(gè)新的基準(zhǔn)。

這類工作的挑戰(zhàn)是如何將道路網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu)建模為一組可以通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的值，以及如何在建模道路網(wǎng)絡(luò)結(jié)構(gòu)之間的關(guān)系以及如何有效利用信號(hào)燈和標(biāo)志的信息的基礎(chǔ)上設(shè)計(jì)適當(dāng)?shù)木W(wǎng)絡(luò)。然而，現(xiàn)有的數(shù)據(jù)集和研究很少，僅限于連接關(guān)系問(wèn)題，缺乏對(duì)場(chǎng)景結(jié)構(gòu)的進(jìn)一步了解。

地圖作為先驗(yàn)

自動(dòng)駕駛中的高精地圖是預(yù)先存在的道路信息來(lái)源，將可見(jiàn)性擴(kuò)展到眼前之外。因此，最近的努力都致力于利用地圖數(shù)據(jù)作為先驗(yàn)信息。

Xiong等人的“自動(dòng)駕駛的神經(jīng)地圖先驗(yàn)”。介紹了一種利用先驗(yàn)地圖作為知識(shí)庫(kù)的開(kāi)創(chuàng)性方法。該方法積極收集周圍環(huán)境的各種實(shí)時(shí)信息，用于在線地圖繪制。從該在線建圖過(guò)程中獲得的特征被存儲(chǔ)在存儲(chǔ)器特征庫(kù)中。當(dāng)車輛重新訪問(wèn)特定區(qū)域時(shí)，基于車輛的地理位置從記憶特征庫(kù)中檢索與該路段相對(duì)應(yīng)的先前特征。這些記憶的特征與從在線推理中獲得的特征一起在生成車輛的當(dāng)前局部地圖中發(fā)揮著重要作用。

受Nerf的啟發(fā)，MapNeRF將地圖先驗(yàn)融入神經(jīng)輻射場(chǎng)，以生成指定賽道外的駕駛視圖，確保語(yǔ)義道路一致性。這種方法解決了在相機(jī)模擬的偏差視圖中保持語(yǔ)義一致性的挑戰(zhàn)。

雖然地圖提供了有價(jià)值的先驗(yàn)信息，但目前這一領(lǐng)域的研究只觸及了表面。地圖作為先驗(yàn)知識(shí)來(lái)源，在現(xiàn)有研究中并沒(méi)有顯著提高生成新地圖的精度。因此，在這一領(lǐng)域仍有充分的進(jìn)一步探索空間。

結(jié)論和討論

挑戰(zhàn)和未來(lái)前景

• 統(tǒng)一地圖元素表示模型。高精地圖由具有空間信息和關(guān)系的地圖元素組成。地圖元素的表示作為地圖的基本組成部分，影響著高精地圖構(gòu)建的效率，以克服各個(gè)模塊之間的差距。該表示還確定了后續(xù)決策模塊的結(jié)構(gòu)化信息形式。然而，對(duì)于所有的自動(dòng)駕駛管道，并沒(méi)有一個(gè)統(tǒng)一和公認(rèn)的模型。狹長(zhǎng)的車道和桿子形狀，緊湊的標(biāo)記和斑馬形狀給通用表達(dá)帶來(lái)了困難。
• 預(yù)處理數(shù)據(jù)集。由于國(guó)家法律的限制和高昂的制作成本，有限的場(chǎng)景和罕見(jiàn)的注釋對(duì)數(shù)據(jù)集的構(gòu)建產(chǎn)生了影響。無(wú)論如何，仍然強(qiáng)烈需要高精地圖數(shù)據(jù)集進(jìn)行進(jìn)一步的研究，以增強(qiáng)可擴(kuò)展性。
• 端到端模型與混合模型。端到端模型的性能可能會(huì)受到訓(xùn)練數(shù)據(jù)集的限制，而訓(xùn)練數(shù)據(jù)集存在嚴(yán)重的可擴(kuò)展性問(wèn)題。混合模型受到每個(gè)模型的輸入和輸出缺口的限制。在統(tǒng)一地圖表示的幫助下，離線方法框架可以將深度學(xué)習(xí)模塊作為混合模型集成到預(yù)先構(gòu)建的物理/幾何模型中。端到端模型依賴于數(shù)據(jù)集和計(jì)算能力。什么樣的工作是最好的仍然是個(gè)問(wèn)題。
• 統(tǒng)一評(píng)估基準(zhǔn)和指標(biāo)。HD地圖的研究者一直關(guān)注合適的評(píng)價(jià)基準(zhǔn)和指標(biāo)。由于呈現(xiàn)形式的豐富性，不同模式的高精地圖無(wú)法相互比較。統(tǒng)一的評(píng)估基準(zhǔn)和度量是高精地圖研究的必要條件。
• 地圖元素的綜合類別。盡管已經(jīng)有很多關(guān)于地圖構(gòu)建的研究，但大多數(shù)研究仍然局限于最簡(jiǎn)單的地圖元素，如車道線和人行橫道。3D地圖的基本元素，如道路箭頭、文本、交通標(biāo)志和交通燈桿，對(duì)地圖的構(gòu)建同樣重要。因此，在三維空間中考慮更廣泛、更全面的地圖元素對(duì)地圖構(gòu)建也很重要。
• 實(shí)時(shí)場(chǎng)景理解。SLAM的密集語(yǔ)義圖和簡(jiǎn)單的矢量化圖都不能為決策算法提供高度可信的認(rèn)知信息。如何密切地圖和決策之間的關(guān)系仍然是一個(gè)問(wèn)題。
• 高精度挑戰(zhàn)。更高的精度一直是地圖建設(shè)的一個(gè)重要挑戰(zhàn)。更準(zhǔn)確的結(jié)果將有助于移動(dòng)車輛更準(zhǔn)確地了解當(dāng)前路況。

結(jié)論

在這篇文章中，我們研究了關(guān)于使用相機(jī)傳感器構(gòu)建高精地圖的文獻(xiàn)，特別是關(guān)于使用神經(jīng)網(wǎng)絡(luò)進(jìn)行地圖構(gòu)建的文獻(xiàn)。我們將建圖方法分為基于計(jì)算硬件的離線和在線、基于神經(jīng)網(wǎng)絡(luò)和基于算法的基于規(guī)則，并總結(jié)了主流技術(shù)路線的主要過(guò)程。最后，我們討論了這些模型的評(píng)估前景和設(shè)計(jì)趨勢(shì)。

參考

[1] High-Definition Maps Construction Based on Visual Sensor: A Comprehensive Survey

原文鏈接：https://mp.weixin.qq.com/s/73QothZNZ4eUo0iceKPc6Q