本文經(jīng)自動駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

自動駕駛的端到端可微學(xué)習(xí)最近已成為一種突出的范式。一個主要瓶頸在于其對高質(zhì)量標記數(shù)據(jù)的巨大需求，例如3D框和語義分割，這些數(shù)據(jù)的手動注釋成本是出了名的昂貴。由于AD中樣本內(nèi)的行為往往存在長尾分布這一突出事實，這一困難更加明顯。換言之，收集到的大部分數(shù)據(jù)可能微不足道（例如，在筆直的道路上向前行駛），只有少數(shù)情況是安全關(guān)鍵的。在本文中，我們探討了一個實際重要但未被充分探索的問題，即如何實現(xiàn)端到端AD的樣本和標簽效率。

具體而言，論文設(shè)計了一種面向規(guī)劃的主動學(xué)習(xí)方法，該方法根據(jù)所提出的規(guī)劃路線的多樣性和有用性標準，逐步注釋部分收集的原始數(shù)據(jù)。經(jīng)驗上，提出的計劃導(dǎo)向方法可以在很大程度上優(yōu)于一般的主動學(xué)習(xí)方法。值得注意的是，方法僅使用30%的nuScenes數(shù)據(jù)，就實現(xiàn)了與最先進的端到端AD方法相當?shù)男阅堋ＯＭ覀兊墓ぷ髂軌蚣钗磥淼墓ぷ鳎瑥囊詳?shù)據(jù)為中心的角度，除了方法論方面的努力之外。

論文鏈接：https://arxiv.org/pdf/2403.02877.pdf

本文的主要貢獻：

1. 第一個深入研究E2E-AD的數(shù)據(jù)問題的人。還提供了一個簡單而有效的解決方案，可以在有限的預(yù)算內(nèi)識別和注釋有價值的數(shù)據(jù)，用于規(guī)劃。
2. 基于端到端方法的面向規(guī)劃的哲學(xué)，為規(guī)劃路線設(shè)計了新的特定任務(wù)的多樣性和不確定性測量。
3. 大量的實驗和消融研究證明了方法的有效性。ActiveAD在很大程度上優(yōu)于一般的對等方法，并且僅使用30%的nuScenes數(shù)據(jù)，實現(xiàn)了與具有完整標簽的SOTA方法相當?shù)男阅堋?/li>

方法介紹

在端到端AD框架內(nèi)提供了ActiveAD的詳細描述。利用AD特有的數(shù)據(jù)特征，設(shè)計了相應(yīng)的多樣性和不確定性指標。

1）標簽的初始樣本選擇

對于計算機視覺中的主動學(xué)習(xí)，初始樣本選擇通常僅基于原始圖像，而沒有額外的信息或?qū)W習(xí)到的特征，這導(dǎo)致了隨機初始化的常見做法。對于AD，還有其他先前的信息可供利用。具體來說，當從傳感器收集數(shù)據(jù)時，可以同時記錄傳統(tǒng)信息，如自車的速度和軌跡。此外，天氣和照明條件通常是連續(xù)的，并且易于在片段級別中進行注釋。這些信息有利于為初始集合選擇做出明智的選擇。因此，我們?yōu)槌跏歼x擇設(shè)計了自我多樣性度量。

Ego Diversity：由三個部分組成：1）天氣照明2）駕駛指令3）平均速度。首先使用nuScenes中的描述，將完整的數(shù)據(jù)集劃分為四個互斥子集：Day Sunny（DS）、Day Rainy（DR）、Night Sunny（NS）、NightRainy（NR）。其次，根據(jù)一個完整片段中左、右和直行駕駛命令的數(shù)量將每個子集分為四類：左轉(zhuǎn)（L）、右轉(zhuǎn)（R）、超車（O）、直行（S）。論文設(shè)計了一個閾值τc，其中如果剪輯中左右命令的數(shù)量都大于或等于閾值τc時，我們將其視為該剪輯中的超越行為。如果只有向左命令的數(shù)量大于閾值τc，則表示左轉(zhuǎn)。如果只有向右命令的數(shù)量大于閾值τc，則表示向右轉(zhuǎn)彎。所有其它情況都被認為是直接的。第三，計算每個場景中的平均速度，并在相關(guān)的子集中按升序?qū)λ鼈冞M行排序。

圖2給出了基于多路樹的初始選擇過程的詳細直觀過程。

2）增量選擇的準則設(shè)計

在本節(jié)將介紹如何基于使用已注釋片段訓(xùn)練的模型，對片段的新部分進行增量注釋。我們將使用中間模型對未標記的片段進行推理，隨后的選擇基于這些輸出。盡管如此，還是采取了面向規(guī)劃的觀點，并介紹了后續(xù)數(shù)據(jù)選擇的三個標準：位移誤差、軟碰撞和代理不確定性。

標準一：位移誤差（DE）。將表示為模型的預(yù)測規(guī)劃路線τ與數(shù)據(jù)集中記錄的人類軌跡τ*之間的距離。

其中T表示場景中的幀。由于位移誤差本身是一個性能指標（無需注釋），因此它自然成為主動選擇中的第一個也是最關(guān)鍵的標準。

標準二：軟碰撞（SC）。將LSC定義為預(yù)測的自車軌跡和預(yù)測的agent軌跡之間的距離。將通過閾值ε過濾掉低置信度agent預(yù)測。在每個場景中，選擇最短距離作為危險系數(shù)的度量。同時，在term和最近距離之間保持正相關(guān)：

使用“軟碰撞”作為一個標準，因為：一方面，與“置換誤差”不同，“碰撞比率”的計算取決于目標的3D框的注釋，而這些注釋在未標記的數(shù)據(jù)中不可用。因此，應(yīng)該能夠僅根據(jù)模型的推理結(jié)果來計算標準。另一方面，考慮一個硬碰撞標準：如果預(yù)測的自車軌跡會與其他預(yù)測的agent的軌跡發(fā)生碰撞，將其指定為1，否則指定為0。然而，這可能會導(dǎo)致標簽為1的樣本太少，因為AD中最先進模型的碰撞率通常很小（低于1%）。因此，選擇使用與其他對目標最近的距離來代替“碰撞率”度量。當與其他車輛或行人的距離太近時，風險被認為要高得多。簡言之，“軟碰撞”是衡量碰撞可能性的有效指標，可以提供密集的監(jiān)督。

標準III：agent不確定性（AU）。對周圍agent的未來軌跡的預(yù)測自然具有不確定性，因此運動預(yù)測模塊通常會生成多個模態(tài)和相應(yīng)的置信度得分。我們的目標是選擇那些附近agent具有高度不確定性的數(shù)據(jù)。具體來說，通過距離閾值δ過濾出遙遠的主體，并計算剩余主體的多種模式的預(yù)測概率的加權(quán)熵。假設(shè)模態(tài)的數(shù)量是，并且agent在不同模態(tài)下的置信度得分是Pi（a），其中i∈{1，…，Nm}。然后，Agent不確定性可以定義為：

Overall Loss:

3）整體主動學(xué)習(xí)范式

Alg1介紹了方法的整個工作流程。給定可用預(yù)算B、初始選擇大小n0、在每個步驟中進行的活動選擇的數(shù)量ni以及總共M個選擇階段。首先使用上述描述的隨機化或自車多樣性方法初始化選擇。然后，使用當前注釋的數(shù)據(jù)來訓(xùn)練網(wǎng)絡(luò)。基于訓(xùn)練的網(wǎng)絡(luò)，我們對未標記的進行預(yù)測，并計算總損失。最后根據(jù)總體損失對樣本進行排序，并選擇當前迭代中要注釋的前ni個樣本。重復(fù)這個過程，直到迭代達到上限M，并且所選擇的樣本數(shù)量達到上限B。

實驗結(jié)果

在廣泛使用的nuScenes數(shù)據(jù)集上進行了實驗。所有實驗都使用PyTorch實現(xiàn)，并在RTX 3090和A100 GPU上運行。

表1：規(guī)劃表現(xiàn)。ActiveAD在所有注釋budget設(shè)置中都優(yōu)于一般的主動學(xué)習(xí)基線。此外，與使用整個數(shù)據(jù)集進行訓(xùn)練相比，具有30%數(shù)據(jù)的ActiveAD實現(xiàn)了略好的規(guī)劃性能。帶有*的VAD表明已經(jīng)更新了結(jié)果，這些結(jié)果比原始工作中報告的結(jié)果要好。帶有?的UniAD表明已使用VAD的指標來更新結(jié)果。

表2：設(shè)計消融實驗。“RA”和“ED”表示基于隨機性和自車多樣性的初始集選擇。“DE”、“SC”和“AU”表示位移誤差， 分別為軟碰撞和agent不確定性。所有帶“ED”的組合都使用相同的10%數(shù)據(jù)進行初始化。LDE、LSC和LAU分別歸一化為[0，1]，將超參數(shù)α和β設(shè)置為1。

圖3：所選場景可視化。根據(jù)選擇的前置攝像頭圖像基于在10%數(shù)據(jù)上訓(xùn)練的模型的位移誤差（col 1）、軟碰撞（col 2）、agent不確定性（col 3）和混合（col 4）標準。Mixed代表了我們的最終選擇策略ActiveAD，并考慮了前三種情況！

表4，各種場景下的性能。在各種天氣/照明和駕駛命令條件下，使用30%數(shù)據(jù)的活動模型的平均L2（m）/平均碰撞率（%）越小，性能越好。

圖4：多個標準之間的相似性。它顯示了 通過四個標準選擇10%（左）和20%（右）的新采樣場景：位移誤差（DE）、軟碰撞（SC）、代理不確定性（AU）和混合（MX）

本工作的一些結(jié)論

為了解決端到端自動駕駛數(shù)據(jù)標注的高成本和長尾問題，率先開發(fā)了量身定制的主動學(xué)習(xí)方案ActiveAD。ActiveAD基于面向規(guī)劃的哲學(xué)，引入了新的任務(wù)特定的多樣性和不確定性度量。大量實驗證明了方法的有效性，僅使用30%的數(shù)據(jù)，就顯著超過了一般的往期方法，并實現(xiàn)了與最先進模型相當?shù)男阅堋＿@代表著從以數(shù)據(jù)為中心的角度對端到端自動駕駛的一次有意義的探索，并希望我們的工作能夠啟發(fā)未來的研究和發(fā)現(xiàn)。