本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面&筆者的個人理解

目前隨著深度學習技術的快速蓬勃發展為自動駕駛領域的研發提供了強大的助力。目前的自動駕駛系統由于其方便解耦和可解釋性的離散化模塊設計使得自動駕駛領域產生了很多令我們興奮的成績。自動駕駛系統中的傳統方法通常將系統分解為模塊化組件，包括定位、感知、跟蹤、預測、規劃和控制，以實現更好的可解釋性和可見性。然而這類系統卻存在著一些問題：（1）隨著系統復雜度的增加，模塊之間的誤差積累變得更加顯著，存在很大的誤差累計效應；（2）下游任務所表現出來的性能與上游模塊變得高度相關，從而使得構建統一的數據驅動網絡模型框架變得非常困難。

最近，端到端自動駕駛因其簡單性而受到歡迎。基于學習架構提出了兩條主線。第一種方法以原始傳感器數據作為輸入，直接輸出規劃軌跡或控制命令，無需任何視圖變換，作為場景理解的中間表示。另外一類算法模型則是建立在BEV空間表示的基礎上，充分利用查詢來生成中間輸出作為生成規劃結果的指導。其中一個最顯著的優勢在于可解釋性。

受到端到端自動駕駛工作VAD的啟發，本文工作的目標是將逐步預測規劃引入基于學習的框架當中。直觀地說，預測和規劃模塊可以建模為運動預測任務，根據給定的歷史信息預測未來的路徑點。每個時間戳時刻的預測和規劃模塊的結果高度相互依賴。因此，我們需要迭代和雙向地考慮代理和代理之間以及代理和環境之間的相互作用，在給定其他代理觀測下實現代理預測期望的最大化。基于此，本文提出了PPAD端到端自動駕駛框架，可以逐步規劃自車代理的未來軌跡，在矢量學習框架下基于時間實現雙向交互，如下圖所示。

提出的PPAD算法模型的概括示意圖

論文鏈接：https://arxiv.org/pdf/2311.08100

官方倉庫鏈接：https://github.com/zlichen/PPAD；

網絡模型的整體架構&細節梳理

在詳細介紹本文提出的PPAD端到端算法模型細節之前，下圖展示了我們提出的PPAD算法的整體網絡結構圖。

提出的PPAD算法模型的整體網絡結構圖

通過上圖的整體網絡結構可以看出，提出的PPAD算法模型主要包括感知Transformer和我們提出的迭代預測規劃模塊。整體而言，感知Transformer將場景上下文信息編碼為BEV空間特征圖，并進一步解碼為矢量化代理和地圖表示。迭代預測規劃模塊通常由預測和規劃兩個過程組成。它剖析了自車和其他代理在時間維度上的動態交互。最終，該模塊預測代理的運動并規劃自車的未來行駛軌跡。

具體而言，對于輸入到網絡模型中的環視圖像特征，我們采用一個共享的圖像主干網絡來提取每個視角的圖像特征。再得到每個視角的圖像特征之后，我們采用了BEVFormer中的Encoder模塊來得到統一的BEV空間特征。此外，受到端到端自動駕駛框架VAD的啟發，我們也通過解碼器和地圖元素解碼器將場景上下文信息完成矢量化的表示，進而得到可學習的代理查詢和可學習的地圖查詢。單獨的基于多層感知機的解碼器通過采用學習到的查詢作為輸入，并使用代理的屬性和地圖屬性進行預測得到最終的輸出。此外，代理查詢將與可學習的運動嵌入相結合，以對代理的各種運動進行建模。具有運動的代理表示為。類似的，自車采用三種方式進行建模，代表直行、左轉和右轉的高級駕駛命令，表示為。

然后我們采用迭代預測規劃模塊以交錯的方式預測自車和其他代理的未來軌跡。與一次性預測所有軌跡的傳統做法不同，我們提出的PPAD算法框架通過迭代代理運動預測和自車規劃過程來表示運動規劃的每個步驟。借助提出的PPAD框架，我們可以進行深入設計，以精修的方式在場景上下文中執行關鍵對象的交互過程。

預測和規劃的迭代交互

在現實世界中，駕駛交通狀況不斷變化。駕駛員通過不斷推理場景中交通參與者之間的關系來規劃和執行他們的決策。規劃任務需要自動駕駛系統對場景有很好的理解，并能夠解決時空因果因素。因此，我們對提出的PPAD進行了創新，將規劃任務分解為代理預測和自車規劃過程的多步驟，并最終促進自車和代理的未來軌跡達成共識。提出的PPAD框架將交通交互體現為沿時空的游戲，為自車提供更準確的規劃軌跡。具體而言，自車和代理繼承了相同的理念，即在每個未來時間戳時刻中根據彼此的運動預測交替優化其運動行為。

預測過程

代理在預測過程中預測其后續的運動，以自車在先前規劃過程中的結果輸出為條件。具體而言，代理查詢的初始狀態包括其駕駛意圖。然后，它將與從先前規劃過程更新的自車查詢進行交互，這表明自車當前最新駕駛規劃。然后，它將與地圖元素交互以選擇駕駛路徑。最后，它通過與BEV空間特征進行交互來收集詳細的幾何信息，并得出其精確的下一步運動。

規劃過程

我們用來表示歷史時期，來代表未來時期。自車的未來軌跡可以表示為。對于每一個代理，其軌跡可以表示為。檢測到的地圖元素位置可以表示為。

代理交互

地圖交互

現有的一些研究工作試圖通過簡單地應用一次全局級別的交互來總結規劃所需的所有地圖信息。但他們忽略了不斷發展的運動動態的復雜性，高估了自車可以通過與地圖信息的單次交互進行長期精確規劃。

利用我們提出的PPAD算法框架，我們可以根據自車的最新位置考慮其本地道路狀況，從而豐富自車與地圖的交互。這樣可以更好地識別規劃每個步驟所需的有用地圖信息。自車查詢與地圖查詢的交互方式與代理的交互方式類似。不同之處在于地圖實例在未來的時間步驟中不可移動。多頭交叉注意力機制可以將本地和全局地圖信息抽象到自車查詢中：

分層特征學習

層次結構具有更好的捕捉和識別細粒度模式的能力。對于駕駛場景，駕駛行為基于對全局和局部場景的理解。駕駛往往只關注少數關鍵物體，這表明了空間局部性或局部注意力。因此，我們設計了分層關鍵對象注意力來利用由粗糙到精細的場景上下文。具體來說，給定一組距離范圍，我們首先找到給定范圍內的關鍵對象。因此，我們應用動態局部注意力，它只考慮局部區域中代理或地圖元素之間的相互作用。下面展示的偽代碼描述了動態關鍵對象注意力的實現。

噪聲軌跡作為預測

PPAD算法模型將預測和規劃過程交錯起來，逐步規劃自車和代理的軌跡。然后通過模仿學習將專家駕駛知識強化到模型中。在訓練過程中，將噪聲軌跡作為預測引入PPAD框架。具體來說，我們通過添加噪聲來擾亂真值目標自車軌跡的每一步。然后訓練自車預測自車的原始下一步路徑點偏移，而不管其起始噪聲位置受到何種干擾。即使系統從不準確的位置開始，它也會通過與矢量化實例和環境交互來學習預測準確的路徑點偏移。這種策略提高了規劃性能。

實驗結果&評價指標

為了驗證我們提出算法模型的有效性，我們在nuScenes數據集上進行了開環實驗，相關的實驗結果如下表所示。

在nuScenes 數據集上的開環規劃結果

通過實驗結果可以看出，我們提出的PPAD算法模型大大超越了當前最先進算法的表現性能。特別是對于L2距離指標，在時間范圍內可以觀察到約20%的持續提升。得益于提出的預測和規劃的迭代交互，PPAD算法模型可以幫助避免碰撞，與其他端到端自動駕駛算法模型VAD相比，在碰撞率方面取得了更好的結果。

此外，我們也在Argoverse2數據集上進行了實驗進一步公平地比較我們的方法和基線算法模型，相關的實驗結果如下表所示。

在Argoverse 數據集上的開環規劃結果

通過實驗結果也可以看出，我們的方法可以在 L2 距離和碰撞率指標方面始終以明顯優勢超越基線。

此外，為了展示我們的PPAD整體性能，我們還在下表中提供了傳統感知和運動預測任務的規劃指標之外的評估結果。我們的 PPAD 在上游感知和預測任務中也取得了令人鼓舞的性能，這表明整個系統是聯合優化的。

規劃任務以外的任務的結果比較

為了更加直觀的展示我們提出算法模型的表現性能，下圖是相關的可視化結果。PPAD 可以精確地感知場景，并以合理和多樣化的動作預測周圍的代理。它還為自身車輛規劃了一條平滑而準確的軌跡。

結論

在本文中，我們提出了一種新穎的自動駕駛框架 PPAD。與以前缺乏深入交互建模的方法不同，我們將規劃問題提出為自我車輛和代理之間的多步驟預測和規劃過程，并且實現了SOTA的效果。