本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

原標題：On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving

論文鏈接：https://arxiv.org/pdf/2403.01238.pdf

代碼鏈接：https://github.com/tulerfeng/PlanKD

作者單位：北京理工大學 ALLRIDE.AI 河北省大數據科學與智能技術重點實驗室

論文思路

端到端的運動規劃模型配備了深度神經網絡，在實現全自動駕駛方面展現出了巨大潛力。然而，過大的神經網絡使得它們不適合部署在資源受限的系統上，這無疑需要更多的計算時間和資源。為了解決這個問題，知識蒸餾提供了一種有前景的方法，它通過使一個較小的學生模型從較大的教師模型學習來壓縮模型。盡管如此，如何應用知識蒸餾來壓縮運動規劃器到目前為止還未被探索。本文提出了 PlanKD，這是第一個為壓縮端到端運動規劃器量身定制的知識蒸餾框架。首先，考慮到駕駛場景本質上是復雜的，常常包含與規劃無關或甚至是噪聲信息，遷移這種信息對學生規劃器并無益處。因此，本文設計了一種基于信息瓶頸(information bottleneck)的策略，只蒸餾與規劃相關的信息，而不是無差別地遷移所有信息。其次，輸出規劃軌跡中的不同 waypoints 可能對運動規劃的重要性各不相同，某些關鍵 waypoints 的輕微偏差可能會導致碰撞。因此，本文設計了一個 safety-aware waypoint-attentive 的蒸餾模塊，根據重要性為不同 waypoints 分配自適應權重，以鼓勵學生模型更準確地模仿更關鍵的 waypoints ，從而提高整體安全性。實驗表明，本文的 PlanKD 可以大幅提升小型規劃器的性能，并顯著減少它們的參考時間。

主要貢獻：

1. 本文構建了第一個旨在探索專用知識蒸餾方法以壓縮自動駕駛中端到端運動規劃器的嘗試。
2. 本文提出了一個通用且創新的框架 PlanKD，它使學生規劃器能夠繼承中間層中與規劃相關的知識，并促進關鍵 waypoints 的準確匹配以提高安全性。
3. 實驗表明，本文的 PlanKD 可以大幅提升小型規劃器的性能，從而為資源有限的部署提供了一個更便攜、更高效的解決方案。

網絡設計：

端到端運動規劃最近作為自動駕駛中的一個有前景的方向出現[3, 10, 30, 31, 40, 47, 48]，它直接將原始傳感器數據映射到規劃的動作上。這種基于學習的范式展現出減少對手工制定規則的嚴重依賴和減輕在復雜級聯模塊（通常是檢測-跟蹤-預測-規劃）[40, 48]內錯誤累積的優點。盡管取得了成功，但運動規劃器中深度神經網絡龐大的架構為在資源受限環境中的部署帶來了挑戰，例如依賴邊緣設備計算能力的自動配送機器人。此外，即便是在常規車輛中，車載設備上的計算資源也經常是有限的[34]。因此，直接部署深層且龐大的規劃器不可避免地需要更多的計算時間和資源，這使得快速響應潛在危險變得具有挑戰性。為了緩解這個問題，一個直接的方法是通過使用較小的主干網絡來減少網絡參數的數量，但本文觀察到，端到端規劃模型的性能會急劇下降，如圖1所示。例如，盡管當 InterFuser [33]（一個典型的端到端運動規劃器）的參數數量從52.9M減少到26.3M時，推理時間降低了，但其駕駛得分也從53.44下降到了36.55。因此，有必要開發一種適用于端到端運動規劃的模型壓縮方法。

為了得到一個便攜的運動規劃器，本文采用知識蒸餾[19]來壓縮端到端運動規劃模型。知識蒸餾（KD）已經在各種任務中被廣泛研究用于模型壓縮，例如目標檢測[6, 24]、語義分割[18, 28]等。這些工作的基本思想是通過從更大的教師模型繼承知識來訓練一個簡化的學生模型，并在部署期間使用學生模型來替代教師模型。雖然這些研究取得了顯著的成功，但直接將它們應用于端到端運動規劃會導致次優結果。這源于運動規劃任務中固有的兩個新出現的挑戰：(i) 駕駛場景本質上是復雜的[46]，涉及包括多個動態和靜態物體、復雜的背景場景以及多方面的道路和交通信息在內的多樣化信息。然而，并不是所有這些信息都對規劃有益。例如，背景建筑物和遠處的車輛對規劃來說是無關的甚至是噪音[41]，而附近的車輛和交通燈則有確定性的影響。因此，自動地只從教師模型中提取與規劃相關的信息至關重要，而以往的KD方法無法做到這一點。(ii) 輸出規劃軌跡中的不同 waypoints 通常對運動規劃的重要性各不相同。例如，在導航一個交叉口時，軌跡中靠近其他車輛的 waypoints 可能比其他 waypoints 具有更高的重要性。這是因為在這些點，自車需要主動與其他車輛互動，即使是微小的偏差也可能導致碰撞。然而，如何自適應地確定關鍵 waypoints 并準確地模仿它們是以往KD方法的另一個重大挑戰。

為了解決上述兩個挑戰，本文提出了第一個為壓縮自動駕駛中端到端運動規劃器量身定制的知識蒸餾方法，稱為 PlanKD 。首先，本文提出了一個基于信息瓶頸原理[2]的策略，其目標是提取包含最少且足夠規劃信息的與規劃相關的特征。具體來說，本文最大化提取的與規劃相關特征和本文定義的規劃狀態的真值之間的互信息，同時最小化提取特征和中間特征映射之間的互信息。這一策略使本文能夠只在中間層提取關鍵的與規劃相關的信息，從而增強學生模型的有效性。其次，為了動態識別關鍵 waypoints 并如實地模仿它們，本文采用注意力機制[38]計算每個 waypoints 及其在鳥瞰圖（BEV）中與關聯上下文之間的注意力權重。為了在蒸餾過程中促進對安全關鍵 waypoints 的準確模仿，本文設計了一個 safety-aware ranking loss ，鼓勵對于靠近移動障礙物的 waypoints 給予更高的注意力權重。相應地，學生規劃器的安全性可以顯著增強。如圖1所示的證據顯示，通過本文的 PlanKD，學生規劃器的駕駛得分可以顯著提高。此外，本文的方法可以將參考時間降低約50%，同時保持與教師規劃器在 Town05 Long Benchmark 上相當的性能。

圖1. 在 Town05 Long Benchmark [31]上，隨著參數數量的減少，InterFuser[33] 性能下降的示意圖。通過利用本文的 PlanKD ，可以提升緊湊型運動規劃器的性能，并且顯著降低參考時間。推理時間在服務器上的 GeForce RTX 3090 GPU 上進行評估。

圖2. 本文的 PlanKD 框架示意圖。PlanKD 由兩個模塊組成：一個與規劃相關的特征蒸餾模塊，通過信息瓶頸（IB）從中間特征映射中提取與規劃相關的特征；一個 safety-aware waypoint-attentive 蒸餾模塊，動態確定關鍵 waypoints ，并從中提取知識以增強整體安全性。

實驗結果：

圖3. 在不同駕駛場景下，safety-aware 注意力權重的可視化。綠色塊代表自車（ego-vehicle），黃色塊代表其他道路使用者（例如汽車、自行車）。一個 waypoint 的顏色越紅，它的注意力權重就越高。

總結：

本文提出了 PlanKD，這是一種為壓縮端到端運動規劃器量身定制的知識蒸餾方法。所提出的方法可以通過信息瓶頸學習與規劃相關的特征，以實現有效的特征蒸餾。此外，本文設計了一個 safety-aware waypoint-attentive 蒸餾機制，以適應性地決定每個 waypoint 對 waypoint 蒸餾的重要性。廣泛的實驗驗證了本文方法的有效性，證明了 PlanKD 可以作為資源有限部署的便攜式和安全的解決方案。

引用：

Feng K, Li C, Ren D, et al. On the Road to Portability: Compressing End-to-End Motion Planner for Autonomous Driving[J]. arXiv preprint arXiv:2403.01238, 2024.