本文經(jīng)自動駕駛之心公眾號授權轉載，轉載請聯(lián)系出處。

Rethinking Integration of Prediction and Planning in Deep Learning-Based Automated Driving Systems: A Review

原文鏈接：https://arxiv.org/pdf/2308.05731.pdf

聲明：本文僅用于學習，建議大家閱讀論文原文以獲取更多細節(jié)信息。全文中文概要內容如下：

摘要

模塊化自動駕駛系統(tǒng)通常將預測和規(guī)劃作為獨立任務序列來處理。雖然這解釋了周圍交通對本車的影響，但它無法預測交通參與者對本車行為的響應。最近的研究表明，在一個相互依賴的聯(lián)合步驟中整合預測和規(guī)劃對實現(xiàn)安全、高效、舒適的駕駛是必要的。各種模型實現(xiàn)這樣的集成系統(tǒng)時，缺乏一個全面的概述和理論理解，我們系統(tǒng)的回顧了基于深度學習的預測、規(guī)劃以及預測和規(guī)劃融合的算法模型，從模型結構和設計到行為等各方面因素和關聯(lián)性。此外，我們還討論了不同集成方法的含義、優(yōu)勢和局限性。通過指出研究差異，描述相關未來挑戰(zhàn)，重點關注研究領域的趨勢，我們確定了未來有希望的研究方向。

關鍵字：自動駕駛，運動預測，運動規(guī)劃，深度學習

1 前言

自動駕駛(AD)通常分為感知，預測，規(guī)劃和控制子任務，以確保乘坐安全，高效，以及舒適度。傳統(tǒng)的、模塊化的系統(tǒng)(參見圖1)將預測和規(guī)劃作為單獨的任務，然而這種順序存在相干反應并且不能表征本車和周圍交通參與者在交通場景下的連續(xù)相互影響，因此預測和規(guī)劃不應當作獨立的順序執(zhí)行問題而對待。理想情況下，所有相關車輛都要注意彼此的情況選擇未來的運動，在任何時候允許復雜的交互。這種聯(lián)合建模可以反映交通參與者如何持續(xù)地對彼此的行為做出反應，以及他們如何創(chuàng)建相互的“假設場景”來實現(xiàn)類似人類的，安全、舒適駕駛。我們稱這種方法為融合預測與規(guī)劃(IPP)。

1.1 研究范圍

本文中，我們將回顧預測和規(guī)劃如何融合集成到同一個模塊。基于深度學習的方案利用數(shù)據(jù)可以在高緯度空間找到更合適的解決方法，而且近期以及在一些領域有了重大進展。本文我們主要集中在基于深度學習的方法。我們的工作集中于交通參與者之間直接或間接的交互場景，此外，我們排除了行人運動預測，與車輛相比，行人是更弱的動態(tài)約束條件并且也已經(jīng)被充分的綜述研究過。

1.2 本文組織結構

在研究融合預測和規(guī)劃之前，本文首先分別回顧了基于深度學習的預測和規(guī)劃任務。文章結構如下：

• 我們首先回顧了基于深度學習的預測、規(guī)劃和IPP方案的SOTA方法和基準。
• 我們提出了一種融合預測和規(guī)劃的分類方法，從模型結構和系統(tǒng)設計到行為等方面進行分類。
• 我們調研和分析了這些類別在安全性和魯棒性方面的關聯(lián)和影響。
• 我們研究了這些SOTA研究之間的差異并指出了未來更有希望的方法和方向。

2 自動駕駛系統(tǒng)

本章主要介紹必要的術語和簡潔定義預測和規(guī)劃。

2.1 結構

模塊化子系統(tǒng)如圖1a所示，人為的設計各個模塊之間的接口，增加了可解釋性，如果所有接口都是可微分的，模塊化方法也是可以端到端訓練的。

端到端方案使用單一神經(jīng)網(wǎng)絡模型，這種方法不會在模塊接口間損失信息，缺點是缺少可解釋性并且會引起低樣本效率。

可解釋的端到端方案緩解以上兩種方案缺點，這些模型會增加輔助任務，并且這些任務不傳播到下一層，而是直接用中間的隱藏層進行連接。

2.2 任務定義

這一節(jié)主要是一些字符說明和表達式說明，在此不再展示，大家直接看原論文即可，后續(xù)使用的字符會在使用時進行簡要說明。

3 預測

自動駕駛中，預測是理解駕駛場景如何發(fā)展并對后續(xù)規(guī)劃模塊有何影響。3.1討論了不同場景下個體與全局的交互表示，3.2秒回顧了哪些神經(jīng)網(wǎng)絡設計用于交互建模并提取描述性特征。第3.3節(jié)將說明如何實現(xiàn)將提取的特征映射到軌跡預測中以及多模態(tài)是如何建模的

3.1 場景表示

表示一個場景意味著提取相關子集所有可用的信息，并將其轉換成一種格式后續(xù)處理步驟可以利用的。在自動駕駛車輛軌跡預測上下文中，交通參與者狀態(tài)X（有上橫杠）和地圖I都是非常重要的信息表示，在基于深度學習方法中，有兩個重要的表示方法：柵格化和稀疏表示，如圖2所示。

柵格化使用稠密的固定像素的網(wǎng)格結構進行表示，往往有多個通道。詳見參考文獻[54]-[61]。DESIRE [8]是柵格化的早期方法，為了融合本車的多傳感器輸入信息，使用BEV地圖。BEV映射允許結合不同的傳感方式，建立一個所有車輛的通用坐標系統(tǒng)。

稀疏表示，AD決策取決于幾個關鍵對象而不是所有可用的場景信息[76]。因此，稀疏表示的思想是去除冗余和來自場景表示的不相關信息。圖是用于預測的最常用稀疏表示，也被歸類到矢量和折線表示。在交通圖中，節(jié)點表示編碼對象并且邊緣模擬了它們之間的關系[63]。隱藏的節(jié)點特征包含了對象種類和向下文信息。

一些方法結合柵格化和稀疏表示[39]，[95]通過對場景的不同方面進行編碼表示。此外，一些作品使用體素表示它們的稀疏度不同[96]，[97]。MultiPath[59]和MultiPath++[37]非常適合比較，因為它們是相似的模型，其主要區(qū)別是參考在于輸入表示。他們的結果顯示從柵格化到稀疏化可以提高性能。該領域的整體發(fā)展證實了這一點趨勢，如圖3所示。時間軸按時間順序排列從理論上描述了有效的預測方法，并展示了在過去的幾年中轉向稀疏表示。

坐標系，具有固定視角的全局坐標系統(tǒng)對于整個場景[6]，[44]，[98]，[99]而言都是非常高效的。

從表示角度分析，不同的深度學習方案有不同的處理方式，網(wǎng)格化表示適用于CNN類別模型，稀疏化表示適合GNN類模型、注意力機制以及transformer。

3.2 交互建模

交通場景中，個體之間的交互建模是預測的關鍵環(huán)節(jié)，與其他交通要個體的交互避免了碰撞以及使得車流更加順滑，進一步約束可行駛區(qū)域。

RNNs，一些早期的預測模型，如DESIRE[8]或[39]將rnn與如pooling或者注意力等聚合算子結合起來。

CNNs，這一類使用2D卷積隱含的獲取kernel之間的聯(lián)系，與基于序列處理的方法相比，重要性更多的分配給空間交互。

GNNs和注意力機制，通過圖卷積算子或者軟注意力機制聚合多中個體之間的信息來表述單個體之間的交互。

Transformers，在過去幾年對預測有很大影響。因為跟蹤車輛位置式最時間變化的，預測任務的輸入包括空間和時間信息，交互建模要求理解車輛的空間交互額和時序動態(tài)。尤其是Transformers結構出現(xiàn)以來，很容易實現(xiàn)通過設計來決定如何處理空間和時間。空間和時間數(shù)據(jù)可以存儲在不同的維度輸入張量中，然后在單個維度內或跨不同維度執(zhí)行注意力機制。

圖3中揭示場景表示下不同的交互模型的演進，CNN模型和RNN模型在網(wǎng)格場景表示早期工作中比較常見，GNN模型，注意力機制和transformer模型在稀疏化表示中應用更多。

3.3 軌跡解碼

預測的最后一步是生成軌跡。在基于深度學習的方法中，通過對捕捉到的潛在特征解碼實現(xiàn)。我們聚焦于軌跡解碼的兩個方面：解碼規(guī)則和多模態(tài)建模。

解碼規(guī)則，分為三類one-shot, two-shot, and n-shot，如圖4所示。直接預測未來軌跡點更為常見。

one-shot方法又分為軌跡回歸解碼和錨點軌跡分類。軌跡回歸直接使用神經(jīng)網(wǎng)絡將隱藏層特征解碼為軌跡，典型的是MLP。尤其是基于transformer的結構直接進行軌跡回歸，如圖3所示。錨點軌跡分類通過預先設定的錨點軌跡作為先驗知識進行分類。確定錨定軌跡可以確保該預測的可行性和允許施加更強的運動學約束。然而，罕見的軌跡可能不包括在錨點中，該方法缺乏靈活性。

two-shot方法包括端點和初始軌跡和改進策略的完整方法，n-shot要么是初始軌跡法，要么是自回歸規(guī)劃。

多模態(tài)，觀察到的SV的意圖是未知的，未來的行為本質上是不確定和多樣式。可以區(qū)分為兩種技術，Ppred可以用離散軌跡集來估計或用連續(xù)分布表示。離散軌跡可以從中間描述抽樣或者模型設計時獲取。連續(xù)分布。不同于離散軌跡集，它可以有利于直接使用連續(xù)分布作為代價函數(shù)用于規(guī)劃。

3.4 基線

測試基線比較簡單易懂，許多數(shù)據(jù)集用于訓練和測試。通過對比SV的預測軌跡和測試集中每個時刻的真實軌跡來進行評估。對于解釋多模態(tài)，SV對象的不確定意圖，評估基線采用贏家通吃的評估策略，即模型預測幾個固定的軌跡輸出比如6個或10個，然后評估最好的一個，包括可選的概率。

4 規(guī)劃

規(guī)劃任務是為本車找到一個具有安全性、舒適性、運動可行性的軌跡YEV，并且是基于觀察值X EV和X SV以及額外的上下文I和可選的YSV（Y有橫杠）。在這一章，在4.1和4.2節(jié)全面的回顧輸入和輸出表示，X EV , X SV , and I 。在4.4接對現(xiàn)有工作進行分類和討論現(xiàn)有常用范式之前，4.3節(jié)闡述目標狀態(tài)，最后我們介紹了現(xiàn)存的benchmarks。

4.1 輸入表述

我們將輸入表述分為科技史的中間描述和隱藏層特征。可解釋的中間表示通常是用于模塊化ads(參見第2.1節(jié))。而隱藏層特征，對于直接映射傳感器的E2E 自動駕駛(參見圖1)[9]、[126]、[181]，PS輸入X EV, X SV和I由潛在特征表示。使用學習隱藏層中間表征的好處是，不需要人工的設計不同模塊之間的接口。隱藏層特征表示的主要缺點是缺乏可解釋性。如果失敗，評估系統(tǒng)哪個部分造成的誤差是極端的困難。這使得純E2E系統(tǒng)的調優(yōu)和調試成為可能條款特別難。可解釋的端到端系統(tǒng)尋求通過產生額外的中間體來彌補這一點表示[70]。與模塊化技術棧相反，這些方法不使用可解釋的中間輸出。它們只用于額外的監(jiān)督模型自省。圖3的時間線顯示，與隱藏層輸入特征相比，可解釋的輸入表示變得越來越流行。

4.2 輸出表述

規(guī)劃模塊的輸出表述是一系列未來的狀態(tài)或者控制動作。未來狀態(tài)包括2D位置和規(guī)劃的軌跡航向，這些信息傳遞給下游控制器。軌跡表示有很好的可解釋性。此外，它與當前和預測的占用特征和BEVmap等都在同一個笛卡爾空間內，可以很方便的用于檢測碰撞、交通法規(guī)等問題。不過，實際的駕駛性能還取決于下游控制器。未來控制動作是規(guī)劃的另一種輸出表示，E2E自動駕駛多采用這種方式。這該方法可提高運動的可行性和舒適性，因為它直接關系到行動的大小。但是，產生的行為取決于被控制的對象車輛個體動力學模型[34]，[183]。因此，泛化到其他車輛的能力非常受限。圖3描述了端到端自動駕駛的規(guī)劃演進過程，近年來軌跡輸出越來越流行。

4.3 目標調整

自動駕駛的目標是安全行駛到目的地，因此，目標導向是決定了規(guī)劃算法適應性的主要因素。導航系統(tǒng)的車道級別的路線信息可以輸入給規(guī)劃器，通過地圖的車道信息，得到一組稀疏的目標信息，沿著這組信息，每一步都有最近的位置信息提供給規(guī)劃器，相對信息可以方便的從GPS導航系統(tǒng)獲取。對目標信息如何送入規(guī)劃算法，我們主要定義了四個類別：input features, separate submodules, routing cost, and route attention。

input features簡單直接的合并目標信息并且已經(jīng)被廣泛使用，存在不同的實現(xiàn)方法。如果地圖信息被標記為on-route或off-route，這一信息可以在柵格地圖中作為分離的語義信息。

Separate submodules僅用于高級別命令，作為特定命令之間的子模塊。

Hand-crafted routing cost，通過人工制定的規(guī)則重新優(yōu)化規(guī)劃軌跡。

Route attention，強制規(guī)劃模型集中于預設的路線，

圖3顯示早期的模型并未通過目標而訓練規(guī)劃模塊，后來，子模塊和輸入特征站主導地位，近期的模型引入了規(guī)則注意力。

4.4 規(guī)劃算法

回顧公式5，我們將規(guī)劃定義為一個從觀測輸入X EV , X SV , and I到估計Y EV的一個函數(shù)f，接下來，我們聚焦規(guī)劃函數(shù)f。根據(jù)預期生成器，我們將規(guī)劃認為區(qū)分為三種范式：損失函數(shù)優(yōu)化，退化和混合規(guī)劃。

4.5 測試基準

規(guī)劃的評估方法包括開環(huán)評估和閉環(huán)仿真，開環(huán)仿真與預測任務相似，將控制器的輸出與專家規(guī)劃進行對比，然而近年來的研究表明開環(huán)評估與實際的駕駛表現(xiàn)性能關聯(lián)性不大。閉環(huán)仿真是用規(guī)劃器控制本車，更接近真實世界。Carla 或 nuPlan兩個數(shù)據(jù)集都是基于SV的駕駛模式。

5 預測和規(guī)劃融合方案

接下來著重關注PS中哪些設計決策在行為交互場景中有影響。尤其是探討PS如何考慮SV（Surrounding Vehicle）的預期行為因素。尤其是分析PS在SV的將來非預期行為下的規(guī)劃，分析SV對EV的影響。圖6描述了不同方式下，預測和規(guī)劃組件如何構建PS。接下來，我們從當前工作的分類開始介紹（5.1），接下來討論模塊融合系統(tǒng)中設計選擇產生的交互行為的意義（5.2），5.3節(jié)討論了模塊化融合系統(tǒng)中安全和應急概念。5.4討論了這些分類的可能組合，如圖5所示。

5.1 融合策略

本章主要討論圖6中的三種策略。

Monolithic E2E ，統(tǒng)一的端到端策略由單一的規(guī)劃器組成，因此，SV的未來行為和它們之間的相互作用，以及SV和EV之間的關系沒有明確建模。這種方法可以更好地再現(xiàn)專家的駕駛決策，但有更高的迅雷數(shù)據(jù)需求，主要的缺點是它們的黑盒子性質，這使得模型自省和安全驗證非常困難。

Interpretable E2E，可解釋的端到端規(guī)劃框架將預測作為輔助的學習任務，作為一個明確的模型輸出，預測任務與規(guī)劃任務一起被訓練。一般情況下，兩個任務共享骨干編碼特征，輸出頭分別解碼生成對應的輸出表示。與單一的端到端規(guī)劃相比，顯式預測增加了可解釋性并促進了自省。盡管如此，兩種PS設計都依賴于隱含的預測在潛在的空間中進行規(guī)劃任務并沒有安全性可以提供保證。因此，我們歸因于增加由此產生的駕駛性能(碰撞率)[65]對其規(guī)范效果的額外監(jiān)督。

Manual integration，人工融合方案意味著不同的任務使用不同的子模塊，這兩個任務的相互作用是基于專業(yè)知識手工設計的。被廣泛采用的方法是順序融合法，預測模塊的輸出傳遞給規(guī)劃模塊。由于該設計無法反映EV的規(guī)劃對SVs的影響，所以其他作品首先推斷模塊化規(guī)劃器來生成候選規(guī)劃。隨后，預測以這些候選項為條件，然后用于在候選項中選擇EV的規(guī)劃[130]，[240]。

接下來介紹了PRECOG [69]，PiP [130], [241] ，DSDNet [72] ，P3 [70], LookOut [73], and MP3 [74]，SafetyNet [80]， UniAD [132]，F(xiàn)usionAD等一系列作品的方案。與其他融合原則相比，人工融合需要更多的工程工作，但以一種有意義的方式結合先驗知識約束了融合方案的安全性。通常，人工集成的PSs比端到端系統(tǒng)提供了更高的可解釋性和更安全的方案[81]，[247]。圖3中的時間軸顯示了早期的工作主要依賴于單片E2E設計中的隱含預測。從ChauffeurNet[61]和PRECOG[69]開始，明確的預測變得更加流行。最近，端到端可微模塊組件的人工集成引起了廣泛關注[132]，[182]。

5.2 本車與其他個體之間的聯(lián)系

在前一節(jié)中，我們從系統(tǒng)架構的角度回顧了集成融合的原則。在下文中，我們將從不同的角度分析人工集成類別，即預期的本車和其他個體間關系。這在高度交互的場景中尤為重要，因為汽車需要根據(jù)對周圍智能體的觀察和預期行為來做出駕駛決策。然而，正如[5]所指出的，汽車也需要意識到它會影響他人的行為。

例如，在圖7的示例中，汽車的規(guī)劃可以也會影響SV的行為，例如通過接近交叉口速度加快會導致SV減速并向EV屈服。[5]引入以下四大類：機器人主導規(guī)劃、人主導規(guī)劃，共同主導規(guī)劃，聯(lián)合規(guī)劃。在這種情況下，人是指周圍的交通，機器人指的是自動駕駛汽車。下面，我們簡要描述這些類別并討論現(xiàn)有的工作。

Robot leader planning，根據(jù)當前狀態(tài)推斷EV規(guī)劃，并以此為條件對整個環(huán)境進行預測。這可能導致打擊性駕駛行為。例如在圖7的示例中，EV將推斷出當它遵循快速推進的規(guī)劃時，觀察到的SV將屈服于它以防止碰撞。

Human leader planning與機器人主導規(guī)劃是相反的，該規(guī)劃基于SVs的預測行為。它沒有模擬EV的規(guī)劃對SVs的影響，這可能導致不自信的行為[5]。在未受保護的右轉示例中(參見圖7)，EV試圖在沒有意識到它會影響兩種預測的SV行為的情況下找到適合的方案。因此，它將傾向于較慢的規(guī)劃。

Joint planning，聯(lián)合規(guī)劃描述了能夠意識到車輛(包括自我)相互作用的系統(tǒng)。通過對所有智能體的全局優(yōu)化得到汽車的規(guī)劃。因此，在存在最優(yōu)結果的假設下，IPP系統(tǒng)確定性地近似于一個聯(lián)合目標[248]。例如，如果圖7中的EV在接近SV之前擠入，這可能是相對于合理的全局目標而言最優(yōu)的。盡管如此，并不能保證SV的行為是相應的，不會加速。因此，[5]證明了這是如何導致致命錯誤的。

Co-leader planning，共同主導規(guī)劃模擬了SVs潛在未來行為的影響以及他們對潛在自我軌跡的反應[5]，[249]，[250]。與聯(lián)合規(guī)劃類別相反，周圍個體的行為不被認為是確定性的。因此，EV必須在規(guī)劃步驟中通過制定應急規(guī)劃來考慮這種不確定性，也就是說，它必須為多種未來結果做好準備，并能夠做出相應的反應。這種行為被稱為被動偶然性。

圖3顯示，沒有觀察到任何一種范式的明顯趨勢。這表明，目前尚不清楚這四個理論概念中哪個優(yōu)于其他理論概念，以及如何在系統(tǒng)架構的設計中實現(xiàn)它。這可能與缺乏全面的經(jīng)驗基準有關。

5.3 安全性和應急能力

上面討論的自我-其他個體關系類別強調了考慮多種潛在的未來情景對安全和應急規(guī)劃至關重要。在下文中，我們將討論如何將其合并到我們定義為規(guī)劃函數(shù)f = h(g(X EV, X SV,I)的一部分的成本函數(shù)組件h中(參見第4.4節(jié))。我們形成了以下三組關于安全和應急的現(xiàn)有方法：邊緣預測規(guī)劃、最壞情況規(guī)劃和應急規(guī)劃。它們在圖7中作了簡要概述。

Planning with marginalized predictions，帶邊緣預測的規(guī)劃描述了IPP系統(tǒng)，它不能明確區(qū)分多個未來情景N。這意味著與未來結果Y (j)SV相比，預測Y SV被邊緣化。如圖7所示，成本函數(shù)需要權衡不太可能但危險的場景(如碰撞)和非常可能的低成本場景。這對安全至關重要，因為規(guī)劃者需要謹慎，尤其是那些不太可能發(fā)生但危險的事件。

Worst-case planning，最壞情況規(guī)劃是指IPP系統(tǒng)意識到存在多種未來結果Y (j) SV。在這個類別中，所有情景都被認為是同等相關的，即不考慮概率能力P(Y (j)SV)。相反，每個提案都是根據(jù)最壞的情況進行評估的。這種模式強烈關注避碰，并可能導致過度謹慎的行為，如圖7所示。這樣的規(guī)劃者沒有意識到，根據(jù)形勢的實際發(fā)展，會發(fā)生重新規(guī)劃。

Contingency planning，應急規(guī)劃是對IPP系統(tǒng)的最高要求。它通過考慮不同的未來情景Y (j) SV及其概率P(Y (j) SV)，為場景的未知未來發(fā)展做好準備。由此產生的規(guī)劃可以對沖最壞情況的風險，同時實現(xiàn)預期的進展。基于成本函數(shù)的規(guī)劃范式和混合規(guī)劃范式都具有這些屬性。

5.4 可行的組合

在前面的章節(jié)中，我們描述了三種分類預測和規(guī)劃集成融合的方法，即(1)集成原則，(2)安全性和偶然性，以及(3)自我-其他個體關系。下面，我們將討論這三個維度的可能組合。圖5顯示了概述。我們的關鍵見解是，我們所描述的類別描述了不同層次上IPP方法之間的差異。雖然集成原則側重于高級系統(tǒng)體系結構，但自我到代理的關系主要基于該體系結構應該展示的交互行為。安全性和偶然性的考慮建立在成本函數(shù)的基礎上，即對方案選擇的具體設計選擇。下面，我們將重點介紹這些類別之間的關聯(lián)。需要強調，下面的分類是基于架構的，而不是基于結果行為的。在評估過程中，模型很可能表現(xiàn)出多個類別的屬性。因此，交互場景中的基準測試是不可避免的，以確定模型是否確實顯示了預期的行為(參見第4.5節(jié))。

我們認為機器人領導者范式可以與所有三個成本函數(shù)相結合。考慮一個簡單的機器人主導模型，它首先識別潛在的自我規(guī)劃，然后預測基于每個規(guī)劃的sv的未來行為。汽車方案的最終選擇可以基于屬于這三類中的每一類的成本函數(shù)。然而，現(xiàn)有的作品使用專門的成本函數(shù)，不遵循我們在第5.3節(jié)、[95]、[129]、[130]、[240]中概述的結構。我們想強調的是，系統(tǒng)地將機器人主導架構與相應的成本函數(shù)相結合可能是未來研究的一個有前途的方向。特別是偶然或最壞情況成本函數(shù)可以緩解機器人領導者規(guī)劃相關的固有問題，即依賴于SVs以潛在的不合理方式為EV的利益做出反應。

6 挑戰(zhàn)

基于對基于深度學習的預測和規(guī)劃以及在ADS中的集成融合概述，我們認為未來研究的四個核心挑戰(zhàn)為：大規(guī)模測試、系統(tǒng)設計、綜合基準測試、訓練方法。

大規(guī)模測試，在將自動駕駛系統(tǒng)部署到實際應用之前，需要進行大規(guī)模測試以驗證其有效性。這是的仿真非常必要。為了涵蓋潛在驅動場景的長尾分布，我們需要采用有效的方法來生成和檢索罕見但潛在關鍵的場景。特別是評估對抗性魯棒性可以幫助識別關于分布移位和分布外邊界的泛化的局限性。

系統(tǒng)設計，采用傳統(tǒng)的、由感知、預測、規(guī)劃和控制組成的嚴格順序系統(tǒng)仍然是一種流行的選擇。我們的調查表明，這種方法無法滿足對駕駛系統(tǒng)的要求。替代方法以一種允許對潛在的自我規(guī)劃進行調節(jié)預測的方式將預測和規(guī)劃集成在一起。盡管如此，目前仍不清楚哪種集成架構最有效。特別是在日益流行的可解釋端到端系統(tǒng)領域，如何將預測和規(guī)劃結合起來還不清楚。

全面的基準測試。我們討論了預測和規(guī)劃整合的不同方面。然而，沒有一個全面的經(jīng)驗基準再現(xiàn)和分析它們的優(yōu)缺點。這樣的概述將有助于更好地理解不同的自我-其他個體關系和安全/應急范式的影響。這需要在現(xiàn)實和高度互動的場景中進行模擬，并為周圍的車輛和富有表現(xiàn)力的交互指標提供現(xiàn)實的駕駛員模型。

訓練方法，當基于學習的方法應用于安全關鍵領域(如自動駕駛)時，魯棒性至關重要。安全關鍵場景[256]在訓練數(shù)據(jù)中很少發(fā)生，例如在電動汽車前面發(fā)生碰撞。但為了確保自動駕駛車輛的安全行為，關鍵是該系統(tǒng)也能適應這些情況。確保強大的泛化和保證安全性是一個開放的挑戰(zhàn)。

7 結論

本文中，我們全面概述了各種任務技術方法基礎上，調研分析了自動駕駛系統(tǒng)中預測和規(guī)劃的融合集成方法。我們描述、提出和分析了各種類別，以比較綜合預測和規(guī)劃工作，并強調了對安全和行為的影響。最后，根據(jù)發(fā)現(xiàn)的差距，指出了未來研究的發(fā)展方向。