Cruise自動駕駛決策規劃&控制負責人Brandon Basso本科畢業于哥倫比亞大學，博士畢業于加州大學伯克利分校，主要研究決策、機器人系統設計和軟件架構、機器學習、控制理論等。曾在3D Robotics、Uber自動駕駛公司工作多年，擔任重要職位，在無人機和自動駕駛領域擁有豐富的經驗。

一、什么是好的決策規劃系統

Brandon Basso先定義了一個好決策系統的特征和輸出應該是怎樣的。

好決策系統的特征：

• 及時性（要能及時的做出決策）
• 交互決策（考慮自車的動作對其他交通參與者的影響、考慮其他道路交通參與者的動作）
• 可靠性和可重復性（如果自動駕駛系統在同樣的場景做出的決策不同，說明系統穩定性不好）

好決策系統的輸出：安全、舒適、老司機般的體驗

二、決策規劃技術的挑戰

1.場景中交通參與者多

在決策系統中需要考慮場景中其他交通參與者未來的動作，一般來說在一個交通場景中可能有上百個交通參與者與自動駕駛車輛發生交互，因此自動駕駛車輛需要采樣計算5000多條備選軌跡才能做出正確的決策，但是自動駕駛需要非常及時的做出決策，我們的決策規劃算法通常運行頻率在10H-30Hz左右，也就是說每30ms到100ms就需要計算一次，而在這么短的時間做出正確的決策是一個巨大的挑戰。

2.決策不確定性（再精確的模型也無法在線精確的預測其他交通參與者的未來選擇）

這里提到三個不確定性，運動學不確定性、遮擋不確定性、模型建模不確定性，這里分別對三種不確定性舉例進行了說明：

1）運動學不確定性：比如上圖中第一個騎自行車的直行，但是后面那個不確定是右轉環式直行，第一個有可能會被第二個人喊著右轉呢？這種不確定性需要被考慮。

2）遮擋不確定性：第二種就是屬于盲區，你不知道盲區會不會突然出來一輛快速沖過來的車；

3）模型建模不確定性：第三種這個例子很有意思，我們在預測中都是考慮社會車輛會如何運動，但是沒有考慮過如果社會車輛不是按著運動狀態運行呢，比如騎行人突然摔倒該怎么辦，我們所建的模型如何解決這樣的問題。

上面三個不確定性的考慮已經證明Cruise走在世界前列，目前為止我們大部分自動駕駛的企業對于這些不確定性的考慮還處于初期，遠沒有做到這么精細的階段。

三、決策規劃整體架構

整體架構

Cruise稱他們的決策系統為The Cruise Decision Engine，首先將場景感知數據作為輸入（Cruise的預測模塊是屬于大感知模塊下面，同時Cruise的預測模塊會考慮障礙物與障礙物之間的交互預測的），然后在自車動作生成模塊生成自車初始動作（這里為什么說是初始動作呢，因為涉及到與其他障礙物交互博弈，所以多次迭代才能確定自車的最優決策），接下來將自車動作輸入到沖突解決模塊，最后輸入到規劃執行模塊，輸入到執行器實現油門、剎車、方向盤控制，這里重點對各個模塊進行介紹：1）動作生成模塊：自車結合所有交通參與者的預測信息生成自車初始動作信息，由于自車有多種可能性的動作，比如加速通行、停車、避讓等動作，會生成大量的備選軌跡，因此這里為了加速初解的計算效率，利用了機器學習的方法訓練了一個模型，通過機器學習的方法加速選出最好的軌跡。這里通過機器學習的方法，大概只需要10ms的時間就可以找到自車的初始解，1%的極端情況下14ms就可以找到初始解，最差的情況下也只需要80ms就可以找到初始解。在自動駕駛中引入機器學習是一個非常棒的選擇，因為這里是初始解，后面有其他模塊兜底，即使錯誤也不會導致安全問題，但是可以加速決策求解。

自車動作生成模塊

機器學習加速自車決策初始解

2) 沖突解決模塊：根據自車動作生成模塊生成的初始動作，然后結合交通場景中的所有交通參與者可能的運動信息進行軌跡采樣，并對軌跡進行評分，選出最好的運動軌跡，并經過多次迭代做出最好的決策（3到4次）。其中軌跡評分會考慮安全性（碰撞、遠離騎行人和行人）、交通規則（停牌、紅綠燈）、舒適性（軌跡平滑）、不確定性以及全局規劃導航信息等。這里面還提到利用強化學習去解決不確定性問題。

沖突解決模塊

3）控制模塊：

控制模塊

四、決策規劃技術細節

首先介紹了整個決策系統的最終目的：

然后針對上面的目的分別通過實際場景進行了分析：

1）解決運動學不確定性：這里介紹了兩個場景，一個是前方的行人突然去打開車門（如果按照正常預測行人應該是走向路外，如果按照預測進行決策則不安全），而這里考慮了運動學不確定性，自動駕駛車輛減速避讓，只能說太強了。

第二個場景則是預測行人左轉，但是走到自動駕駛前方的時候自行車突然變為直行，從自車左方行駛過去，由于行人和騎行人靈活，其預測一直是難點，而這里考慮了不確定性，提前反應保證了安全。

2）解決遮擋不確定性：由于遮擋，自車右前方的車輛不能觀測到，通過設置路口右方駛來的虛擬車輛解決遮擋不確定性。（右上方帶綠色箭頭的障礙物為虛擬不可見的障礙物），第二個場景是，提前考慮到被遮擋的行人而緩慢行走。

3）解決3D不確定性：其實主要說的是前方的路上是坡道，無法提前看到對向來車，cruise自動駕駛車輛會提前減速，這樣處理是因為cruise考慮了前方是坡道的感知不確定性，二維平面已經無法處理這樣的場景了，需要增加維度，考慮3D不確定性。

4）交互博弈：通過對自車行為對他車影響及他車對自車的影響進行交互博弈決策，因為我們的自動駕駛系統中不能只考慮自身的舒適性、安全性，而不去考慮其他交通參與者的體驗，這樣做出的決策是極其的危險，我們的決策是需要在考慮整體的平衡時提高效率，所以設計評價指標時除了自車舒適性、效率、安全性等，社會車也需要同等考慮這些評價，同時滿足這兩種情況才能稱之為好的決策，這里舉了兩個例子，一個是讓行，一個是搶行。

這里針對交互博弈介紹了在借道避讓場景下讓行和搶行的決策及考慮不確定性條件下超騎行人的案例：

讓行對向來車

讓行帶向來車

搶行對向來車

超低速行人

1）模仿學習進行決策：使用模仿學習的方法，并離線訓練策略網絡生成模型進行決策，這里舉了一個超過前方故障車的場景。

2）解決模型誤差：這里提到下圖這個場景，一個行人向左走，一個向右走，如果按照正常的預測模型，將會出現分叉的空間，自車決策當自車到達行人位置的時候兩個行人走開，但是沒有考慮到向左走的人其實是撿帽子，他可能向左也可能撿完帽子向右走，如果自車真的向前行駛則會碰撞到行人。在自動駕駛中行人預測是一個極其大的挑戰，因為自由度比較大，不能像車輛一樣有動力學約束，這里Cruise采用強化學習的方法離線訓練模型，進行仿真模擬，從而解決這個問題，通過下圖右邊這個黃色的圖可以看到，經過強化學習的訓練，已經可以形成一個保守的預測解決上面提到問題。

這里還提到用強化學習的方法訓練兩輛自動駕駛車去泊車，但是不會碰撞，而且舒適性比較好。

3）應急反應：這里提到的這個場景真是非常驚險，從自動駕駛車輛右方突然竄出一輛自行車，如果正常的決策流程的話很可能反應延遲撞上去，因此這里cruise利用強化學習的方法離線訓練類似場景，跳過預測，直接輸出決策給規劃和控制，及時剎車。這里有點類似AEB（緊急自動剎車），在自動駕駛系統設計中需要考慮應急系統解決這樣的場景，不然的話，外賣小哥將會持續成為城區自動駕駛最大的考驗 。

4) 動力學模型：通過設計一個高保真車輛和環境的動力學模型在規劃控制閉環系統，保證了自動駕駛駕駛的舒適性

五、總結

Cruise這次技術開放日真正做到了秀肌肉的目的，通過各種難場景展示了其技術的前進性以及技術探索，但是技術細節基本沒有透露。Cruise決策規劃技術主要有以下幾點非常值得我們學習，也是自動駕駛未來的發展路徑：

基于規則搭建的整體架構，引入機器學習、監督學習、強化學習、模仿學習，在規則保證安全的同時，通過學習的方式提高決策效率和決策的性能。

1）考慮多種不確定性：運動學不確定性、遮擋不確定性、感知不確定性、模型不確定性。

2）交互博弈：在自動駕駛過程中，需要通過和其他交通參與者交互才能提高交通效率，這一塊是自動駕駛研究難點。

3）應急反應：有些時候如果走完整個決策流程再執行可能會導致自動駕駛車輛反應慢，產生安全事故，需要設置AEB、AES功能提高系統應急反應能力。

4）預測：隨著自動駕駛技術的研究進入新的階段，單個障礙物的預測已經不能滿足自動駕駛的需求，需要考慮障礙物與障礙物以及自車之間的相互影響，預測和決策將會越來耦合在一起。比較奇怪的是，Cruise將預測和感知放在了一起。

5）Cruise基本框架：采用生成自動駕駛車輛和其他交通參與者的采樣軌跡，然后進行評價生成最優決策。

6）高保真的動力學模型

看完了Cruise的技術開放日，雖然沒有透露特別多的技術細節，但是Cruise考慮到的問題和場景已經非常震撼，目前大多數自動駕駛公司還沒有做到這種地步，如此之精細。