本文經自動駕駛之心公眾號授權轉載，轉載請聯系出處。

寫在前面 && 筆者理解

隨著自動駕駛技術的不斷進步，我們可能正在進入一個連接自動駕駛車輛（Connected Autonomous Vehicles, 簡稱CAVs）和人工駕駛車輛（Human-Driven Vehicles, 簡稱HDVs）共存的時代。盡管CAVs在提高交通安全和效率方面具有巨大潛力，但它們在開放道路上的表現還遠未達到令人滿意的程度。根據加利福尼亞州機動車管理局的報告，51%的車輛解綁是由于CAVs的決策失敗造成的。此外，北京自動駕駛車輛道路測試報告揭示，高達91%的解綁事件發生在與其他車輛交互時，這表明目前的自動駕駛技術還不足以應對復雜的交互場景。為了改善這個問題，利用CAVs的協同駕駛能力是一個較為有希望的方法。

針對不同場景下的協同駕駛問題，目前流行的方法大致可以分為以下幾種：

• 基于優化的方法旨在最大化或最小化目標函數以實現特定目標。但是基于優化的方法往往未能在駕駛過程中明確考慮法規和社會規范，使得他們的決策結果難以理解。
• 基于規則的方法在形式上簡單，因此計算效率高。然而，盡管可以將基于規則的方法與交通法規結合起來，但預設的規則通常會導致魯棒性差。
• 基于學習方法，如深度學習和強化學習。這些方法已成功應用于交叉口、合并區域和高速公路等環境中的協同駕駛，表現出良好的性能。但基于學習模型的性能在轉移到未經訓練的環境中時往往會顯著下降。

另一方面，近年來Transformer模型和大型語言模型（LLMs）的快速發展為實現協同決策提供了新的可能性。這些模型已經在自然語言處理和智能體決策制定等領域展示了巨大的潛力。在這種背景下，作者提出了一個交互式和可學習的LLM驅動的協同駕駛框架，用于全場景和全Cooperative Driving Automation(簡稱CDA)。

• 論文鏈接：https://arxiv.org/pdf/2409.12812
• 開源鏈接：https://github.com/FanGShiYuu/CoDrivingLLM

問題表述

目前，CAVs在開放道路上的表現仍然不是很理想。在某些場景下，CAV的事故率甚至是人類駕駛員的5.25倍，這顯然不能滿足人們對自動駕駛技術的期望。而CAVs的通信能力使其能夠實現互聯互通和相互協助。因此，利用協同駕駛能力是提高CAVs性能是作者認為非常有前途的方式。

觀測空間 (Observation Space)

動作空間 (Action Space)

模型結構

CoDrivingLLM主要包括三個模塊：環境模塊、推理模塊和記憶模塊。

A. 總體架構

圖2展示了CoDrivingLLM中的主要模塊及其邏輯關系，包括三個主要模塊：環境模塊、推理模塊和記憶模塊。環境模塊根據上一個時間步的CAV和HDV的動作更新當前場景信息，包括所有車輛的狀態，如位置、速度等。接下來，作者設計了一個集中-分布式結合的LLM推理模塊。基于SAE J3216標準定義的CDA的四個級別，作者將這個推理模塊整合了四個子功能：狀態共享、意圖共享、協商和決策。通過結合思維鏈（Chain-of-Thought, COT）方法，作者將推理過程中的每個子功能順序連接起來，以增強決策的安全性和可靠性。在這個過程中，每個CAV使用LLMs進行分布式的高級邏輯推理，完成不同級別的協同駕駛，并利用框架內的沖突協調器進行集中沖突解決，進一步提高安全性。最后，推理過程中的場景描述、沖突描述和最終決策以向量化形式存儲在記憶數據庫中。在隨后的推理中，CAV可以參考最相似的過去記憶作為經驗，使設計的CAV能夠在駕駛過程中不斷學習和提高其能力。

B. 環境模塊

環境模塊包括兩個子模塊：

• 環境動態模擬子模塊，它模擬真實世界的環境動態，為協同駕駛框架提供現實的背景交通流和訓練反饋；
• 基于模型的控制執行子模塊，為LLM提供基于模型的車輛控制單元，提高動作執行的準確性和成功率。

環境動態模擬子模塊：真實世界的反饋對于訓練一個穩定和可靠的協同決策模型至關重要。為了確保模擬的真實性和可靠性，作者在環境動態模塊中考慮了一個混合人自動駕駛環境，引入不受控制的人工駕駛車輛，為協同駕駛框架創造更加現實的背景交通流。這些不受控制的車輛不參與協同駕駛任務，意味著它們不共享它們的意圖，并僅基于它們自己的決策邏輯運行。鑒于IDM（Intelligent Driver Model）和MOBIL（Minimizing Overall Braking Induced by Lane changes）的結合被廣泛用于表征人類駕駛行為，并且在交叉口、環形交叉口和合并區域等各種場景中都顯示出良好的結果，作者分別利用IDM和MOBIL來代表HDV的縱向和橫向行為。HDV的加速度由IDM給出，如下所示：

基于模型的控制執行子模塊：雖然LLMs具有強大的推理能力，但它們在精確的數學計算和低級車輛運動控制方面表現不佳。為了解決這個問題，作者設計了一個基于模型的控制執行子模塊。在這個模型中，作者使用基于模型的方法將推理模塊的語義輸出轉換為加速度和前輪角度，然后用于更新車輛在下一個時間步的位置、速度和其他信息。具體來說，加速度和前輪角度都由相對簡單的比例控制器控制，計算公式如下：

C. 推理模塊

作者構建了一個集成的推理模塊，從狀態共享到意圖共享、協商，最終決策。該模塊以思維鏈的方式運作，首先從環境中提取周圍車輛的信息以創建場景描述。然后，它將車輛的狀態組織成沖突對，形成沖突描述。為了確保在沖突期間車輛決策的一致性并避免碰撞，作者開發了一個基于LLM的沖突協調器。該協調器將當前的沖突描述與交通規則結合起來，確定每個沖突組的優先級順序。最后，每個CAV根據沖突協調器的建議和自己的情境描述做出決策。

State-perception：狀態感知功能負責獲取和處理當前環境的信息，包括動態數據，如車道信息和車輛信息。CAV被允許與他人交換信息，因此為后續更高級別的CDA鋪平了道路。狀態感知功能可以構建一個完整準確的駕駛環境識別，為后續推理提供可靠的基礎。

Intent-sharing：意圖共享功能，傳達車輛駕駛意圖給其他CAV，是協同駕駛的一個關鍵優勢。從宏觀到微觀，駕駛意圖主要包括共享預期車道和預期速度。通過意圖共享，其他車輛可以更好地理解自我車輛的意圖，使它們能夠在避免沖突的同時做出決策。

Negotiation：作者設計了一個沖突協調器來解決沖突，并實現尋求共識的合作。沖突協調器識別當前環境中所有潛在的沖突，并根據所涉及兩輛車的當前狀態評估每個沖突的嚴重程度。為了量化沖突的嚴重程度，以時間差作為替代指標定義為：

沖突協調器根據沖突的嚴重程度確定每對沖突車輛的通行順序。在此過程中，交通規則和駕駛過程中的社交規范同時被沖突協調器考慮。例如，如圖1所示，根據交通規則，轉彎車輛應該讓直行車輛先行。因此，在協商后，沖突協調器確定CAV2應該在這組沖突中讓行。協商結果和原因被發送到決策功能以做出最終決策。然而，需要注意的是，協商結果是建議性的，最終決策還取決于自我車輛周圍環境的其他因素。

D. 記憶模塊

日常生活中，新司機通過持續的駕駛實踐積累經驗，評估不同行為的效果，并從中學習以提高駕駛技能。借鑒這一機制，作者引入記憶模塊，使CAV能夠從過去的經歷中學習，并利用這些知識進行未來的互動。這一過程也被稱為檢索增強生成（RAG）。RAG賦予LLMs訪問特定領域或組織內的知識數據庫的能力。這種能力允許在不需要模型重新訓練的情況下，經濟高效地改進LLM輸出，確保在解決特定領域問題時的相關性、準確性和實用性。具體來說，設計的記憶模塊包含兩個主要功能：記憶增強和記憶檢索。

記憶增強：記憶增強功能評估CAV在前一個場景中的行為影響，以確定這些行為是否加劇了沖突。如果CAV的行為導致危險增加，系統會產生負面反饋，例如：“你的行為加劇了沖突；應避免采取類似行動。”這種反饋機制在場景、行為和結果之間建立了聯系，將這些映射存儲在記憶數據庫中以供將來參考。在每次調用LLM進行推理之前，從記憶數據庫中檢索與當前場景最相關的記憶以增強提示，從而避免重復過去的錯誤。

記憶檢索：隨著互動數量的增加，記憶數據庫將累積眾多過去的經歷。將所有記憶作為提示輸入會導致冗余，使得CAV在推理過程中難以提取關鍵信息。為了解決這個問題，采用記憶檢索功能，在利用記憶指導推理之前，從數據庫中提取與當前場景最相關的記憶。具體來說，當前場景描述和沖突描述被轉換為向量形式，并使用余弦相似度根據它們與當前場景的相關性對庫中的記憶進行排名。排名靠前的記憶隨后被選為CAV推理的提示的一部分。這些類似的記憶，被稱為少量體驗，被注入到CAV的推理模塊中，使CAV能夠從過去的錯誤中學習。記憶模塊的引入不僅提高了CAV在復雜環境中的決策能力，而且賦予了類似人類的持續學習能力。通過不斷從過去的經歷中學習，CAV能夠更好地適應動態環境，提高駕駛安全性，減少交通事故，提高其在現實世界應用中的可靠性和實用性。

實驗結果

實驗設置

仿真環境作者基于highway-env開發了環境模塊。設計了三種場景來進行實驗，如圖4所示，包括四車道高速公路場景、合并場景和單車道無信號交叉口。上下文交通流和HDV的設置遵循作者框架的環境模塊的說明。

實驗細節作者使用GPT-4o mini作為基礎LLM模型，進行高層次的邏輯思考和判斷。每個模擬環境中控制四個CAV。此外，所有不同設置的場景都重復20次，使用不同的隨機種子以獲得最終結果。成功率被用作評估所有方法性能的指標。在一個案例中，如果所有CAV都能安全地完成駕駛任務并到達目的地，則該案例成功。成功率表示成功案例數與總案例數的比率。

協商模塊消融研究

通過共享狀態和意圖，合作駕駛可以提供額外的信息，幫助沖突方協調他們的決策。為了實現這一點，作者在推理過程中引入了一個協商模塊。通過建立一個LLM驅動的沖突協調器，將交通規則和場景描述整合在一起，以產生建議的交通順序來協助最終決策，從而提高交互能力。為了驗證沖突協調器在提高交互能力方面的有效性，作者進行了消融實驗，比較了CoDrivingLLM在各種場景下有無協商模塊的成功率。此外，作者還選取了一個案例來分析協商功能如何提高安全性。

如圖5所示，在高速公路場景中，有無協商模塊并不影響合作駕駛的性能，因為作者的方法始終實現了100%的成功率。作者將其歸因于高速公路場景中缺乏重大的交互沖突，協商模塊沒有機會有效干預。然而，在合并和交叉口場景中，協商模塊顯著提高了決策的成功率。在這兩種類型的場景中，車輛之間不可避免地會出現沖突，只有他們的決策一致，才能避免碰撞。具體來說，在合并場景中，CAV決策的成功率從33%提高到75%，在交叉口場景中，成功率從15%上升到78%。協商模塊在交叉口場景中影響最大，因為交互的復雜性和交通沖突的密度遠高于其他兩種場景。這表明作者的協商模塊有效地處理了復雜的交通沖突和交互場景，是整體合作駕駛框架的關鍵組成部分。

記憶模塊消融研究

記憶模塊旨在使CAV能夠從過去的經驗中學習，避免重復過去的錯誤。作者也做了記憶模塊的消融實驗。他們比較了在0次、2次和5次經驗（shots）下，CoDrivingLLM在不同場景中的性能。這里的"shots"指的是在推理前向模型注入最相似過去經驗的次數。在高速公路場景中，由于車輛沖突和交互挑戰較少，即使不使用記憶模塊，CoDrivingLLM也能達到100%的成功率，且2次和5次經驗的添加對成功率沒有影響。在合并和交叉口場景中，從0次經驗增加到2次經驗時，決策成功率顯著提高，合并場景從78%增至90%，交叉口場景從75%增至85%。然而，當經驗從2次增加到5次時，性能略有下降。這表明過多的記憶可能并不總是增強LLM的決策能力，過量的重復或低價值記憶可能會占用LLM的上下文窗口，降低其關注其他相關感知信息的能力，從而可能產生負面影響。所以作者認為，記憶模塊為CoDrivingLLM提供了學習效用，通過持續從經驗中學習，CAV能更好地適應動態環境，提高駕駛安全性，減少交通事故，增加現實應用的可靠性和實用性。

與其他方法的比較

作者選擇在無信號交叉口場景下做對比實驗，對比包括基于優化的方法(iDFST)、基于規則的方法(Cooperative game)和基于學習的方法(MADQN)。

整體性能作者總結了每種方法的成功率。根據表I中的數據，CoDrivingLLM的表現優于其他方法，達到了90%的成功率。iDFST和Cooperative Game方法略遜一籌，都達到了85%的成功率。

安全評估作者對各種方法進行了全面的安全性分析，使用了交通工程中公認的安全性參數PostEncroachment Time (PET)。這一指標有效地量化了車輛在復雜交通場景中的安全性和交互強度。根據圖9和表I中的結果，iDFST方法和CoDrivingLLM表現都很出色，平均PET值分別為15.1秒和10.3秒。相反，MADQN和Cooperative方法的PET值分別為5.7秒和3.7秒，表明在交通環境中的決策交互中存在更高的風險。此外，PET值較低意味著存在更高的安全風險。通常，PET值小于1.5秒表示應避免的嚴重沖突。根據圖9，所提出的CoDrivingLLM的PET分布主要集中在1.5秒以上。盡管MADQN的PET分布也沒有低于1.5秒的值，但考慮到其成功率僅為20%，存在大量的碰撞。因此，CoDrivingLLM在安全性方面表現最佳。

效率評估作者還使用旅行速度評估了所有方法的效率。如表I所示，MADQN在測試期間達到了最高的平均速度6.1 m/s。然而，這種效率是以犧牲安全性和整體性能為代價的。iDFST方法在安全性和成功率方面表現良好，但駕駛效率低下，過度低速行駛導致平均速度僅為4.1 m/s。盡管基于規則的方法在安全性方面表現良好，但其低效率一直是普遍存在的問題。相比之下，CoDrivingLLM在安全性和效率之間取得了平衡，保持了5.7 m/s的高平均速度，同時確保了安全性。總之，CoDrivingLLM有效地平衡了安全性和效率，實現了最佳的整體性能，明顯展示了其優越性。