自動駕駛汽車面臨的一個核心挑戰(zhàn)是如何與人類合作。因此，在模擬環(huán)境中，將現(xiàn)實中的人類代理納入到自主駕駛系統(tǒng)的可擴展訓(xùn)練和評估中至關(guān)重要。模擬代理通常是通過模仿大規(guī)模、高質(zhì)量的人類駕駛數(shù)據(jù)集來開發(fā)的。然而，純粹的模仿學(xué)習(xí)代理在多代理閉環(huán)環(huán)境中執(zhí)行時經(jīng)驗上具有較高的碰撞率。為了構(gòu)建在閉環(huán)設(shè)置中既逼真又有效的代理，研究人員提出了一種名為 Human-Regularized PPO（HR-PPO） 的多代理方法，其中代理通過與一個人類參考策略做自我對弈訓(xùn)練，并對偏離人類參考策略的行為施加了小的懲罰。與以往的方法相比，該方法以強化學(xué)習(xí)為主，僅利用了30分鐘的不完美人類示范數(shù)據(jù)。在大量的多代理交通場景的評估中，HR-PPO 代理在實現(xiàn)目標方面非常有效，成功率達到 93%，越出道路的比率為 3.5%，碰撞率為 3%。與此同時，HR-PPO 代理以類似人類駕駛的方式行駛，在與人類駕駛協(xié)調(diào)的代理指標上表現(xiàn)出相當(dāng)大的改進，特別是在高度互動的情景中。

當(dāng)前的駕駛模擬器提供了基本的交互代理 - 簡單的車輛跟隨模型、基于規(guī)則的代理、記錄的人類駕駛?cè)罩净蚰７聦W(xué)習(xí)代理。這些模型無法創(chuàng)建具有挑戰(zhàn)性的協(xié)調(diào)場景，或者在閉環(huán)中具有高碰撞率。

為了構(gòu)建在閉環(huán)設(shè)置中既逼真又有效的代理，研究人員提出了Human-Regularized PPO (HR-PPO)，一種多代理方法，通過自我對弈訓(xùn)練，并對偏離人類參考策略的行為施加了小的懲罰。

方法

• 步驟1：模仿學(xué)習(xí)

通過對人類駕駛示范進行模仿學(xué)習(xí)，獲取人類參考策略。

• 步驟2：引導(dǎo)自我對弈

代理在多代理設(shè)置中進行訓(xùn)練，每個場景最多可容納50個代理。目標函數(shù)如下：

實驗結(jié)果

在大量的多代理交通場景中，研究人員發(fā)現(xiàn)可以同時實現(xiàn)效果和逼真度。HR-PPO 代理在四種不同逼真度指標上實現(xiàn)了顯著的人類相似性改進，同時達到了與 PPO 相似的性能水平。

HR-PPO 代理在衡量與人類駕駛協(xié)調(diào)的代理指標上顯示出相當(dāng)大的改進，特別是在需要代理之間協(xié)調(diào)的高度互動場景中。在互動場景中，HR-PPO 在 PPO 的基礎(chǔ)上提升了 20-40%。

有趣的是，它們甚至表現(xiàn)出比直接在代理的測試分布上訓(xùn)練的代理更好的性能。這表明，多代理訓(xùn)練可能比單一代理訓(xùn)練提供了額外的好處。

為什么 HR-PPO 代理與人類駕駛?cè)罩靖嫒菽兀?/h2>

• HR-PPO 代理的駕駛風(fēng)格類似于人類駕駛員，這使得它更容易適應(yīng)人類駕駛?cè)罩镜男袨椋?/li>

• HR-PPO 代理與其他車輛保持更多距離，從而降低了碰撞的風(fēng)險。

譯自（有刪改）：https://sites.google.com/view/driving-partners