更真實的協(xié)同感知!EI-Drive:協(xié)同感知和融合通信特征的智駕平臺
本文對EI-Drive: A Platform for Cooperative Perception with Realistic Communication Models進(jìn)行介紹,EI-Drive將協(xié)同感知和通信延遲與誤差融合,打造了一個更貼近車間通信(V2V Communication)真實部署環(huán)境的自動駕駛平臺,為抗通信干擾的相關(guān)自動駕駛算法提供了測試和訓(xùn)練的平臺。
項目詳情:https://ucd-dare.github.io/eidrive.github.io/
開源代碼:https://github.com/ucd-dare/EI-Drive
論文鏈接:https://arxiv.org/abs/2412.09782
研究動機(jī)
隨著自動駕駛領(lǐng)域的不斷發(fā)展,協(xié)同感知(Cooperative perception)得到了越來越多的關(guān)注,它使多個車輛或RSU能夠共享傳感器數(shù)據(jù),從而增強(qiáng)其對環(huán)境的感知。這種方法對克服傳感器遮擋、視野受限以及噪聲等限制尤為重要,這些限制可能導(dǎo)致障礙物的遺漏或決策上的致命錯誤。
現(xiàn)有的一些自動駕駛平臺已經(jīng)具備協(xié)同感知相關(guān)功能,并實現(xiàn)了其與仿真環(huán)境的交互。然而,當(dāng)前相關(guān)測試平臺的一個主要局限在于其采用了不現(xiàn)實的通信模型。由于協(xié)同感知高度依賴于單位之間的通信,通信過程對車輛感知的質(zhì)量起著至關(guān)重要的作用。諸如傳輸延遲和錯誤等關(guān)鍵因素可能對實時決策產(chǎn)生負(fù)面影響,從而大大降低整體性能。遺憾的是,大多數(shù)現(xiàn)有研究并未考慮到協(xié)同感知中的傳輸延遲和錯誤,而這些在現(xiàn)實世界的車間通信中卻是不可避免的。
EI-Drive框架
論文貢獻(xiàn)
為了在真實通信條件下評估協(xié)同感知及其他自動駕駛算法的性能和魯棒性,我們開發(fā)了 EI-Drive 仿真平臺,將現(xiàn)實的通信模型集成到平臺設(shè)計中。EI-Drive 融合了若干項功能,以克服現(xiàn)有自動駕駛仿真平臺的局限性。本文的主要貢獻(xiàn)總結(jié)如下:
EI-Drive 集成了現(xiàn)實的通信模型: EI-Drive在協(xié)同感知中集成了現(xiàn)實的通信模型。這使得多個智能體(如車輛和 RSU)能夠共享和融合傳感器數(shù)據(jù),在復(fù)雜駕駛環(huán)境中顯著增強(qiáng)其態(tài)勢感知能力。包含傳輸延遲和錯誤的通信模型準(zhǔn)確地再現(xiàn)了自動駕駛車輛在真實網(wǎng)絡(luò)條件下面臨的環(huán)境,提升了測試的魯棒性和可靠性。
內(nèi)置多智能體測試場景: EI-Drive 內(nèi)置包含復(fù)雜交通和多變網(wǎng)絡(luò)條件的場景,具有較強(qiáng)的對多智能體動態(tài)環(huán)境的仿真能力。這些內(nèi)置場景結(jié)合了world scripts和 EIScenarios,專為探索智能體之間的交互和不同功能(如協(xié)同感知和通信模型)而設(shè)計,用于在復(fù)雜動態(tài)環(huán)境中對自動駕駛算法進(jìn)行測試。
在傳輸延遲和錯誤條件下對協(xié)同感知進(jìn)行實驗: 基于內(nèi)置場景,我們在現(xiàn)實的通信模型下對協(xié)同感知進(jìn)行了實驗研究。結(jié)果表明,傳輸延遲和錯誤對協(xié)同感知性能及車輛行為產(chǎn)生了顯著影響。此外,這些實驗突出了 EI-Drive 作為強(qiáng)大工具的能力,能夠有效模擬通信模型與自動駕駛系統(tǒng)之間的復(fù)雜交互。
實驗結(jié)果
1)基于規(guī)則的自動駕駛
EI-Drive包含一個較為簡單的基于規(guī)則的自動駕駛算法,以實現(xiàn)車輛的自主尋路、識別、避障。該算法將成為后續(xù)更復(fù)雜實驗的基礎(chǔ)。我們設(shè)計了四種不同的任務(wù),包括超車、跟車、紅綠燈和停車標(biāo)志,以展示該自動駕駛算法的基本能力。在所有場景中,自車(ego vehicle)采用多模態(tài)輸入,并采用多種感知方法。
多模態(tài)傳感器:展示了自車在每個場景中利用多模態(tài)傳感器的行為。在超車場景中,自車成功連續(xù)超越前方兩輛車,確保換道安全且無碰撞。在跟車場景中,自車以安全距離跟隨前方車輛。在紅綠燈場景中,自車能夠正確識別紅綠燈并通過路口。在停車標(biāo)志場景中,自車在停車標(biāo)志前停車,然后繼續(xù)前進(jìn)。實驗表明,自車能夠識別環(huán)境中的目標(biāo)并作出正確響應(yīng),確保軌跡規(guī)劃和運(yùn)動控制的安全性與流暢性。
感知方法:為了進(jìn)一步細(xì)化感知模塊中的目標(biāo)檢測方法,我們在超車和跟車場景中測試了內(nèi)置的感知方法。實驗利用了內(nèi)置的 Oracle、YOLOv5 和 SSD 算法,對自車攝像頭圖像進(jìn)行目標(biāo)檢測。如圖所示,這些方法能夠準(zhǔn)確檢測車輛并可視化邊界框。
2)碰撞規(guī)避任務(wù)
為了更好地突出協(xié)同感知擴(kuò)展自車感知能力并提高安全性的作用,我們設(shè)計了基于碰撞規(guī)避任務(wù)的實驗。在該實驗中,自車需要通過一個沒有紅綠燈的路口,而一輛被消防車遮擋的左側(cè)來車可能引發(fā)潛在碰撞。為了避免碰撞,協(xié)同感知從觀測車輛或 RSU(路側(cè)單元)提供有關(guān)這輛隱藏車輛的額外信息,幫助自車做出正確決策。
在上圖中,我們研究了協(xié)同感知、傳輸延遲和傳輸錯誤的影響。在此實驗中,我們將延遲和錯誤率分別設(shè)置為 0.3 秒和 30%。如圖所示,僅當(dāng)啟用了協(xié)同感知時,才能可視化消防車后方來車的邊界框。然而,在未啟用協(xié)同感知的情況下,自車只能在來車從消防車后方進(jìn)入其視野時才檢測到,而此時自車已無法及時剎車。圖中的第三行和第四行則突出顯示了傳輸延遲和錯誤的影響,分別導(dǎo)致邊界框位置偏離真實位置和部分邊界框幀的丟失。
我們在更多場景和不同實驗設(shè)置下測試了協(xié)同感知的性能,其結(jié)果如上表所示。很顯然,協(xié)同感知能有效提高自動駕駛系統(tǒng)的安全性,而通信延遲和錯誤將降低整體性能。
3)目標(biāo)檢測任務(wù)
為了進(jìn)一步驗證協(xié)同感知在不同任務(wù)中的性能,我們設(shè)計了目標(biāo)檢測任務(wù)。在這些場景中,自車分別在觀測車輛和 RSU 的幫助下,在路口實時檢測繁忙交通中的車輛。檢測到的車輛數(shù)量作為評估性能的重要指標(biāo),該指標(biāo)將受到有限視角和檢測范圍的限制。
如上圖所示,未啟用協(xié)同感知時,由于周圍車輛遮擋,自車的感知范圍受限。當(dāng)啟用協(xié)同感知時,觀測車輛和 RSU 分享感知信息以擴(kuò)展感知范圍,從而顯著增加了檢測到的車輛數(shù)量。此外,由于目標(biāo)檢測并非總是穩(wěn)定的,來自多個來源對同一目標(biāo)的冗余檢測提高了感知的魯棒性。因此,協(xié)同感知在城區(qū)復(fù)雜交通環(huán)境下大幅提升了車輛的感知能力。