2024年自動駕駛標注行業是否會被世界模型所顛覆?
本文經自動駕駛之心公眾號授權轉載,轉載請聯系出處。
1.數據標注面臨的問題(特別是基于BEV 任務)
隨著基于BEV transformer 任務的興起,隨之帶來的是對數據的依賴變的越來越重,基于BEV 任務的標注也變得越來越重要。目前來看無論是2D-3D的聯合障礙物標注,還是基于重建點云的clip 的車道線或者Occpuancy 任務標注都還是太貴了(和2D標注任務相比,貴了很多)。當然業界里面也有很多基于大模型等的半自動化,或者自動化標注的研究。還有一方面是自動駕駛的數據采集,周期太過于漫長,還涉及到數據合規能一系列問題。比如,你想采集一個平板車跨相機的場景,或者一個車道線城市多變少,少變多的場景,就需要采集人員專項去構建這樣的場景。
2.24年會是世界模型的奇點時刻嗎?
世界模型這個概念太過于大,或者說成傳感器仿真。在特斯拉AI day 上第一次見識到仿真對標注的顛覆
圖1: 特斯拉的自動化標注效果圖二 4D 重建的效果
當時看到之后是震驚, 還是震驚!就像當成特斯拉的BEV 一樣顛覆。隨著越來越多的研究人員在這個方向不斷發力,有很多優秀的研究呈現出來。UniSim 的自動駕駛仿真系統, 具備 重放,動態物體行為控制, 自由視角渲染等功能(這應該是每一個訓練模型的同學都想擁有的) 。
還可以對lidar 進行仿真。
具體見: https://zhuanlan.zhihu.com/p/636695025. 這個方向還有更多的的類似的研究。
NeuRAD: Neural Rendering for Autonomous Driving
DrivingGaussian: Composite Gaussian Splatting for Surrounding Dynamic Autonomous Driving Scenes 以上的方法都大多和Nerf 相關,整個pipeline 都比較重。還有另一個方向,基于擴散的研究方向。目前也取得了不錯的研究。
BEVControl: Accurately Controlling Street-view Elements withMulti-perspective Consistency via BEV Sketch Layout
BEVControl: Accurately Controlling Street-view Elements withMulti-perspective Consistency via BEV Sketch Layout
< MagDriver MAGIC DRIVE : STREET VIEW GENERATION WITH DIVERSE 3D GEOMETRY CONTROL >
技術發展太快了,傳感器仿真的門檻正在降低,有可能24年自動駕駛標注行業會出現一些顛覆性的產品出來!