本文經(jīng)自動(dòng)駕駛之心公眾號授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

毫不意外，隨著Tesla V12在北美大范圍推送以及憑借其良好的表現(xiàn)開始獲得越來越多用戶的認(rèn)同，端到端自動(dòng)駕駛也成為了自動(dòng)駕駛行業(yè)里大家最為關(guān)注的技術(shù)方向。最近有機(jī)會(huì)和很多行業(yè)中的一流工程師，產(chǎn)品經(jīng)理，投資者，媒體人進(jìn)行了一些交流，發(fā)現(xiàn)大家雖然對端到端自動(dòng)駕駛很感興趣，但甚至在一些對端到端自動(dòng)駕駛的基本理解上還存在著一些這樣那樣的誤區(qū)。作為有幸體驗(yàn)過國內(nèi)一線品牌有圖無圖城市功能，同時(shí)又體驗(yàn)過FSD V11和V12兩個(gè)版本的人，在這里我想結(jié)合自己專業(yè)背景和對Tesla FSD常年的進(jìn)展跟蹤，談幾個(gè)現(xiàn)階段大家談及端到端自動(dòng)駕駛的常見誤區(qū)，并給出我自己對于這些問題的解讀。

疑惑一：端到端感知，端到端決策規(guī)劃都可以算作是端到端自動(dòng)駕駛？

首先端到端自動(dòng)駕駛的定義基本上大家明確了是指從傳感器輸入開始到規(guī)劃甚至控制信號輸出（馬斯克所說Photon to Control）中間所有的步驟都是端到端可導(dǎo)，這樣整個(gè)系統(tǒng)可以作為一個(gè)大模型進(jìn)行梯度下降的訓(xùn)練，通過梯度反向傳播可以在模型訓(xùn)練期間對模型從輸入到輸出之間的全部環(huán)節(jié)進(jìn)行參數(shù)更新優(yōu)化，從而能夠針對用戶直接感知到的駕駛決策軌跡，優(yōu)化整個(gè)系統(tǒng)的駕駛行為。而最近一些友商在宣傳端到端的自動(dòng)駕駛的過程中聲稱自己是端到端感知，或者端到端的決策，但這二者其實(shí)我認(rèn)為都不能算作是端到端的自動(dòng)駕駛，而只能被稱作純數(shù)據(jù)驅(qū)動(dòng)的感知和純數(shù)據(jù)驅(qū)動(dòng)的決策規(guī)劃。

甚至有的人將模型出決策，再結(jié)合傳統(tǒng)方法來做安全校驗(yàn)和軌跡優(yōu)化的混合策略也叫做端到端規(guī)劃，另外也有說法認(rèn)為Tesla V12并不是純粹的模型輸出控制信號，應(yīng)該也是結(jié)合了一些規(guī)則方法的混合策略，根據(jù)就是http://X.com上的著名Green前段時(shí)間發(fā)過一條twitter稱在V12技術(shù)棧里還是能夠發(fā)現(xiàn)規(guī)則的代碼。對此我的理解是Green發(fā)現(xiàn)的代碼很可能是V12高速技術(shù)棧保留的V11版本代碼，因?yàn)槲覀冎滥壳癡12其實(shí)只是用端到端替換了原本城市技術(shù)棧，高速仍舊會(huì)切回V11的方案，因此在解開的代碼中找到一些規(guī)則代碼的只言片語并不代表V12是假“端到端”而是找到的很可能是高速的代碼。實(shí)際上我們從2022年的AI Day上就可以看出，V11及以前的版本已經(jīng)是混合方案，因此V12如果不是徹底的模型直出軌跡，那么方案上就和之前的版本沒有什么本質(zhì)的區(qū)別了，如果是這樣V12的性能跳躍性提升又沒辦法合理的解釋了。關(guān)于Tesla之前的方案可以參考我的AI Day解讀EatElephant：Tesla AI Day 2022 - 萬字解讀：堪稱自動(dòng)駕駛春晚，去中心化的研發(fā)團(tuán)隊(duì)，野心勃勃的向AI技術(shù)公司轉(zhuǎn)型。

從2022年AI Day上來看，V11已經(jīng)是混合了NN Planner的規(guī)劃方案

總而言之，無論是感知后處理代碼，還是規(guī)劃的候選軌跡打分，甚至是安全兜底策略，一旦引入了規(guī)則的代碼，有了if else的分支，整個(gè)系統(tǒng)的梯度傳遞就會(huì)被截?cái)啵@也就損失了端到端系統(tǒng)通過訓(xùn)練獲得全局優(yōu)化的最大優(yōu)勢。

疑惑二：端到端是對之前技術(shù)的推倒重來？

另一個(gè)常見的誤區(qū)是端到端就是推翻了之前積累的技術(shù)進(jìn)行徹底的新技術(shù)的革新，并且很多人覺得既然Tesla剛剛實(shí)現(xiàn)了端到端自動(dòng)駕駛系統(tǒng)的用戶推送，那么其他廠商根本不用再在原本感知，預(yù)測，規(guī)劃的模塊化技術(shù)棧上迭代，大家直接進(jìn)入端到端的系統(tǒng)，反而可以憑借后發(fā)優(yōu)勢快速追上甚至趕超Tesla。確實(shí)以一個(gè)大模型來完成從傳感器輸入到規(guī)劃控制信號的映射是最為徹底的端到端，也很早就有公司嘗試過類似的方法，例如Nvidia的DAVE-2和Wayve等公司就使用了類似的方法。這種徹底的端到端技術(shù)確實(shí)更接近黑盒，很難進(jìn)行debug和迭代優(yōu)化，同時(shí)由于傳感器輸入信號如圖像，點(diǎn)云等是非常高緯度的輸入空間，輸出控制信號如方向盤轉(zhuǎn)角和油門剎車踏板是相對輸入來說非常低維的輸出空間。由高維空間向低維空間的映射是由非常多的可行映射，然而這其中真正對應(yīng)正確可靠邏輯的映射則只是其中一個(gè)映射，也就是說直接進(jìn)行這樣的端到端訓(xùn)練非常容易過擬合，導(dǎo)致實(shí)車測試完全無法使用。

徹底的端到端系統(tǒng)也會(huì)使用一些常見的如語義分割，深度估計(jì)等輔助任務(wù)幫助模型收斂和debug

所以我們實(shí)際看到的FSD V12保留了幾乎所有之前的可視化內(nèi)容，這表明FSD V12是在原本強(qiáng)大的感知的基礎(chǔ)上進(jìn)行的端到端訓(xùn)練，從2020年10月開始的FSD迭代并沒有被拋棄，反而是成為了V12堅(jiān)實(shí)的技術(shù)基礎(chǔ)。Andrej Karparthy之前也回答過類似問題，他雖然沒有參與V12的研發(fā)，但他認(rèn)為所有之前的技術(shù)積累并沒有被拋棄，只是從臺(tái)前遷移到了幕后。所以端到端是在原有技術(shù)基礎(chǔ)上一步步去掉個(gè)部分的規(guī)則代碼逐漸實(shí)現(xiàn)的端到端可導(dǎo)。

V12保留了FSD幾乎所有的感知，只取消了椎桶等有限的可視化內(nèi)容

疑惑三：學(xué)術(shù)Paper中的端到端能否遷移到實(shí)際產(chǎn)品中？

UniAD成為2023年CVPR Best Paper無疑代表了學(xué)術(shù)界對端到端的自動(dòng)駕駛系統(tǒng)寄予的厚望。從2021年Tesla介紹了其視覺BEV感知技術(shù)的創(chuàng)新后，國內(nèi)學(xué)術(shù)界在自動(dòng)駕駛BEV感知方面投入了非常大的熱情，并誕生了一些列研究，推動(dòng)了BEV方法的性能優(yōu)化和落地部署，那么端到端是否也能走一條類似的路線，由學(xué)術(shù)界引領(lǐng)，產(chǎn)業(yè)界跟隨從而推動(dòng)端到端技術(shù)在產(chǎn)品上的快速迭代落地呢？我認(rèn)為是比較難的。首先BEV感知還是一個(gè)相對模塊化的技術(shù)，更多是算法層面，且入門級性能對數(shù)據(jù)量的需求沒有那么高，高質(zhì)量的學(xué)術(shù)開源數(shù)據(jù)集Nuscenes的推出為很多BEV研究提供了便利的前置條件，在Nuscenes上迭代的BEV感知方案雖然無法達(dá)到產(chǎn)品級性能要求，但是作為概念驗(yàn)證和模型選型，是具有很大借鑒價(jià)值的。然而學(xué)術(shù)界缺乏大規(guī)模的端到端可用數(shù)據(jù)。目前最大規(guī)模的Nuplan數(shù)據(jù)集包含了4個(gè)城市1200小時(shí)的實(shí)車采集數(shù)據(jù)，然而在2023年的一次財(cái)報(bào)會(huì)議上，Musk表示對于端到端的自動(dòng)駕駛“訓(xùn)練了100萬個(gè)視頻case，勉強(qiáng)可以工作；200萬個(gè)，稍好一些；300萬個(gè)，就會(huì)感到Wow；到了1000萬個(gè)，它的表現(xiàn)就變得難以置信了”。Tesla的Autopilot回傳數(shù)據(jù)普遍認(rèn)為是1min的片段，那么入門級別的100w視頻case大概就是16000小時(shí)，比最大的學(xué)術(shù)數(shù)據(jù)集至少多一個(gè)數(shù)量級以上，這里還是要注意nuplan是連續(xù)采集數(shù)據(jù)，因此在數(shù)據(jù)的分布和多樣性上有著致命的缺陷，絕大多數(shù)數(shù)據(jù)都是簡單場景，這也就意味著使用nuplan這樣的學(xué)術(shù)數(shù)據(jù)集甚至無法獲得一個(gè)能夠勉強(qiáng)上車的版本。

Nuplan數(shù)據(jù)集已經(jīng)是非常巨大規(guī)模的學(xué)術(shù)數(shù)據(jù)集，然而作為端到端方案的探索可能還遠(yuǎn)遠(yuǎn)不夠

于是我們看到包括UniAD在內(nèi)的絕大多數(shù)端到端自動(dòng)駕駛方案都無法實(shí)車運(yùn)行，而只能退而求其次進(jìn)行開環(huán)評測。而開環(huán)評測指標(biāo)的可靠度非常低，因?yàn)殚_環(huán)評測無法識(shí)別出模型混淆因果的問題，所以模型即使只學(xué)到了利用歷史路徑外插也能獲得非常好的開環(huán)指標(biāo)，但這樣的模型是完全不可用的，2023年百度曾經(jīng)發(fā)表一篇叫做AD-MLP的Paper（https://arxiv.org/pdf/2305.10430）來討論開環(huán)規(guī)劃評測指標(biāo)的不足，這篇Paper僅僅是用了歷史信息，而沒有引入任何感知，就獲得了非常不錯(cuò)的開環(huán)評測指標(biāo)，甚至接近一些目前的SOTA工作，然而顯而易見，沒有人能在閉上眼睛的情況下開好車！

AD MLP通過不依賴感知輸入取得不錯(cuò)的開環(huán)指標(biāo)來說明用開環(huán)指標(biāo)作為參考實(shí)際意義不大

那么閉環(huán)方針驗(yàn)證是否能夠解決開環(huán)模仿學(xué)習(xí)的問題呢？至少目前來講學(xué)術(shù)界普遍依賴的CARLA閉環(huán)仿真系統(tǒng)來進(jìn)行端到端的研發(fā)，但是基于游戲引擎的CARLA獲得的模型也很難遷移到現(xiàn)實(shí)世界來。

疑惑四：端到端自動(dòng)駕駛僅僅是一次算法革新？

最后端到端不僅僅是一個(gè)新的算法那么簡單。模塊化的自動(dòng)駕駛系統(tǒng)不同模塊的模型可以使用各自任務(wù)的數(shù)據(jù)分別迭代訓(xùn)練，然而端到端系統(tǒng)各個(gè)功能是同時(shí)進(jìn)行訓(xùn)練的，這就要求訓(xùn)練數(shù)據(jù)具有極高的一致性，每條數(shù)據(jù)要對所有子任務(wù)標(biāo)簽都進(jìn)行標(biāo)注，一旦一種任務(wù)標(biāo)注失敗，那這條數(shù)據(jù)就很難在端到端訓(xùn)練任務(wù)中使用了，這對于自動(dòng)標(biāo)注Pipeline的成功率和性能提出了極高的要求。其次端到端系統(tǒng)因?yàn)樾枰心K都達(dá)到一個(gè)較高的性能水平才能在端到端的決策規(guī)劃輸出任務(wù)中達(dá)成較好的效果，因此普遍認(rèn)為端到端系統(tǒng)數(shù)據(jù)門檻遠(yuǎn)高于各個(gè)單個(gè)模塊的數(shù)據(jù)需求，而數(shù)據(jù)的門檻不僅是對絕對數(shù)量的要求，還對于數(shù)據(jù)的分布和多樣性要求極高，這就是得自己沒有車輛的完全控制權(quán)，不得不適配多個(gè)擁有不同車型客戶的供應(yīng)商在開發(fā)端到端系統(tǒng)時(shí)候可能遇到較大的困難。在算力門檻上，Musk曾在今年三月初在http://X.com上表示目前FSD的最大限制因素是算力，而在最近馬老板則表示他們的算力問題得到了很大的環(huán)節(jié)，幾乎就在同一時(shí)間在2024年Q1財(cái)報(bào)會(huì)議上Tesla透露如今他們已經(jīng)擁有35000塊H100的計(jì)算資源，并透漏在2024年底這一數(shù)字將達(dá)到85000塊。毫無疑問Tesla擁有非常強(qiáng)大的算力工程優(yōu)化能力，這意味著要達(dá)到FSD V12目前的水平，大概率35000塊H100和數(shù)十億美金的基礎(chǔ)設(shè)施資本開銷是必要前提，如果在算力使用方面不如Tesla高效，那么可能這一門檻會(huì)被進(jìn)一步拔高。

3月初馬斯克表示FSD的迭代主要限制因素是算力

4月初馬斯克表示今年Tesla在算力方面的總投入將超過100億美元

另外在http://X.com有網(wǎng)友分享了一張Nvidia汽車行業(yè)的高管Norm Marks在今年某次會(huì)議的截圖，從中可以看出截止到2023年底，Tesla所擁有的NV顯卡數(shù)量在柱狀圖上是完全爆表的存在（左圖最右側(cè)綠的箭頭，中間文字說明了這個(gè)排名第一的OEM所擁有的NV顯卡數(shù)量 > 7000個(gè)DGX節(jié)點(diǎn)，這個(gè)OEM顯然就是Tesla，每個(gè)節(jié)點(diǎn)按照8卡計(jì)算，23年底Tesla大概有A100顯卡超過56000卡，比排名第二的OEM多出四倍以上，這里我理解不包括2024年新購入的35000卡新款H100），再結(jié)合美國對出口中國顯卡的限制政策，想要趕超這一算力的難度變得更加困難。

Norm Marks在某次內(nèi)部分享截圖，來源X.com@ChrisZheng001

除了上述數(shù)據(jù)算力挑戰(zhàn)外，端到端的系統(tǒng)會(huì)遇到什么樣的新挑戰(zhàn)，如何保證系統(tǒng)的可控性，如何盡早發(fā)現(xiàn)問題，通過數(shù)據(jù)驅(qū)動(dòng)的方式解決問題，并且在無法利用規(guī)則代碼的情況下快速迭代，目前對于絕大多數(shù)自動(dòng)駕駛研發(fā)團(tuán)隊(duì)而言都是一個(gè)未知的挑戰(zhàn)。

最后端到端對于現(xiàn)在的自動(dòng)駕駛研發(fā)團(tuán)隊(duì)還是一個(gè)組織變革，因?yàn)閺腖4自動(dòng)駕駛以來，絕大多數(shù)自動(dòng)駕駛團(tuán)隊(duì)的組織架構(gòu)是模塊化的，不僅分為感知組，預(yù)測組，定位組，規(guī)劃控制組，甚至感知組還分視覺感知，激光感知等等。而端到端的技術(shù)架構(gòu)直接干掉了不同模塊間的接口壁壘，使得研發(fā)端到端的團(tuán)隊(duì)需要整合全部人力資源來適應(yīng)新的技術(shù)范式，這對不夠靈活的團(tuán)隊(duì)組織文化是一個(gè)極大的挑戰(zhàn)。