本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。

最近一個(gè)月由于眾所周知的一些原因，非常密集地和行業(yè)內(nèi)的各種老師同學(xué)進(jìn)行了交流。交流中必不可免的一個(gè)話題自然是端到端與火爆的特斯拉FSD V12。想借此機(jī)會(huì)，整理一下在當(dāng)下這個(gè)時(shí)刻的一些想法和觀點(diǎn)，供大家參考和討論。

如何定義端到端的自動(dòng)駕駛系統(tǒng)，應(yīng)該期望端到端解決什么問題？

按照最傳統(tǒng)的定義，端到端的系統(tǒng)指的是一套系統(tǒng)，輸入傳感器的原始信息，直接輸出任務(wù)關(guān)心的變量。比如在圖像識(shí)別中，CNN相對于傳統(tǒng)的特征子+分類器的方法就可以叫做端到端。在自動(dòng)駕駛?cè)蝿?wù)中，自然想到的一個(gè)定義便是，輸入各種傳感器的數(shù)據(jù)（相機(jī)/LiDAR/Radar/IMU…），直接輸出車輛的控制信號(hào)（油門/方向盤轉(zhuǎn)角）。為了考慮不同車型之間的適配問題，也可以將輸出放寬為車輛的行駛軌跡。這便是一個(gè)傳統(tǒng)意義上，或者我叫做狹義端到端的定義。在這樣的一個(gè)基礎(chǔ)上，也衍生出了例如UniAD這樣模塊化端到端的概念，即在最終輸出控制信號(hào)或者路點(diǎn)之外，也引入了一些相關(guān)的中間任務(wù)的監(jiān)督來提升性能。

然而，除了這樣狹義的定義之外，我們還應(yīng)該從本質(zhì)上思考一下，端到端的本質(zhì)是什么？我認(rèn)為端到端的本質(zhì)應(yīng)當(dāng)是感知信息的無損傳遞。我們先回想一下在非端到端系統(tǒng)中，感知和PnC模塊的接口是什么樣子的。一般我們會(huì)有針對白名單物體（車，人，etc）的檢測/屬性分析/預(yù)測，會(huì)有對靜態(tài)環(huán)境的理解（道路結(jié)構(gòu)/限速/紅綠燈，etc），如果做的更細(xì)致一些的話，還會(huì)做通用障礙物的一些檢測工作。從宏觀的角度來講，感知輸出的這些信息，都是對復(fù)雜駕駛場景的一種抽象，而且是人工定義的顯式抽象。然而，對于一些非常見場景中，現(xiàn)在的顯式抽象難以充分表達(dá)場景中會(huì)影響駕駛行為的因素，亦或是我們需要定義的任務(wù)過多過瑣碎，也難以枚舉盡所有需要的任務(wù)。所以端到端系統(tǒng)，提供了一種（也許是隱式）全面表示，希望能夠自動(dòng)地?zé)o損地將這樣的信息作用于PnC。我認(rèn)為，所有能滿足這樣的系統(tǒng)，都可以叫做廣義端到端。

至于其他的問題，比如對動(dòng)態(tài)交互場景的一些優(yōu)化，我個(gè)人的觀點(diǎn)認(rèn)為至少并非只有端到端才能解決這些問題，端到端可能也不是解決這些問題最好的一個(gè)方案。傳統(tǒng)方法是可以解決好這些問題的。當(dāng)然，在數(shù)據(jù)量足夠大的時(shí)候，端到端可能會(huì)提供一個(gè)還不錯(cuò)的solution。關(guān)于這個(gè)事情是否有必要，會(huì)在后幾個(gè)問題中展開討論。

關(guān)于端到端自動(dòng)駕駛的一些誤區(qū)？

一定要輸出控制信號(hào)和路點(diǎn)才是端到端

如果能認(rèn)同上面所講的廣義端到端的概念，那么這個(gè)問題就很容易理解了。端到端更應(yīng)該強(qiáng)調(diào)的是信息的無損傳遞，而不一定要直接輸出任務(wù)量。這樣狹義的端到端做法，其實(shí)帶來和非常多不必要的麻煩，需要大量的兜底方案來保證安全，然而這樣也會(huì)有很多的問題，在后面會(huì)展開。

端到端系統(tǒng)一定要基于大模型或者純視覺

端到端自動(dòng)駕駛的概念和大模型自動(dòng)駕駛以及純視覺自動(dòng)駕駛沒有任何必然的聯(lián)系。這三個(gè)概念是完全獨(dú)立存在的，一個(gè)端到端的系統(tǒng)不必一定是傳統(tǒng)意義上的大模型驅(qū)動(dòng)的，也不一定就是純視覺。三者之間有一些關(guān)聯(lián)，但不等同。

之前我有一篇文章詳細(xì)闡述過這些概念之間的關(guān)系，詳見：https://zhuanlan.zhihu.com/p/664189972

長遠(yuǎn)來看，上述狹義的端到端系統(tǒng)有沒有可能實(shí)現(xiàn)L3級別以上自動(dòng)駕駛？

其實(shí)我先想來吐槽一句，號(hào)稱要用大模型來顛覆L4的人，都沒有實(shí)際做過L4；號(hào)稱端到端包治百病的人，也都從來沒做過PnC。于是和很多對端到端狂熱的人聊下來，就變成了一個(gè)純粹的無法證實(shí)也無法證偽的宗教信仰之爭。我們做前沿研發(fā)的同學(xué)，還是應(yīng)該更實(shí)事求是，講究證據(jù)一些。。。最起碼對想要顛覆的東西有一些基礎(chǔ)認(rèn)知和了解一下其中棘手的問題，這是應(yīng)該有的基本科學(xué)素質(zhì)。。。

言歸正傳，目前來看，我是悲觀的。暫且不論目前號(hào)稱是純端到端的FSD，性能還遠(yuǎn)遠(yuǎn)不能達(dá)到L3級別以上所需要的可靠性和穩(wěn)定性，未來就算是統(tǒng)計(jì)意義上這個(gè)車輛和人是一樣安全的，還要面臨如何和人類駕駛員的錯(cuò)誤做align的問題。更直白一點(diǎn)來說，就是說，一個(gè)自動(dòng)駕駛系統(tǒng)想要讓大眾和輿論接受，關(guān)鍵可能不在于一個(gè)絕對的事故率和致死率，而是在于大眾是否能接受有一些場景中，對于人類是相對輕松解決，而機(jī)器會(huì)犯錯(cuò)的。這個(gè)需求對于純端到端系統(tǒng)來說更難以實(shí)現(xiàn)。更具體的在我21年的一個(gè)回答中有闡述，詳見：

如何看待李彥宏朋友圈發(fā)表：無人駕駛肯定會(huì)出事，只是這個(gè)概率比有人駕駛低多了？

https://www.zhihu.com/question/530828899/answer/2590673435?utm_psn=1762524415009697792

舉在北美的Waymo和Cruise為例，其實(shí)分別都出過不少事故，但是為什么Cruise最后一次出現(xiàn)的事故讓監(jiān)管和大眾尤為不能接受呢？這個(gè)事故發(fā)生了兩次傷害，第一次的碰撞，對于人類駕駛員也是相當(dāng)難以避免的，其實(shí)也是可以被接受的。但是在這一次的碰撞發(fā)生之后，發(fā)生了嚴(yán)重的二次傷害：系統(tǒng)錯(cuò)誤地判斷了碰撞位置和傷員位置，為了不阻塞交通，降級到了靠邊停車的模式，將傷員拖拽很久。這樣的一個(gè)行為，是任何一個(gè)正常的人類駕駛員都不會(huì)做出的事情，而且影響非常惡劣。這個(gè)事情直接導(dǎo)致了Cruise后續(xù)的一些動(dòng)蕩。這個(gè)事情其實(shí)也給我們敲響了警鐘，如何避免這樣的事情發(fā)生，應(yīng)該是自動(dòng)駕駛系統(tǒng)研發(fā)和運(yùn)營中認(rèn)真考慮的問題。

那么站在現(xiàn)在的這個(gè)時(shí)刻，下一代量產(chǎn)輔助駕駛系統(tǒng)中切實(shí)可行的方案是什么？

簡單來說，我認(rèn)為一個(gè)合適的系統(tǒng)應(yīng)當(dāng)是首先充分挖掘傳統(tǒng)系統(tǒng)的能力上限，然后再去結(jié)合端到端的靈活和普適性，也就是一個(gè)漸進(jìn)式端到端的方案。當(dāng)然這兩者如何有機(jī)地結(jié)合就是個(gè)付費(fèi)內(nèi)容了，哈哈。。。但是我們可以分析一下，現(xiàn)在所謂的端到端或者learning based planner實(shí)際落地在做的事情是什么。

以我有限的了解，目前所謂端到端模型在行車中使用的時(shí)候，在輸出的軌跡之后都會(huì)去接一個(gè)基于傳統(tǒng)方法兜底的方案，或者是這樣的learning based planner和傳統(tǒng)的軌跡規(guī)劃算法會(huì)同時(shí)輸出多條軌跡，再通過一個(gè)selector來選擇一條執(zhí)行。如果這樣設(shè)計(jì)系統(tǒng)架構(gòu)，這么一個(gè)級連系統(tǒng)的性能上限其實(shí)是被這樣的兜底方案和selector限制住的。如果這樣的方案仍然是基于純feedforward learning的，仍會(huì)有不可預(yù)測的失效，本質(zhì)上并不能達(dá)到兜底的目的。如果考慮在這樣輸出的軌跡上使用一個(gè)傳統(tǒng)的規(guī)劃方法再去優(yōu)化或者選擇，那相當(dāng)于learning based方法出的軌跡，只是給這樣的一個(gè)優(yōu)化和搜索問題做了一個(gè)初始解，我們?yōu)楹尾恢苯尤?yōu)化和搜索這樣的軌跡呢？

當(dāng)然有同學(xué)會(huì)跳出來講，這樣的一個(gè)優(yōu)化或者搜索問題是非凸的，狀態(tài)空間很大不可能在車載系統(tǒng)上跑到實(shí)時(shí)。我請大家在這里仔細(xì)想這樣一個(gè)問題：在過去10年中，感知系統(tǒng)至少吃到了100x的算力紅利發(fā)展，但是我們的PnC模塊呢？如果我們同樣允許PnC模塊使用大算力，結(jié)合上近幾年先進(jìn)優(yōu)化算法的一些發(fā)展，這樣的結(jié)論仍然成立嗎？針對這樣的問題，我們不應(yīng)該固步自封，路徑依賴，而是應(yīng)該從第一性原理思考什么才是對的。

數(shù)據(jù)驅(qū)動(dòng)和傳統(tǒng)方法之間關(guān)系如何調(diào)和？

其實(shí)和自動(dòng)駕駛非常類似的一個(gè)例子就是下棋，剛好在今年2月份的時(shí)候Deepmind發(fā)表了一篇文章（Grandmaster-Level Chess Without Search：https://arxiv.org/abs/2402.04494）就在探索只用數(shù)據(jù)驅(qū)動(dòng)，拋棄AlphaGo和AlphaZero中的MCTS search是否可行。類比到自動(dòng)駕駛中就是，只用一個(gè)網(wǎng)絡(luò)直接輸出action，拋棄掉后續(xù)所有的步驟。文章的結(jié)論是，在相當(dāng)?shù)囊?guī)模的數(shù)據(jù)和模型參數(shù)下，不用搜索仍然可以得到一個(gè)還算合理的結(jié)果，然而和加上搜索的方法比，還有非常顯著的差距。（文章中這里的對比其實(shí)也不盡公平，實(shí)際差距應(yīng)該更大）尤其是在解一些困難的殘局上，純數(shù)據(jù)驅(qū)動(dòng)性能非常糟糕。這類比到自動(dòng)駕駛中，也就是意味著，需要多步博弈的困難場景或corner case，仍然很難完全拋棄掉傳統(tǒng)的優(yōu)化或者搜索算法。像AlphaZero一樣合理地運(yùn)用各種技術(shù)的優(yōu)勢，才是最為高效提升性能的方式。

傳統(tǒng)方法 = rule based if else？

這個(gè)觀念也是我在和很多人的交流中需要反復(fù)糾正的。按照很多人的定義，只要不是純數(shù)據(jù)驅(qū)動(dòng)，就叫做rule based。還是舉下棋這個(gè)例子，去死記硬背定式和棋譜是rule based，但是像AlphaGo和AlphaZero一樣通過搜索和優(yōu)化賦予模型reasoning的能力，我認(rèn)為并不能叫做rule based。這恰恰也是目前大模型本身所欠缺的，也是研究者通過CoT等方式試圖賦予一個(gè)learning based model的。然而人開車每一個(gè)動(dòng)作都是有明確的動(dòng)機(jī)的，這和需要純數(shù)據(jù)驅(qū)動(dòng)的圖像識(shí)別等無法清晰描述原因的任務(wù)不同。在一個(gè)合適的算法架構(gòu)設(shè)計(jì)下，決策軌跡都應(yīng)該成為變量，在一個(gè)科學(xué)的目標(biāo)指引下統(tǒng)一優(yōu)化。而不是通過強(qiáng)行打patch和調(diào)參去修各種case。這樣的一個(gè)系統(tǒng)自然也不會(huì)存在各種hardcode的奇怪的rule。

總結(jié)

最終總結(jié)一下，端到端也許是一個(gè)很有希望的技術(shù)路線，但是這樣一個(gè)概念如何付諸實(shí)踐還有很多有待探索的事情。是不是狂堆數(shù)據(jù)和模型參數(shù)就是唯一正確的解決方案，目前在我看來并不是的。我覺得，任何時(shí)刻作為一個(gè)前沿研究的技術(shù)人員，我們都應(yīng)該真正奉行馬斯克所講的第一性原理和工程師思維，從實(shí)踐中思考問題的本質(zhì)，而不是將馬斯克本身變成第一性原理。想要真正遙遙領(lǐng)先，就不應(yīng)該放棄思考，人云亦云，否則就只能在不斷想要彎道超車。