寫在前面

NeRF技術(shù)興起于2020年，自此掀起了三維重建領(lǐng)域新一輪的革新風(fēng)暴。三年時(shí)間飛逝，新的算法和改進(jìn)層出不窮，其視覺質(zhì)量逐步提高突破。并且在該技術(shù)的支持下，許多領(lǐng)域都取得了突破性的成果。近幾年的頂會(huì)上也涌現(xiàn)出大量關(guān)于NeRF的文章，NeRF已經(jīng)逐漸成為世界計(jì)算機(jī)視覺領(lǐng)域里面的一個(gè)非常主流的領(lǐng)域。為何NeRF會(huì)在短時(shí)間內(nèi)受到如此廣泛的重視？這是因?yàn)橄啾扔趥鹘y(tǒng)幾何的三維重建方法，NeRF更加簡單且逼真。若要對(duì)NeRF"更簡單、更逼真"的優(yōu)勢(shì)進(jìn)行深刻了解，就需要進(jìn)一步了解傳統(tǒng)幾何三維重建與NeRF三維重建的pipeline。

自動(dòng)駕駛需要三維重建技術(shù)來幫助車輛更好地了解周圍環(huán)境（如駕駛場(chǎng)景理解、同步定位和建圖以及城市場(chǎng)景重構(gòu)）。重建技術(shù)可重建車輛周圍的環(huán)境，為自動(dòng)駕駛系統(tǒng)提供更準(zhǔn)確的環(huán)境信息。這有助于自動(dòng)駕駛系統(tǒng)更好地規(guī)劃駕駛路徑，避免碰撞，提高駕駛安全性。圖1展示了自動(dòng)駕駛與3D重建技術(shù)之間的關(guān)系。

圖1 自動(dòng)駕駛與3D重建技術(shù)的關(guān)系示意圖

在三維場(chǎng)景重建方法中，主動(dòng)式重建技術(shù)由于其設(shè)備成本高、檢測(cè)速度慢和算法泛化差等原因，因而在室外場(chǎng)景的應(yīng)用中表現(xiàn)不佳。以多視角立體視覺法為研究重點(diǎn)的被動(dòng)式重建技術(shù)采集速度快、設(shè)備效益高、整體系統(tǒng)的靈活性和魯棒性強(qiáng)，而其中神經(jīng)輻射場(chǎng)（Neural Radiance Field，NeRF）作為計(jì)算機(jī)視覺領(lǐng)域隱式輻射場(chǎng)的代表，以其高度逼真的渲染質(zhì)量、自由靈活的場(chǎng)景表示和端到端的學(xué)習(xí)框架受到研究人員的喜愛。

但NeRF per-pixel ray marching的原理天然使得效率低、過度平滑且容易發(fā)生災(zāi)難性遺忘。因此研究人員開始思考，有沒有更好更快的三維場(chǎng)景表達(dá)形式，以實(shí)現(xiàn)高質(zhì)量重建。

至此3DGS問世。

三維高斯噴濺（3D Gaussian Splatting, 3D GS）結(jié)合了顯式輻射場(chǎng)的數(shù)據(jù)存儲(chǔ)優(yōu)勢(shì)和隱式輻射場(chǎng)的網(wǎng)絡(luò)優(yōu)化特點(diǎn)，實(shí)現(xiàn)了高速度運(yùn)行、高質(zhì)量渲染和高可靠交互的目標(biāo)，刷新了三維場(chǎng)景重建的各項(xiàng)指標(biāo)SOTA，有望為高級(jí)別自動(dòng)駕駛的實(shí)現(xiàn)提供強(qiáng)有力的技術(shù)支持。

原始的3DGS算法聚焦在靜態(tài)場(chǎng)景的重建，但自動(dòng)駕駛場(chǎng)景卻是動(dòng)靜態(tài)場(chǎng)景的結(jié)合，因此最開始在自動(dòng)駕駛中的應(yīng)用受到了一定的限制。而自4DGS問世以來，這種限制逐漸被打破。

為了基于3D GS的場(chǎng)景重建技術(shù)在自動(dòng)駕駛領(lǐng)域得到更全面更廣泛的普及與推廣，本文梳理了3D GS有關(guān)主題材料，并側(cè)重于展現(xiàn)其優(yōu)異的整體性能和蓬勃的發(fā)展態(tài)勢(shì)。本文的重點(diǎn)在于探究基于3D GS的場(chǎng)景重建技術(shù)的發(fā)展脈絡(luò)，其在自動(dòng)駕駛領(lǐng)域的應(yīng)用情況以及目前面臨的挑戰(zhàn)與研究前沿。本文的結(jié)構(gòu)框架概略圖如圖1所示，具體介紹如下：第2節(jié)主要介紹3D GS研究背景，包括三維場(chǎng)景重建方法以及3D GS有關(guān)研究進(jìn)展。第3節(jié)介紹了3D GS的主體模塊，并重點(diǎn)揭示了3D GS核心公式的推導(dǎo)過程。第4節(jié)論述了3D GS在自動(dòng)駕駛領(lǐng)域三個(gè)主要方面的應(yīng)用，展現(xiàn)其靈活高效的優(yōu)勢(shì)。第5節(jié)強(qiáng)調(diào)了在自動(dòng)駕駛領(lǐng)域3D GS的進(jìn)一步研究方向，挖掘其潛在能力。本文的宗旨是以通俗易懂的方式帶領(lǐng)讀者了解3D GS這一種新興技術(shù)在自動(dòng)駕駛領(lǐng)域的研究情況，為研究人員思考如何促進(jìn)高級(jí)別自動(dòng)駕駛的實(shí)現(xiàn)提供有益幫助。

圖2 論文框架示意圖

1 主要貢獻(xiàn)

第一點(diǎn)是全面的最新綜述。我們的調(diào)查報(bào)告對(duì)自動(dòng)駕駛中的3D GS進(jìn)行了廣泛和最新的綜述，涵蓋了3D場(chǎng)景重建方法的經(jīng)典和前沿方法。

第二點(diǎn)是核心公式的數(shù)學(xué)介紹。我們的研究詳細(xì)闡述了3D GS的數(shù)學(xué)基礎(chǔ)，推導(dǎo)并說明了核心數(shù)學(xué)公式。

第三點(diǎn)是對(duì)未來方向的洞察。我們的調(diào)查分析了目前3D GS在自動(dòng)駕駛方面的技術(shù)局限性，為未來研究提出了一些研究方向。

我們的調(diào)查可以為研究人員了解、探索、應(yīng)用這種新穎的研究方法提供一個(gè)有效、便捷的途徑，促進(jìn) 3D GS 在自動(dòng)駕駛領(lǐng)域的發(fā)展和應(yīng)用。

引用格式如下：Zhu, H., Zhang, Z., Zhao, J. et al. Scene reconstruction techniques for autonomous driving: a review of 3D Gaussian splatting. Artif Intell Rev 58, 30 (2025). https://doi.org/10.1007/s10462-024-10955-4

2 研究背景回顧

三維場(chǎng)景重建方法依據(jù)設(shè)備采集數(shù)據(jù)方式的不同可以分為主動(dòng)式重建技術(shù)和被動(dòng)式重建技術(shù)。主動(dòng)式重建技術(shù)指的是數(shù)據(jù)采集設(shè)備（如LiDAR或3D掃描儀等）主動(dòng)發(fā)射信號(hào)（如激光、聲波、電磁波等）至目標(biāo)物體，并接收回波以解析目標(biāo)的深度信息，通過數(shù)值逼近的方法來重建三維輪廓。其中，面向自動(dòng)駕駛的代表方法有結(jié)構(gòu)光法、TOF激光飛行時(shí)間法、三角測(cè)距法等。相較于主動(dòng)式重建技術(shù)，被動(dòng)式重建技術(shù)可以基于自然場(chǎng)景光照而得到圖像數(shù)據(jù)，通過特定算法解算得到物體的立體空間信息。由于其具備設(shè)備成本低廉、應(yīng)用部署快速和算法魯棒性高等優(yōu)點(diǎn)，因此被動(dòng)式重建技術(shù)在室外場(chǎng)景重建受到廣泛應(yīng)用。其中，面向自動(dòng)駕駛的代表方法有單目視覺法（Monocular Stereo Vision，MSV）、雙目視覺法（Binocular Stereo Vision，BSV）和多視角立體視覺法（Multi-View Stereo，MVS）等。MSV僅使用一臺(tái)攝像設(shè)備拍攝照片即可完成三維場(chǎng)景重建，其代表算法有陰影恢復(fù)形狀法、紋理恢復(fù)形狀法和輪廓恢復(fù)形狀法等。MVS在BSV的基礎(chǔ)上進(jìn)一步增加相機(jī)和視角數(shù)量，依據(jù)多張已知相機(jī)姿態(tài)的圖像聯(lián)立建立密集的對(duì)應(yīng)關(guān)系，得到場(chǎng)景物體表面密集的三維點(diǎn)云[31]。MVS不依賴于特定外界環(huán)境條件，精度高、采集快、成本低，是三維場(chǎng)景重建技術(shù)中的熱門研究領(lǐng)域和重點(diǎn)難點(diǎn)領(lǐng)域。MVS依據(jù)處理方式的不同可以分為傳統(tǒng)方法和深度學(xué)習(xí)方法兩大類。傳統(tǒng)MVS重建方法主要依靠視差和幾何約束的思想來對(duì)三維場(chǎng)景進(jìn)行重建，其場(chǎng)景幾何的數(shù)學(xué)表示主要有體素、網(wǎng)格、點(diǎn)云和深度圖四大類[32]。基于深度學(xué)習(xí)的MVS重建方法將其他方法的優(yōu)秀思想引入神經(jīng)網(wǎng)絡(luò)，在重建質(zhì)量、自動(dòng)化程度和效率方面取得了顯著進(jìn)步。基于NeRF的三維場(chǎng)景重建算法具有出色的多視角一致性和連續(xù)性，無需顯式三維標(biāo)注，適應(yīng)性強(qiáng)、易擴(kuò)展，成為場(chǎng)景重建的重要研究方法之一。

但NeRF主要使用隱式的基于坐標(biāo)的模型將空間坐標(biāo)映射到像素值，使用體渲染和神經(jīng)網(wǎng)絡(luò)進(jìn)行直接渲染，計(jì)算要求嚴(yán)、渲染時(shí)間過長、訓(xùn)練成本高。在這種背景下，三維高斯?jié)姙R（3D Gaussian Splatting，3D GS）技術(shù)的出現(xiàn)作為一種范式轉(zhuǎn)換方法，重新定義了場(chǎng)景重建與渲染的邊界。如圖3所示，相較于主流的NeRF算法，3D GS既保留了高質(zhì)量場(chǎng)景重建的優(yōu)點(diǎn)，又確保在短時(shí)間內(nèi)實(shí)現(xiàn)SOTA級(jí)別的實(shí)時(shí)渲染效果，成為2023年末席卷三維場(chǎng)景重建領(lǐng)域的重要且突出的研究方法。

圖3 3D GS與主流NeRF算法的重建質(zhì)量與運(yùn)行速度比較

自從法國蔚藍(lán)海岸大學(xué)（Université C?te d’Azur，UAC）于2023年8月開源3D GS項(xiàng)目后，學(xué)術(shù)界掀起了軒然大波，各類衍生模型層出不窮。在自動(dòng)駕駛領(lǐng)域，3D GS同樣革新了三維場(chǎng)景重建和局部環(huán)境感知技術(shù)。面對(duì)蓬勃發(fā)展的自動(dòng)駕駛技術(shù)，以3D GS為代表的場(chǎng)景重建技術(shù)在確保自動(dòng)駕駛車輛安全、可靠行駛方面發(fā)揮著至關(guān)重要的作用。3D GS通過對(duì)周圍環(huán)境的精確感知和快速建模，為自動(dòng)駕駛系統(tǒng)提供了豐富的環(huán)境信息，幫助車輛更好地理解周圍環(huán)境，從而做出更安全、更有效的駕駛決策。目前，已有一定的文獻(xiàn)對(duì)3D GS的應(yīng)用情況進(jìn)行了綜述總結(jié)，但是這些文獻(xiàn)涵蓋范圍較廣，關(guān)于自動(dòng)駕駛領(lǐng)域的針對(duì)性不強(qiáng)。

3 3D GS數(shù)學(xué)機(jī)理

NeRF與3D GS之間一個(gè)重大的區(qū)別在于輻射場(chǎng)的顯隱式表達(dá)。輻射場(chǎng)是一種量化三維空間中光的強(qiáng)度、分布、效果等參數(shù)的模型，可以被函數(shù)式(1)表示。

三維場(chǎng)景重建技術(shù)采用體素、點(diǎn)云等顯式輻射場(chǎng)表示方式的一大考慮是其非常適合基于GPU/CUDA的快速光柵化。3D GS采取靈活高效的表達(dá)策略，使用3D高斯來對(duì)三維場(chǎng)景進(jìn)行重建，并結(jié)合NeRF的網(wǎng)絡(luò)特性來合理優(yōu)化系列參數(shù)。這種融合顯隱式的場(chǎng)景重建模式既利用了顯式存儲(chǔ)數(shù)據(jù)的可查詢、可編輯性質(zhì)，又吸收了隱式匹配優(yōu)化數(shù)據(jù)的自動(dòng)性、準(zhǔn)確性，在保證高效的形狀表示、高質(zhì)量的渲染能力同時(shí)又具有快速的訓(xùn)練速度和實(shí)時(shí)性能。

原始3D GS模型主要基于三個(gè)模塊：3D Gaussians表示模塊，屬性優(yōu)化模塊和實(shí)時(shí)渲染模塊，其主要流程圖如圖3所示。綜合來看，3D GS通過三個(gè)關(guān)鍵模塊的緊密集成，成功地解決了三維重建領(lǐng)域現(xiàn)有算法在速度和質(zhì)量之間的權(quán)衡問題。3D Gaussians表示模塊提供了對(duì)復(fù)雜三維形狀的緊湊和連續(xù)描述，屬性優(yōu)化模塊確保了高斯函數(shù)能夠精確地匹配輸入數(shù)據(jù)，而實(shí)時(shí)渲染模塊利用GPU加速的高效算法實(shí)現(xiàn)了高質(zhì)量渲染、快速渲染和動(dòng)態(tài)更新。這三個(gè)模塊相互補(bǔ)充，共同實(shí)現(xiàn)了在保持高質(zhì)量視覺效果的同時(shí)，3D GS可以提供快速響應(yīng)和實(shí)時(shí)性能，從而在速度和質(zhì)量之間取得了理想的平衡。

圖4 3D GS三大模塊的流程示意圖

可微分3D GS方法具備可微分體積表示法的特性，可以對(duì)渲染結(jié)果進(jìn)行反向傳播梯度，從而實(shí)現(xiàn)基于梯度的優(yōu)化；并且又不需要像傳統(tǒng)的結(jié)構(gòu)化體素表示法將三維空間劃分為規(guī)則的網(wǎng)格，而可以直接在任意位置進(jìn)行采樣和渲染；同時(shí)通過對(duì)三維空間中的點(diǎn)進(jìn)行高斯分布采樣，根據(jù)采樣結(jié)果計(jì)算顏色和密度可以明確渲染過程，從而實(shí)現(xiàn)快速混合渲染。基于以上特性，可微分3D GS基于無法向的稀疏（SfM）點(diǎn)集完成高質(zhì)量新視圖合成的目標(biāo)，可以作為一種高效場(chǎng)景表示法來進(jìn)行三維場(chǎng)景重建。3D GS的數(shù)學(xué)推導(dǎo)部分主要由多元高斯函數(shù)的表示、高斯體的初始化和高斯體的噴濺三部分組成[99-101]：

3.1 多元高斯函數(shù)的表示

3.2 高斯體的初始化

3.3 高斯體的噴濺

傳統(tǒng)光柵化是3D圖形渲染中的一個(gè)關(guān)鍵步驟，它的主要任務(wù)是將三維空間中的幾何形狀（通常是三角形）轉(zhuǎn)換成二維屏幕上的像素，并對(duì)其進(jìn)行著色從而生成最終的圖像。在現(xiàn)代的圖形處理單元（GPU）管線中，光柵化過程通常是由硬件自動(dòng)完成的，因此3D GS需要自主設(shè)計(jì)和優(yōu)化CUDA內(nèi)核以實(shí)現(xiàn)光柵化程序。3D GS將高斯體投影到投影平面后得到的2D圖形稱為噴濺（Splatting）。

4 3D GS在自動(dòng)駕駛中的應(yīng)用

4.1 新視角合成

新視角合成就是這樣一種將三維場(chǎng)景轉(zhuǎn)換到新的視角的技術(shù)，它通過三維重建算法（如表面重建、體繪制等）來創(chuàng)建周圍環(huán)境的三維模型，并將其轉(zhuǎn)換到新的視角。在實(shí)際應(yīng)用過程中，3D GS憑借其高效的點(diǎn)云處理速度、魯棒的表面重建流程、實(shí)時(shí)的數(shù)據(jù)處理性能和靈活的視角轉(zhuǎn)換過程等優(yōu)勢(shì)為新視角合成研究注入了新的活力。針對(duì)對(duì)于具有反射表面的場(chǎng)景（尤其是離散3D高斯模型）的渲染問題，Yingwenqi Jiang等人提出了一種名為GaussianShader的新型模型。GaussianShader基于3D高斯模型的最短軸方向提出了一種新的法線估計(jì)框架，并設(shè)計(jì)了一個(gè)細(xì)致的損失函數(shù)，以使法線和高斯球的幾何形狀保持一致，在效率和視覺質(zhì)量之間取得了良好的進(jìn)步和平衡。面對(duì)單目和小鏡頭重建技術(shù)面對(duì)的場(chǎng)景物體存在相互遮擋或缺乏紋理，光照條件和動(dòng)態(tài)場(chǎng)景存在變化以及場(chǎng)景絕對(duì)尺度的不確定性。David Charatan等人提出了一種前向模型pixelSplat，使用3D高斯基元從圖像對(duì)中重建3D輻射場(chǎng)，解決了廣角新視角綜合的問題。同時(shí)，部分研究人員結(jié)合3D GS的顯式結(jié)構(gòu)特點(diǎn)和其他方法的優(yōu)異特性，在新視角合成領(lǐng)域不斷刷新各項(xiàng)指標(biāo)記錄。

4.2 場(chǎng)景理解

新視角合成任務(wù)的目標(biāo)是融合現(xiàn)有數(shù)據(jù)創(chuàng)建一個(gè)統(tǒng)一的三維場(chǎng)景表示，以便車輛能夠準(zhǔn)確理解當(dāng)前環(huán)境。而場(chǎng)景理解的任務(wù)便是對(duì)環(huán)境信息進(jìn)行分析、解釋和推理，以識(shí)別和理解場(chǎng)景中對(duì)象的基本屬性、聯(lián)結(jié)關(guān)系以及整體布局。如圖4所示，目前3D場(chǎng)景理解主要可以分為“3D+2D”場(chǎng)景理解和“3D+語言”場(chǎng)景理解兩大類，其主要區(qū)別在于信息融合的方式和側(cè)重點(diǎn)的不同。

圖5 3D場(chǎng)景理解分類情況示意圖

“3D+2D”場(chǎng)景理解側(cè)重于將3D空間信息與2D圖像信息相結(jié)合，以實(shí)現(xiàn)對(duì)場(chǎng)景的全面解讀和解釋。由于3D GS的優(yōu)異性能表現(xiàn)，部分研究人員指出可以將2D分割基礎(chǔ)模型的細(xì)顆粒度分割能力提煉到3D GS中，以避免傳統(tǒng)方法的推理過程中多次前向傳播導(dǎo)致的巨大算力和時(shí)間成本。Jiazhong Cen等人有機(jī)結(jié)合了2D分割基礎(chǔ)模型與3D GS模型，提出了一種可以在毫秒級(jí)3D高斯中進(jìn)行細(xì)粒度的3D交互式分割方法SAGA。“3D+語言”場(chǎng)景理解則將3D空間信息與自然語言信息相結(jié)合，以實(shí)現(xiàn)對(duì)場(chǎng)景的描述和解釋。Sebastian Koch等人提出了一種無需標(biāo)記場(chǎng)景圖數(shù)據(jù)即可預(yù)測(cè)3D場(chǎng)景圖的模型Open3DSG。Open3DSG首次依據(jù)3D點(diǎn)云進(jìn)行交互式圖表示的場(chǎng)景創(chuàng)建，利用2D視覺-語言模型的知識(shí)，通過3D圖神經(jīng)網(wǎng)絡(luò)預(yù)測(cè)開放詞匯的3D場(chǎng)景圖。

4.3 同時(shí)定位與建圖（SLAM）

VSLAM（Visual SLAM）依靠視覺信息進(jìn)行姿態(tài)估計(jì)和地圖生成，具有成本低廉、信息豐富和集成便捷等突出優(yōu)點(diǎn)，是SLAM研究中的重點(diǎn)研究方向之一。Chi Yan等人提出了第一個(gè)在SLAM領(lǐng)域中使用3D GS表示的模型GS-SLAM。幾乎在同一時(shí)間，Nikhil Keetha等人提出了基于3D GS的稠密RGB-D SLAM解決方案SplaTAM。Hidenobu Matsuki等人提出了首個(gè)完全基于3D GS的單目SLAM模型Gaussian Splatting SLAM，利用高斯體為唯一的3D 表示，以3 FPS速度首次實(shí)現(xiàn)了基于3D GS的實(shí)時(shí)增量式重建。同樣地，Gaussian-SLAM、Photo-SLAM、NEDS-SLAM等其他工作進(jìn)一步推動(dòng)了3D GS-based SLAM的發(fā)展。

5. 3D GS研究前沿

5.1 結(jié)構(gòu)優(yōu)化

結(jié)構(gòu)優(yōu)化是任何算法提高性能和效率的關(guān)鍵途徑。雖然3D GS技術(shù)能夠有效地分離地面點(diǎn)與非地面點(diǎn)，但在面對(duì)遮擋、不同光照條件、快速移動(dòng)物體等挑戰(zhàn)時(shí)，其準(zhǔn)確性和魯棒性都會(huì)受到影響。此外，為了滿足實(shí)時(shí)性的要求，3D GS技術(shù)需要進(jìn)一步減少對(duì)計(jì)算資源的依賴，提高處理速度。3D GS的結(jié)構(gòu)優(yōu)化可以通過高斯體管理的優(yōu)化、主體架構(gòu)的精簡、偽影現(xiàn)象的消除等方法來提升3D GS技術(shù)的性能，使其更加精準(zhǔn)、高效和可靠，從而更好地適應(yīng)各種復(fù)雜的現(xiàn)實(shí)駕駛場(chǎng)景。Hanlin Chen等人提出的NeuSG模型中，通過增加尺度正則化來引導(dǎo)高斯體的中心接近曲面，同時(shí)使用神經(jīng)隱式模型來完善高斯體的點(diǎn)云，最終生成了具有復(fù)雜細(xì)節(jié)的完整重建曲面。主體架構(gòu)的精簡是指對(duì)3D GS的3D Gaussians表示模塊，屬性優(yōu)化模塊和實(shí)時(shí)渲染模塊三大模塊的系統(tǒng)架構(gòu)進(jìn)行優(yōu)化和簡化。Liu, Yan等人針對(duì)移動(dòng)設(shè)備上三維重建的實(shí)時(shí)渲染問題，采用雙濺射架構(gòu)降低計(jì)算成本，通過減少對(duì)低貢獻(xiàn)點(diǎn)的處理減少冗余數(shù)據(jù)的生成，引入線程飽和溢出操作加快整體收斂速度，并使用體素化點(diǎn)云進(jìn)一步降低了渲染和訓(xùn)練開銷。最終對(duì)于大規(guī)模場(chǎng)景數(shù)據(jù)集，改進(jìn)方法在保證渲染質(zhì)量的同時(shí)可以平均減少37.08%的模型空間占用。3D GS在新視角合成過程中，可能存在相機(jī)視圖與訓(xùn)練視圖之間存在多視圖不一致的現(xiàn)象，即為偽影現(xiàn)象。Zehao Yu等人認(rèn)為這種現(xiàn)象主要是使用了2D膨脹濾波器以及缺乏3D頻率約束造成的。他們提出的Mip-Splatting模型引入了一個(gè)3D平滑濾波器，并用模擬2D盒式濾波器的2D Mip濾波器代替2D2D膨脹濾波器。

5.2 4D場(chǎng)景重建

基于3D GS在靜態(tài)場(chǎng)景重構(gòu)和新視角合成的成功與潛力，研究人員希望將3D GS進(jìn)一步擴(kuò)展應(yīng)用到動(dòng)態(tài)場(chǎng)景中，以實(shí)現(xiàn)高級(jí)別自動(dòng)駕駛的實(shí)時(shí)性要求。4D場(chǎng)景重建技術(shù)不僅需要車載系統(tǒng)高質(zhì)量重建3D空間結(jié)構(gòu)，還需要考慮時(shí)間維度上的變化，特別是捕捉復(fù)雜動(dòng)態(tài)的剛性運(yùn)動(dòng)對(duì)象。Lingzhe Zhao等人[157]將3D GS引入運(yùn)動(dòng)模糊圖像的處理，提出了一種名為BAD-Gaussians的模型。BAD-Gaussians引入了專為運(yùn)動(dòng)模糊圖像設(shè)計(jì)的光度束調(diào)整公式，首次在3D GS拼接框架內(nèi)實(shí)現(xiàn)了運(yùn)動(dòng)模糊圖像的實(shí)時(shí)渲染性能。4D場(chǎng)景重建技術(shù)要求模型對(duì)運(yùn)動(dòng)過程中光線變換具有較強(qiáng)的追蹤能力，Jian Gao等人[159]開發(fā)一個(gè)基于3D高斯表示的綜合渲染流水線Relightable 3D Gaussian，可以支持重照、編輯和射線追蹤的重建三維點(diǎn)云，可以達(dá)到實(shí)時(shí)渲染水平。同時(shí)，已經(jīng)有部分研究人員著手直接建立4D GS模型。雖然具體的研究方法不同，但其核心思路就是引入同一尺度來協(xié)調(diào)好3D GS與時(shí)間戳之間的動(dòng)態(tài)關(guān)系。Guanjun Wu等人使用緊湊表示和高效變形場(chǎng)來建模高斯體的運(yùn)動(dòng)和形狀變化，隨后將高斯體噴濺到時(shí)間戳圖像上，最終建立了同一的4D GS模型。

5.3 車輛導(dǎo)航

導(dǎo)航技術(shù)可以為車輛提供必要的位置信息和行駛路線，是實(shí)現(xiàn)高級(jí)別自動(dòng)駕駛的關(guān)鍵性基礎(chǔ)性服務(wù)之一。基于3D GS在自動(dòng)駕駛的場(chǎng)景重建領(lǐng)域表現(xiàn)出的優(yōu)異性能，將3D GS進(jìn)一步擴(kuò)展到自動(dòng)駕駛導(dǎo)航領(lǐng)域的研究中，可以有效打破現(xiàn)有導(dǎo)航方法的質(zhì)量和效率瓶頸，實(shí)現(xiàn)自動(dòng)駕駛導(dǎo)航精度和可靠性的跨越發(fā)展。當(dāng)車載系統(tǒng)可以對(duì)世界環(huán)境進(jìn)行逼真的物理模擬時(shí)，意味著車輛導(dǎo)航行駛中將具備模擬和預(yù)測(cè)周圍環(huán)境變化的能力，從而能夠更加智能地感知、規(guī)劃和決策。Tianyi Xie等人將基于物理的牛頓動(dòng)力學(xué)與3D GS無縫集成，提出了一種可以有效進(jìn)行物理模擬的新型模型PhysGaussian。在車輛導(dǎo)航過程中，如何將多模態(tài)融合數(shù)據(jù)進(jìn)行精確得到時(shí)空對(duì)準(zhǔn)是重要的研究方向之一。Quentin Herau等人提出了一種基于3D GS的校準(zhǔn)方法3DGS-Calib，與現(xiàn)有的隱式神經(jīng)方法相比校準(zhǔn)速度更快、校準(zhǔn)精度更高，可以高效完成車載多模態(tài)的時(shí)空校準(zhǔn)任務(wù)。探索一種適普通用、簡潔高效的目標(biāo)導(dǎo)航算法框架是目前自動(dòng)駕駛車輛導(dǎo)航領(lǐng)域研究人員的共同目標(biāo)之一。Xiaohan Lei等人提出了一種基于3D GS的實(shí)例圖像目標(biāo)導(dǎo)航模型GaussNav，將原先的實(shí)例圖像目標(biāo)導(dǎo)航任務(wù)轉(zhuǎn)化為相對(duì)容易處理的點(diǎn)目標(biāo)導(dǎo)航任務(wù)，利用子高斯劃分、語義高斯構(gòu)建和高斯導(dǎo)航三個(gè)主要階段有效定位目標(biāo)物體，最終性能實(shí)現(xiàn)了顯著提升。

6. 結(jié)論

本文對(duì)面向自動(dòng)駕駛的基于3D GS的三維場(chǎng)景重建技術(shù)研究進(jìn)行了全面綜述，敘述了3D GS的基本情況和在自動(dòng)駕駛領(lǐng)域的應(yīng)用情況，內(nèi)容涵蓋了目前的最新研究成果。本文首先對(duì)3D GS的研究背景做出全面介紹。隨后，本文以3D GS核心公式的數(shù)學(xué)機(jī)理探究為主體，討論了3D GS高性能的原因。然后，本文針對(duì)3D GS在自動(dòng)駕駛領(lǐng)域的新視角合成、場(chǎng)景理解和SLAM三個(gè)主要應(yīng)用方向展開論述，強(qiáng)調(diào)其對(duì)自動(dòng)駕駛領(lǐng)域帶來的革命性研究風(fēng)潮。最后，本文深入探討了3D GS在該領(lǐng)域面臨的問題和研究前沿方向。本文針對(duì)性地概述了3D GS作為新興三維場(chǎng)景重建技術(shù)的基本原理、發(fā)展情況和在自動(dòng)駕駛領(lǐng)域的應(yīng)用情況，旨在為研究人員快速理解與熟悉3D GS提供可靠渠道，為相關(guān)科研工作提供更加廣闊的視野和思路。