真正實時地圖更新！GS-LIVO：首個可部署在資源受限嵌入式系統上的實時高斯SLAM框架

作者：3D視覺之心 2025-01-17 09:45:00

GS-LIVO是一種結合傳統激光雷達-慣性-視覺里程計與3D高斯點新型地圖表示的實時SLAM系統。

本文經3D視覺之心公眾號授權轉載，轉載請聯系出處。

實時地圖更新

近年來，隨著同步定位與建圖（SLAM）技術的發展，出現了多種顯式地圖表示方法，包括稠密彩色點云、稀疏基于塊的結構，以及基于網格或基于曲面元素（surfel）的重建。這些形式通常與基于特征的方法或直接方法相結合，在無人機和移動機器人等平臺上支持高效、實時操作。許多最先進的SLAM系統利用這些傳統地圖結構，得益于其成熟的技術流程和在位姿估計任務中的穩健性能。

然而，這些人工設計的顯式表示方法盡管已高度成熟，但仍存在一些局限性：

它們通常依賴于豐富的幾何特征和高幀率的輸入以確保跟蹤的穩定性。
此外，這些方法在提供逼真的重建和解釋場景中未觀測部分時往往力不從心。在需要預測或合成新視點的應用中（例如沉浸式增強現實、高質量的3D建模
需要推斷未見區域以實現穩健決策的場景）

最近，在新視點合成領域的突破引入了神經表示，可以從任意視點進行真實感渲染。隱式模型（如Neural Radiance Fields, NeRF）和顯式結構（如3D Gaussian Splatting, 3DGS）不僅豐富了重建環境的細節，還為更先進的SLAM范式打開了大門。一些基于NeRF的SLAM方法和基于3DGS的方法試圖將這些高保真表示集成到SLAM流程中，旨在利用更豐富的光度和幾何信息以實現更精確的定位和建圖。

直觀地說，隨著地圖質量的提升，提供更好的空間和外觀線索可以提高位姿估計的精度和穩健性，從而強化SLAM中建圖與定位之間的相互關系。然而，當前基于神經網絡的SLAM系統面臨一個關鍵瓶頸：無法實現真正的實時地圖更新。盡管某些方法可以接近實時的里程計計算，其地圖優化和細化過程往往滯后，依賴于單獨的、較慢的線程。這種位姿估計的速度與較慢的地圖更新之間的不匹配降低了系統的適應性，尤其是在需要持續更新高保真地圖的動態或大規模環境中。因此，這些高質量表示在機器人領域的實際部署仍然有限，而快速的環境解釋至關重要。

GS-LIVO[1]是一種激光雷達-慣性-視覺里程計系統，該系統通過高斯地圖的新穎表示形式，緊密結合了激光雷達與攝像頭的測量。本文的目標包括：通過高斯地圖內的多傳感器融合實現高精度定位，以及在大規模和復雜環境中顯著提高高斯地圖更新的效率。本方法解決了當前高斯SLAM系統實際部署中的關鍵瓶頸。

項目主頁：https://github.com/HKUST-Aerial-Robotics/GS-LIVO

主要貢獻包括：

引入了一種基于空間哈希索引八叉樹的全局高斯地圖表示結構。該層次結構支持高效的全局索引、共視性檢查，并本質上支持可變的細節層次以適應大規模場景。
提出了基于激光雷達與視覺數據的快速初始化策略，以快速生成結構良好的全局高斯地圖，并實現高保真渲染。
提出了一種增量式滑動窗口高斯維護方法，優化高斯地圖時能夠有效降低計算成本和GPU內存負擔。
提出了一種利用高斯地圖的光度渲染能力的視覺測量模型，通過IESKF實現激光雷達-慣性測量的緊密集成。

具體方法

GS-LIVO系統的架構如圖2所示。硬件配置整合了激光雷達（LiDAR）、慣性測量單元（IMU）和攝像頭數據，并通過模擬的每秒脈沖信號（PPS）實現了精確的時間同步。軟件框架由以下四個關鍵模塊組成：

全局高斯地圖：采用空間哈希索引的八叉樹組織形式，能夠有效覆蓋稀疏空間體積，同時適應各種環境細節和規模。
基于光度梯度的高斯初始化與在線優化：利用激光雷達與視覺信息實現高效的高斯初始化和優化。
滑動窗口高斯增量維護：通過局部高斯滑動窗口進行實時優化，顯著減少圖形內存使用。
基于IESKF的位姿優化：采用序列更新的迭代誤差狀態卡爾曼濾波器（IESKF）實現位姿優化。

本系統是一個無縫集成激光雷達、慣性測量單元和視覺傳感器的實時SLAM框架，在競爭性的定位精度下實現了高效運行。為方便描述，本節首先定義了相關符號及其解釋（如表I），包括坐標變換、高斯屬性、空間結構及優化參數。

全局高斯地圖：哈希索引八叉樹

圖3展示了本文系統中全局地圖和高斯滑動窗口的結構。映射系統主要由兩個部分組成：全局高斯地圖和局部高斯滑動窗口。全局高斯地圖采用哈希索引的八叉樹結構，通過空間哈希技術高效地覆蓋場景中的稀疏空間體積。該結構能夠根據環境復雜度遞歸劃分區域，從而實現更加細致的地圖表示。根體素（root voxel）的索引由以下公式計算：

其中，(v_s) 是根體素的長度。此方法允許對稀疏分布的數據點進行高效管理和索引，尤其適用于大規模環境。

在激光雷達-慣性-視覺系統中，我們利用當前幀的激光雷達數據計算空間鍵，從而高效地識別全局高斯地圖中與當前視場（FoV）對應的根體素。這種方法能夠在空間環境中識別共視區域，確定哪些區域在當前視點下可見，從而為后續處理提供準確的地圖信息。然而，由于哈希索引存儲的不連續性，直接在GPU上對高斯參數進行并行優化存在局限性。不連續的內存布局會導致GPU訪問和處理效率的降低，引入不必要的延遲。

為了解決這一問題，我們設計了一種專門的高斯滑動窗口，用于維護視場范圍內的高斯數據，并采用連續的內存布局以確保GPU對高斯參數的高效處理。具體而言，大規模環境中的所有高斯數據以非連續的哈希八叉樹結構存儲在主存（RAM）中，而僅視場范圍內的高斯數據被存儲在連續的主存區域中，并在視頻隨機存儲器（VRAM）中保留副本。當需要優化高斯參數時，這些參數會從主存傳輸到視頻存儲器，允許GPU高效地執行并行優化。優化完成后，更新后的高斯參數會從視頻存儲器傳回主存，以保持全局地圖的一致性。

與傳統的有限且不可擴展的圖形內存不同，主存具有更大的容量，并可以通過交換空間進一步擴展，從而能夠處理更大、更復雜的場景。這種設計不僅提高了GPU處理的效率，還確保系統在處理大規模數據集時的穩定性和可靠性，如圖3所示。

高斯的初始化與優化

當接收到新的激光雷達和攝像頭幀時，系統會對稠密的激光雷達點云進行基于體素的地圖下采樣，以減少GPU內存消耗。與使用邊界選擇的方法不同，本文采用八叉樹的葉節點體素對物體表面的3D空間進行采樣。通過選擇每個體素內的激光雷達點，場景得以更高效地表示。

如果葉體素未被填充，則會基于激光雷達和攝像頭粗略地初始化新的高斯參數，并將其插入葉體素中。

激光雷達-攝像頭聯合初始化高斯參數

在該步驟中，高斯的結構參數通過激光雷達數據初始化。具體而言，高斯的縮放矩陣S根據哈希體素的層級進行初始化，其表達式如下：

滑動窗口中高斯的實時優化

高斯滑動窗口的維護

為了提高內存效率并優化計算速度，本系統將優化范圍限制在滑動窗口內的高斯。這種方法能夠顯著提高優化速度并減少內存消耗，同時避免傳統3D高斯方法中基于圖塊深度排序的混疊效應（aliasing effects），確保前景和背景元素之間的清晰分離，從而提升深度表示的質量。

滑動窗口增量更新

從全局高斯地圖中重新構建每一幀的高斯滑動窗口需要大量的內存拷貝，導致顯著的計算開銷。然而，連續幀之間通常存在較大的場景重疊，使得大部分工作是重復的。為了利用幀間的重疊，本系統提出了一種增量更新策略，用于高斯滑動窗口的維護。該方法顯著減少了冗余內存傳輸，提升了實時性能，并使系統能夠更有效地擴展至大規模和復雜環境。

滑動窗口維護步驟

高斯滑動窗口的維護包括以下關鍵步驟：

全局地圖更新
確定上一幀滑動窗口中的高斯體素是否仍在當前視場（FoV）內。如果體素超出視場，其優化參數將被復制回全局高斯地圖并標記為“刪除”。
刪除和壓縮
將標記為“刪除”的體素參數與滑動窗口序列末尾的參數交換。重新定位后，從序列末尾移除這些體素，從而保持內存的連續性。
重疊和添加
利用當前激光雷達幀的空間哈希鍵，識別與上一幀滑動窗口重疊的體素，并確定需要添加到當前視場滑動窗口的新區域。
附加新葉體素
將新增體素附加到CPU高斯緩沖區（CGB）的末尾，并更新空間哈希表（SHT）。隨后，將高斯數據從CGB（主存儲器）直接傳輸至GPU高斯緩沖區（GGB），確保滑動窗口中的高斯能夠被GPU立即優化和渲染。
優化與渲染
在滑動窗口內的高斯體素會通過GPU高效優化，并在優化完成后將更新的參數從GGB傳回CGB，以保持全局地圖的一致性。