本文經3D視覺之心公眾號授權轉載，轉載請聯系出處。

0. 論文信息

標題：MoDec-GS: Global-to-Local Motion Decomposition and Temporal Interval Adjustment for Compact Dynamic 3D Gaussian Splatting

作者：Sangwoon Kwak, Joonsoo Kim, Jun Young Jeong, Won-Sik Cheong, Jihyong Oh, Munchurl Kim

機構：ETRI, South Korea、KAIST, South Korea、Chung-Ang University, South Korea

原文鏈接：https://arxiv.org/abs/2501.03714

代碼鏈接：https://kaist-viclab.github.io/MoDecGS-site/

1. 導讀

3D Gaussian Splatting (3DGS)在場景表示和神經渲染方面取得了重大進展，并致力于使其適應動態場景。盡管提供了卓越的渲染質量和速度，但現有的方法在存儲需求和表示復雜的真實世界運動方面存在困難。為了解決這些問題，我們提出了MoDecGS，一種內存高效的高斯分布框架，旨在重建具有復雜運動的挑戰性場景中的新視圖。我們引入全局到局部的運動分解(GLMD)來有效地以粗到細的方式捕捉動態運動。這種方法利用全局規范支架(全局CS)和局部規范支架(局部CS)，將靜態支架表示擴展到動態視頻重建。對于全局CS，我們提出了全局錨變形(GAD ),通過直接變形隱式支架屬性(錨位置、偏移和局部上下文特征)來有效地表示復雜運動的全局動態。接下來，我們通過局部CS的局部高斯變形(LGD)來精確調整局部運動。此外，我們引入時間間隔調整(TIA)來自動控制訓練期間每個本地CS的時間覆蓋范圍，允許MoDecGS基于指定數量的時間片段找到最佳間隔分配。廣泛的評估表明，對于來自真實世界動態視頻的動態3D高斯模型，MoDecGS在模型大小上實現了平均70%的縮減，同時保持甚至提高了渲染質量。

2. 效果展示

我們提議MoDec-GS，這是一個內存高效的動態3D高斯分布(3DGS)框架，用于在復雜的現實世界場景中進行新的視圖重建。它的核心是全局到局部運動分解(GLMD)方法，該方法使用具有由粗到細調整的全局和局部規范支架來捕捉動態運動。時間間隔調整進一步優化時間片段分配。實驗表明**MoDec-GS將模型尺寸平均縮小了70%**同時保持或提高渲染質量。

我們將我們的方法與最先進的方法SC-GS，4DGS，可變形3DGS在單目視頻序列上。我們提供了量化的性能以及新穎的視圖渲染結果:PSNR，SSIM，LPIPS和存儲大小。所提出的方法顯示卓越的定量和定性質量性能比SOTA的方法甚至緊湊模型尺寸.

3. 方法

MoDec-GS概述。為了有效地訓練具有復雜運動的動態3D高斯模型，我們引入了全局到局部運動分解(GLMD)。我們首先用整個幀訓練全局規范支架-GS(全局CS ),并將全局錨變形(GAD)應用于專用于表示其相應時間片段的局部規范支架-GS(局部CS)。接下來，為了精細地調整剩余的局部運動，我們應用局部高斯變形(LGD ),該局部高斯變形利用共享的六邊形平面顯式地變形重建的3D高斯。在訓練期間，執行時間間隔調整(TIA ),將時間間隔優化為適應場景運動水平的非均勻間隔。推薦課程：實時400FPS！高精NeRF/Gaussian SLAM定位與建圖。

兩階段變形的概念和效應。為了表示3D高斯的復雜運動，可以通過錨本身的變形來更有效地處理時間間隔上的全局運動。相比之下，單個3D高斯在一個時間間隔內的細微運動可以通過每個高斯的顯式變形來有效地解決。

在訓練過程中，時間間隔通過TIA適當地適應場景中的運動程度。已經證實，累積的歸一化光流幅度被TIA重新平衡，這導致重新平衡每個間隔覆蓋的運動程度。

4. 實驗結果

5. 總結 & 未來工作

我們提出MoDec-GS，這是一個新穎的緊湊框架用于高質量動態3D高斯濺射，解決了動態場景重建中的存儲需求和復雜運動挑戰。通過利用全局到局部運動分解(GLMD)，其中包含全局錨點變形(GAD)用于全局運動和局部高斯變形(LGD)用于精細局部調整，MoDec-GS有效地捕捉復雜運動，同時使用最小的存儲空間。此外我們的時間間隔調整(TIA)允許自適應時間分割跨越動態間隔，而不需要外部運動數據。廣泛評估證實，MoDec-GS顯著減小模型大小，平均減少70%，同時在具有挑戰性的數據集上保持或提高渲染質量，為現實世界的動態3D重建提供了一種緊湊而強大的解決方案。

對更多實驗結果和文章細節感興趣的讀者，可以閱讀一下論文原文~