本文經(jīng)自動(dòng)駕駛之心公眾號(hào)授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

寫(xiě)在前面&筆者的個(gè)人理解

盡管在從運(yùn)動(dòng)模糊圖像中重建清晰的3D場(chǎng)景方面取得了重大進(jìn)展，但向現(xiàn)實(shí)世界應(yīng)用的過(guò)渡仍然具有挑戰(zhàn)性。主要障礙源于嚴(yán)重的模糊，這導(dǎo)致通過(guò)“Structure-from-Motion”獲取初始相機(jī)位姿的不準(zhǔn)確，這是以前的方法經(jīng)常忽略的一個(gè)關(guān)鍵方面。為了應(yīng)對(duì)這一挑戰(zhàn)，我們提出了DeblurGS，這是一種從運(yùn)動(dòng)模糊圖像中優(yōu)化清晰的3D GS的方法，即使在有噪聲的相機(jī)位姿初始化的情況下也是如此。我們通過(guò)利用3D GS的卓越重建能力來(lái)恢復(fù)細(xì)粒度的清晰場(chǎng)景。DeblurGS估計(jì)每個(gè)模糊觀測(cè)的6自由度相機(jī)運(yùn)動(dòng)，并為優(yōu)化過(guò)程合成相應(yīng)的模糊渲染。此外，我們提出了高斯密集退火策略，以防止在相機(jī)運(yùn)動(dòng)仍然不精確的早期訓(xùn)練階段，在錯(cuò)誤的位置產(chǎn)生不精確的高斯。綜合實(shí)驗(yàn)表明，我們的DeblurGS在真實(shí)世界和合成基準(zhǔn)數(shù)據(jù)集以及現(xiàn)場(chǎng)捕捉的模糊視頻的去模糊和新穎視圖合成方面實(shí)現(xiàn)了最先進(jìn)的性能。

總結(jié)來(lái)說(shuō)，DeblurGS的主要貢獻(xiàn)如下：

• 我們提出了DeblurGS，這是第一個(gè)從運(yùn)動(dòng)模糊圖像中優(yōu)化清晰3D場(chǎng)景的3D GS管道。
• 我們采用高斯密集退火策略來(lái)優(yōu)化輸入模糊圖像的噪聲初始相機(jī)位姿。
• 我們通過(guò)對(duì)現(xiàn)場(chǎng)拍攝的、快速移動(dòng)的真實(shí)世界視頻進(jìn)行實(shí)驗(yàn)，展示了DeblurGS的實(shí)用性。

相關(guān)工作回顧

圖像去模糊圖像去模糊是圖像恢復(fù)領(lǐng)域的基本任務(wù)之一。從模糊輸入中恢復(fù)清晰圖像的傳統(tǒng)深度學(xué)習(xí)方法是CNN或基于變換器的監(jiān)督學(xué)習(xí)。然而，這些方法需要大量的訓(xùn)練數(shù)據(jù)與清晰的地面實(shí)況圖像配對(duì)，并且去模糊的質(zhì)量取決于數(shù)據(jù)的規(guī)模。此外，由于領(lǐng)域差距問(wèn)題，這些方法往往難以在不同條件下進(jìn)行泛化，這使得它們?cè)诓煌默F(xiàn)實(shí)世界場(chǎng)景中的性能不一致。相比之下，我們的DeblurGS框架偏離了傳統(tǒng)的數(shù)據(jù)驅(qū)動(dòng)范式，消除了對(duì)由大規(guī)模數(shù)據(jù)集訓(xùn)練的預(yù)訓(xùn)練網(wǎng)絡(luò)的需求，并且本質(zhì)上不受領(lǐng)域差距問(wèn)題的影響。

NeRF和3D GS：NeRF由于其照片逼真的視圖合成結(jié)果而在3D視覺(jué)領(lǐng)域引起了極大的關(guān)注。NeRF的核心策略是利用可微體渲染技術(shù)優(yōu)化神經(jīng)隱式表示。幾種后續(xù)方法旨在提高渲染質(zhì)量，而該研究的其他分支致力于減輕NeRF框架耗時(shí)的訓(xùn)練和渲染速度]，將渲染速度提高幾個(gè)數(shù)量級(jí)。最近，3DGS增強(qiáng)了輻射場(chǎng)模型的變體，并實(shí)現(xiàn)了詳細(xì)的重建性能和實(shí)時(shí)渲染速度。通過(guò)用高效且具有確定性的光柵化取代NeRF的光線行進(jìn)，3DGS在不損失視覺(jué)質(zhì)量的情況下實(shí)現(xiàn)了實(shí)時(shí)渲染。我們的DeblurGS還建立在3DGS管道上，用于從模糊的觀察中恢復(fù)潛在清晰場(chǎng)景的細(xì)粒度模式，并執(zhí)行重建場(chǎng)景的實(shí)時(shí)渲染。

模糊的3D重建：最近，基于NeRF的去模糊方法試圖從模糊的多視圖圖像中重建清晰的3D場(chǎng)景。基于NeRF的方法將每個(gè)圖像的模糊操作與解釋所有模糊輸入的清晰3D場(chǎng)景聯(lián)合優(yōu)化。DeblurNeRF和DP-NeRF采用2D逐像素模糊核估計(jì)器，BADNeRF和ExBluRF直接估計(jì)每個(gè)輸入圖像的相機(jī)軌跡。盡管有令人印象深刻的新穎視圖合成和去模糊性能，但基于NeRF的方法仍面臨著從不準(zhǔn)確的初始姿態(tài)優(yōu)化場(chǎng)景的挑戰(zhàn)，這是一個(gè)自然的假設(shè)，考慮到如果給出模糊視圖，SfM管道會(huì)估計(jì)錯(cuò)誤的相機(jī)位姿。我們的DeblurGS通過(guò)采用高斯密集退火策略，從錯(cuò)誤姿勢(shì)中恢復(fù)清晰的3D場(chǎng)景。

DeblurGS簡(jiǎn)介

我們介紹了DeblurGS，這是一種從相機(jī)運(yùn)動(dòng)模糊圖像中優(yōu)化基于清晰高斯飛濺的3D場(chǎng)景的方法。考慮到由于相機(jī)運(yùn)動(dòng)而模糊的多視圖觀察，我們的目標(biāo)是恢復(fù)清晰的3D場(chǎng)景。為此，我們采用3DGS作為場(chǎng)景表示，以細(xì)粒度細(xì)節(jié)實(shí)現(xiàn)3D場(chǎng)景的真實(shí)感恢復(fù)，并結(jié)合潛在的相機(jī)運(yùn)動(dòng)對(duì)3DGS進(jìn)行聯(lián)合優(yōu)化。我們?cè)诘?.1節(jié)中簡(jiǎn)要介紹了3DGS。接下來(lái)，我們?cè)诘?.2節(jié)中介紹了一種模糊視圖合成方法，該方法通過(guò)估計(jì)相機(jī)運(yùn)動(dòng)并根據(jù)近似運(yùn)動(dòng)累積子幀渲染。我們?cè)诘?.3節(jié)中介紹了優(yōu)化過(guò)程，重點(diǎn)介紹了從錯(cuò)誤姿態(tài)進(jìn)行優(yōu)化的高斯密集退火策略。最后，我們?cè)诘?.4節(jié)中推導(dǎo)了優(yōu)化的損失項(xiàng)。我們?cè)趫D2中提供了訓(xùn)練的概述。

Blurry View Synthesis

我們的目標(biāo)是使用給定的運(yùn)動(dòng)模糊輸入來(lái)優(yōu)化清晰的高斯飛濺。從物理上講，相機(jī)運(yùn)動(dòng)模糊是由相機(jī)運(yùn)動(dòng)過(guò)程中的輻照度積分產(chǎn)生的，如手抖或顫抖。因此，模糊圖像的獲取由曝光時(shí)間內(nèi)時(shí)變6自由度相機(jī)位姿的輻照度的積分表示。

我們估計(jì)了解釋運(yùn)動(dòng)模糊的6自由度相機(jī)軌跡，以準(zhǔn)確模擬方程（4）中描述的模糊操作。根據(jù)ExBluRF，我們用李代數(shù)空間se（3）中的Bézier曲線對(duì)相機(jī)的剛性運(yùn)動(dòng)進(jìn)行參數(shù)化。然而，我們發(fā)現(xiàn)，即使我們使用Bézier曲線準(zhǔn)確估計(jì)相機(jī)軌跡，由于相機(jī)姿態(tài)沿軌跡的采樣位置不同，模糊圖像也不是唯一合成的，如圖3所示。因此，我們定義了子幀對(duì)齊參數(shù)，該參數(shù)校準(zhǔn)估計(jì)軌跡上的每個(gè)相機(jī)姿勢(shì)，以與時(shí)間t處的潛在相機(jī)姿勢(shì)對(duì)齊：

我們使用等式4應(yīng)用對(duì)準(zhǔn)參數(shù)的定義來(lái)公式化運(yùn)動(dòng)模糊圖像B：

Optimization from Inaccurate Poses

高斯密集退火：由于傳統(tǒng)的特征匹配算法是對(duì)模糊圖像中的噪聲特征進(jìn)行的，因此COLMAP獲得的初始姿態(tài)是錯(cuò)誤的。考慮到不準(zhǔn)確的初始姿態(tài)，相機(jī)運(yùn)動(dòng)的聯(lián)合估計(jì)會(huì)導(dǎo)致在優(yōu)化的早期階段在不正確的位置產(chǎn)生高斯。具體而言，如果相對(duì)于高斯位置的梯度超過(guò)致密化閾值θ，則高斯被一分為二。因此，處于錯(cuò)誤位置的高斯試圖擬合來(lái)自錯(cuò)誤位置的訓(xùn)練圖像，從而破壞了優(yōu)化過(guò)程。為了防止在不正確的位置產(chǎn)生過(guò)早的高斯分裂，我們采用了致密化閾值θ的退火策略。我們從較高的初始θ逐漸退火θ，當(dāng)相機(jī)運(yùn)動(dòng)充分優(yōu)化時(shí)，可以實(shí)現(xiàn)更精細(xì)的致密化。θ的退火策略在場(chǎng)景試圖通過(guò)致密化來(lái)表示精細(xì)細(xì)節(jié)之前，優(yōu)先考慮相機(jī)運(yùn)動(dòng)的精確優(yōu)化，從而減輕高斯在錯(cuò)誤位置造成的干擾。

Loss Functions

重建損失：

Temporal Smoothness Loss：

整體損失

實(shí)驗(yàn)

結(jié)論

本文提出了DeblurGS，一種從運(yùn)動(dòng)模糊圖像集合中重建清晰3D場(chǎng)景的方法。我們模擬相機(jī)運(yùn)動(dòng)以合成模糊視圖，并通過(guò)最小化給定模糊觀察和生成的模糊之間的距離來(lái)優(yōu)化3D高斯散射。通過(guò)我們的高斯密集退火策略，相機(jī)運(yùn)動(dòng)收斂于潛在的相機(jī)運(yùn)動(dòng)，甚至從嘈雜的相機(jī)姿勢(shì)初始化，這是模糊觀測(cè)的SfM的自然結(jié)果。從不精確的姿勢(shì)進(jìn)行優(yōu)化的能力突出了我們框架的實(shí)用性，展示了用智能手機(jī)拍攝的視頻的成功去模糊。DeblurGS在清晰的3D場(chǎng)景重建任務(wù)中優(yōu)于所有現(xiàn)有方法，在實(shí)驗(yàn)和實(shí)際環(huán)境中都達(dá)到了最先進(jìn)的水平。