你拿著手機拍視頻時，最大的困擾是什么？

抖……

視頻抖動似乎成為亟需解決的一大問題。

近日的一項研究可以很好地解決視頻抖動問題。它的效果是這樣的：

從畫面看，右邊的視頻抖動明顯減少，即使是疾走拍攝，看起來也不那么晃眼。

人潮洶涌的公共場所拍攝視頻進行對比，右邊的動圖明顯穩定了很多。

引言

隨著 YouTube、Vimeo 和 Instagram 等網絡平臺上視頻內容的快速增長，視頻的穩定變得越來越重要。沒有專業視頻穩定器捕獲的手機視頻通常不穩定且觀看效果不佳， 這對視頻穩定算法提出了重大挑戰。現有的視頻穩定方法要么需要主動裁剪幀邊界，要么會在穩定的幀上產生失真偽像。

所以，如何解決視頻抖動，產生穩定的視頻拍攝效果呢？來自臺灣大學、谷歌、弗吉尼亞理工大學和加州大學默塞德分校等研究機構的研究者提出了一種無需裁剪的全幀視頻穩定算法。

論文地址：
https://arxiv.org/pdf/2102.06205.pdf

項目地址：
https://github.com/alex04072000/NeRViS

具體而言，該研究提出了一種通過估計稠密的扭曲場來實現全幀視頻穩定的算法，既可以融合來自相鄰幀的扭曲內容，也能合成全幀穩定的幀。這種算法的核心技術為基于學習的混合空間融合，它可以減輕因光流不精確和快速移動物體造成的偽影影響。研究者在 NUS 和 selfie 視頻數據集上驗證了該方法的有效性。此外，大量的實驗結果表明，該研究提出的方法優于以往的視頻穩定方法。

本研究的主要貢獻如下：

將神經渲染技術應用于視頻穩定中，以緩解對流不準確的敏感性問題；

提出了一種混合融合機制，用于在特征和圖像級別上組合來自多幀的信息，并通過消融研究系統地驗證了各種設計選擇；

在兩個公共數據集上展示了與代表性視頻穩定技術相比較而言，該研究所提出的方法具有良好性能。

算法實現

本研究提出的視頻穩定方法一般分為三個階段：1)運動估計；2)運動平滑；3) 幀扭曲以及渲染。該研究重點集中在第三階段，即渲染高質量的幀而不需要任何裁剪。算法不依賴于特定的運動估計 / 平滑技術。

研究假設從真實相機空間到虛擬相機空間的扭曲場可用于每一幀視頻。對于給定的輸入視頻，首先對每幀的圖像特征進行編碼，在特定的目標時間戳處將相鄰幀扭曲到虛擬攝像機空間，然后融合這些特征來渲染一個穩定的幀。

圖 3：融合多個幀的設計選擇。

為了合成全幀穩定的視頻，需要對輸入的不穩定視頻中多個相鄰幀的內容進行對齊和融合。如圖 3 所示，主要包括三個部分：

傳統的全景圖像拼接（或基于圖像的渲染）方法通常在圖像級別對扭曲（穩定）的圖像進行融合。在對齊比較準確時圖像級融合效果良好，但在流估計不可靠時可能產生混合偽影；

可以將圖像編碼為抽象的 CNN 特征，在特征空間中進行融合，并學習到一個解碼器，可將融合后的特征轉換為輸出幀。這種方法對流不準確性具有較好的魯棒性，但通常會產生過度模糊的圖像；

該研究提出的算法結合了這兩種策略的優點。首先提取抽象的圖像特征（公式（6））；然后融合多幀扭曲的特征。對于每一個源幀，將融合后的特征映射和各個扭曲的特征一起解碼為輸出幀和相關的置信度映射。最后使用公式（8）中生成圖像的加權平均值生成最終輸出幀。

扭曲和融合

扭曲：在虛擬像機空間中，扭曲相鄰幀，使其與目標幀對齊。因為已經有了從目標幀到關鍵幀的扭曲場，以及從關鍵幀到相鄰幀的估計光流，然后可以通過鏈接流向量來計算從目標幀到相鄰幀的扭曲場。因此可以使用向后扭曲來扭曲相鄰幀 I_n 以對齊目標幀。

由于遮擋或超出邊界，目標幀中的一些像素在鄰近幀中不可見。因此，該研究計算每個相鄰幀的可見性掩碼 {}∈ω，來表示一個像素在源幀中是否有效(標記為 1)。該研究使用[Sundaram 等人. 2010] 方法來識別遮擋像素(標記為 0)。

融合空間：研究者探討了幾種融合策略來處理對齊的幀。首先，他們可以在圖像空間中直接混合扭曲的顏色幀產生輸出穩定幀，如圖 3(a)所示。這種圖像空間融合方法在圖像拼接、視頻外插和新視角合成中很常用。

為了結合圖像空間和特征空間最佳融合，該研究提出了一種用于視頻穩定的混合空間融合機制（圖 3（c））。與特征空間融合相似，該研究首先從每個相鄰幀中提取高維特征，然后利用流對特征進行扭曲。之后學習 CNN 來預測最能融合特征的混合權重。研究者將融合后的特征映射和每個相鄰幀的扭曲特征連接起來，形成圖像解碼器輸入。圖像解碼器學習預測目標幀和每個相鄰幀的置信圖。最后采用圖像空間融合的方法，根據預測權重對所有預測的目標幀進行融合，得到最終的穩定幀。

混合空間融合和特征空間融合的核心區別在于圖像解碼器的輸入。下圖 5(b)中的圖像解碼器僅將融合特征作為輸入來預測輸出幀。融合的特征映射已經包含來自多個幀的混合信息。因此，圖像解碼器可能難以合成銳利的圖像內容。相比之下，圖 5(c)中的圖像解碼器以融合的特征映射為指導，從扭曲的特征重構目標幀。實證研究發現，這提高了輸出幀的銳度，同時避免了重影和毛刺偽影。

圖 5：不同混合空間的效果。

實驗結果

控制變量實驗

融合功能。該研究使用圖像空間融合、特征空間融合和混合空間融合來訓練所提出的模型。對于圖像空間融合，該研究還包括兩種傳統的融合方法：多波段融合和圖切割。結果如下表 1 所示：

量化評估

該研究使用以前提出的一些 SOTA 視頻穩定算法對所提出的方法進行了評估，結果如下表 4 所示：

視覺比較

在下圖 10 中展示了該研究所用方法的一個穩定框架和來自 Selfie 數據集的最新方法。該方法生成的全幀穩定視頻具有較少的視覺偽影。

圖 10：與 SOTA 方法的視覺效果對比。

由結果可得，該研究提出的融合方法不會受到嚴重裁剪幀邊界的影響，并且渲染穩定幀時的偽影明顯少于 DIFRINT。

運行時間分析

該研究在基于 CPU 方法 [Grundmann et al. 2011; Liu et al. 2013; Yu and Ramamoorthi 2018] 以及 i7-8550U CPU 筆記本上對運行時間進行了實驗。此外，該研究還在基于 GPU 方法 [Choi and Kweon 2020; Wang et al. 2018; Yu and Ramamoorthi 2020]以及 Nvidia Tesla V100 GPU 上對運行時間進行了實驗。測試視頻的幀分辨率為 854×480。結果如下表 5 所示：