AI：你總要高清視頻，它來了

作者：機器之心 2024-01-15 16:34:13

人工智能新聞

以后，就算是跑著拍視頻，FMA-Net也能給你處理得非常滿意。

Magnific 圖像超分 & 增強工具還正在火熱體驗中，它強大的圖像升頻與再創能力收獲一致好評。現在，視頻領域也有了自己的 Magnific。

拍攝的街道視頻一片模糊，仿佛高度近視沒戴眼鏡一樣：

與之相比，下面的視頻清晰度高了很多：

視頻畫面兩邊形成鮮明的對比：左邊視頻已經模糊的看不清人臉，而右邊視頻建筑物的紋理也看得清清楚楚：

行駛的汽車仿佛從一個模糊的世界穿越到高清世界：

不同的方法進行比較，明顯看到右下角的視頻在微小的細節恢復方面更加清晰：

通過上述展示，我們可以看出，視頻超分辨率（VSR）就像是給模糊的老電影穿上了高清新衣。比如上面展示的一段道路監控錄像，由于畫質太低，細節看起來像是被涂抹過一樣。這時候就需要 VSR 技術出場了，它能夠把這些低分辨率的視頻變得更加清晰。

不過，這個過程并不簡單。常常因為攝像機晃動或拍攝物體的移動，視頻就像是被風吹過的湖面，波紋模糊。這時，我們不僅需要提升視頻的清晰度，還得「擺平」這些模糊的干擾。這就需要視頻超分辨率和去模糊的聯合修復（VSRDB），它要在保持視頻清晰度的同時，還得處理模糊，確保最后呈現出來的視頻既清晰又流暢。

為了實現上述效果，來自韓國科學技術院（KAIST）與中央大學的研究者們提出了 FMA-Net 框架。這個框架基于流引導的動態濾波（Flow-Guided Dynamic Filtering, FGDF）和迭代特征細化的多重注意力機制（Iterative Feature Refinement with Multi-Attention, FRMA），旨在實現從小到大的運動表示學習，并具有良好的聯合恢復性能（見圖 1）。FGDF 的關鍵之處在于執行濾波時要注意運動軌跡，而不是拘泥于固定位置，這樣就能用較小的核有效處理較大的運動。

論文地址：https://arxiv.org/abs/2401.03707
項目主頁：http://kaist-viclab.github.io/fmanet-site/
論文標題：FMA-Net: Flow-Guided Dynamic Filtering and Iterative Feature Refinement with Multi-Attention for Joint Video Super-Resolution and Deblurring

方法介紹

該研究的目標是同時實現視頻超分辨率和去模糊（VSRDB）。對于一個模糊的 LR（低分辨率， low-resolution ）輸入序列，式中 T = 2N + 1、c 分別表示輸入幀數和中心幀索引。VSRDB 的目標是預測一個清晰的 HR（高分辨率，high-resolution ）中心框架。如下圖展示了 VSRDB 框架 FMA-Net。

FMA-Net 包括兩部分：退化學習網絡 Net^D ；修復網絡 Net^R 。退化學習網絡用于估計感知運動的時空變化退化核；修復網絡利用這些預測出的退化核來恢復模糊的低分辨率視頻。

其中，退化學習網絡 Net^D 用來預測運動感知的時空變化退化，而 Net^R 以全局自適應的方式利用 Net^D 預測的退化來恢復中心幀 X_c。

Net^D 和 Net^R 具有相似的結構，它們由 FRMA（ feature refinement with multiattention ）塊和 FGDF（ flow-guided dynamic filtering ）塊組成。

下圖 4 (a) 顯示了第 (i+1) 步更新時 FRMA 塊的結構，圖 4 (b) 為多注意力結構。

下圖 2 展示了 FGDF 概念。FGDF 看起來類似于可變形卷積（DCN），但不同之處在于 FGDF 學習的是位置相關的 n×n 動態濾波器系數，而 DCN 學習的是位置不變的 n×n 濾波器系數。

此外，新提出的多注意力機制，包括以中心為導向的注意力和退化感知注意力，使得 FMA-Net 能夠專注于目標幀，并以全局適應的方式使用退化核進行視頻超分辨率和去模糊。

訓練策略

該研究采用兩階段的訓練策略來訓練 FMA-Net。首先對 Net^D 進行預訓練，損失 L_D 為：

然后，為了提高性能，本文還提出了 TA 損失，即等式右側的最后一項。

總的訓練損失為：

實驗結果

表 1 顯示了在測試集 REDS4 上的定量比較結果。從表 1 可以看出：

級聯 SR 和去模糊的序列方法會導致先前模型的錯誤傳播，導致性能顯著下降，并且使用兩個模型還會增加內存和運行時成本；
與序列級聯方法相比，VSRDB 方法始終表現出優越的整體性能，表明這兩個任務高度相關；
FMA-Net 在 PSNR、SSIM 和 tOF 方面顯著優于所有 SOTA 方法，具體來說，FMA-Net 比 SOTA 算法 RVRT * 和 BasicVSR++* 分別提高了 1.03 dB 和 1.77 dB。