今天一大早就被網友們安利了一個熱門 AI 項目。
聽說，它可以帶你周游世界，還能讓 AngelaBaby 多拍幾部電視劇。
這是啥情況？？
仔細一了解，原來是一款 AI 視頻摳圖神器，一大早就沖上了 GitHub 熱榜。
官方介紹說，這個 AI 神器可以讓視頻處理變得非常簡單且專業，不用「綠幕」，也能達到逼真、毫無違和感的合成效果。
果然，打工人的 “周游世界”只有 AI 能實現了 [淚目]。
其實，視頻摳圖 AI 已經出現過不少，但這一款確實讓人覺得很驚艷。先來看下它演示 Demo。
你能看出公路背景和大海背景的視頻，哪一個是 AI 合成的嗎？
連撩起的頭發都看不出一點破綻。
而且就算瘋狂跳舞也沒有影響合成效果。
再來看下它背后的摳圖細節，不僅精確到了頭發，甚至還包括浮起的碎發 ......
動態效果也是如此，瘋狂甩頭也能實時捕捉細節。
這項超強 AI 摳圖神器來自香港城市大學和商湯科技聯合研究團隊，論文一作還是一位在讀博士生張漢科。
接下來，我們來看下它背后的技術原理。
目標分解網絡 MODNet
關鍵在于，這個 AI 采用了一種輕量級的目標分解網絡 MODNet（ Matting Objective Decomposition Network），它可以從不同背景的單個輸入圖像中平滑地處理動態人像。
簡單的說，其功能就是視頻人像摳圖。
我們知道，一些影視作品尤其是古裝劇，必須要對人物的背景進行后期處理。為了達到逼真的合成效果，拍攝時一般都會采用「綠幕」做背景。因為綠色屏幕可以使高質量的 Alpha 蒙版實時提取圖像或視頻中的人物。
另外，如果沒有綠屏的話，通常采用的技術手段是光照處理法，即使預定義的 Trimap 作為自然光照算法輸入。這種方法會粗略地生成三位圖：確定的（不透明）前景，確定的（透明）背景以及介于兩者之間的未知（不透明）區域。
如果使用人工注釋三位圖不僅昂貴，而且深度相機可能會導致精度下降。因此，針對以上不足，研究人員提出了目標分解網絡 MODNet。
如圖所示，MODNet 由三個相互依賴的分支 S、D 和 F 構成。它們分別通過一個低分辨率分支來預測人類語義（SP）、一個高分辨率分支來聚焦縱向的邊界細節（DP），最后一個融合分支來預測 Alpha Matte （αp）。
具體如下：
-
語義估計（Semantic Estimation）：采用 MobileNetV2[35]架構，通過編碼器（即 MODNet 的低分辨率分支）來提取高層語義。
-
細節預測（Detail Prediction）：處理前景肖像周圍的過渡區域，以 I，S（I）和 S 的低層特征作為輸入。同時對它的卷積層數、信道數、輸入分辨率三個方面進行了優化。
-
語義細節融合（Semantic-Detail Fusion）：一個融合了語義和細節的 CNN 模塊，它向上采樣 S（I）以使其形狀與 D（I，S（I））相之相匹配，再將 S（I）和 D（I，S（I））連接起來預測最終αp。
另外，基于以上底層框架，該研究還提出了一種自監督策略 SOC（Sub-Objectives Consistency）和幀延遲處理方法 OFD（One-Frame Delay )。
其中，SOC 策略可以保證 MODNet 架構在處理未標注數據時，讓輸出的子目標之間具有一致性；OFD 方法在執行人像摳像視頻任務時，可以在平滑視頻序列中預測 Alpha 遮罩。如下圖：
實驗評估
在開展實驗評估之前，研究人員創建了一個攝影人像基準數據集 PPM-100（Photographic Portrait Matting）。
它包含了 100 幅不同背景的已精細注釋的肖像圖像。為了保證樣本的多樣性，PPM-100 還被定義了幾個分類規則來平衡樣本類型，比如是否包括整個人體；圖像背景是否模糊；是否持有其他物體。如圖：
PPM-100 中的樣圖具有豐富的背景和人物姿勢。因此可以被看做一個較為全面的基準。
那么我們來看下實驗結果：
圖中顯示，MODNet 在 MSE（均方誤差）和 MAD（平均值）上都優于其他無 Trimap 的方法。雖然它的性能不如采用 Trimap 的 DIM，但如果將 MODNet 修改為基于 Trimap 的方法—即以 Trimap 作為輸入，它的性能會優于基于 Trimap 的 DIM，這也再次表明顯示 MODNet 的結構體系具有優越性。
此外，研究人員還進一步證明了 MODNet 在模型大小和執行效率方面的優勢。
其中，模型大小通過參數總數來衡量，執行效率通過 NVIDIA GTX1080 Ti GPU 上超過 PPM-100 的平均參考時間來反映（輸入圖像被裁剪為 512×512）。結果如圖：
上圖顯示，MODNet 的推理時間為 15.8ms（63fps），是 FDMPA（31fps）的兩倍。雖然 MODNet 的參數量比 FDMPA 稍多，但性能明顯更好。
需要注意的是，較少的參數并不意味著更快的推理速度，因為模型可能有較大的特征映射或耗時機制，比如，注意力機制（Attention Mechanisms）。
總之，MODNet 提出了一個簡單、快速且有效實時人像摳圖處理方法。該方法僅以 RGB 圖像為輸入，實現了場景變化下 Alpha 蒙版預測。此外，由于所提出的 SOC 和 OFD，MODNet 在實際應用中受到的域轉移問題影響也較小。
