實(shí)時(shí)運(yùn)行、使用單塊英偉達(dá) RTX 2080 TI GPU 即可以實(shí)現(xiàn) HD 60fps 和 4K 30fps 的速度，那個(gè)「讓整個(gè)世界都變成你的綠幕」的摳圖方法 Background Matting 發(fā)布了 2.0 版本，為用戶提供了更自然更快速的實(shí)時(shí)背景替換效果。

背景替換是電影特效中的關(guān)鍵一環(huán)，在 Zoom、Google Meet 和 Microsoft Teams 等視頻會(huì)議工具中得到廣泛應(yīng)用。除了增加娛樂(lè)效果之外，背景替換可以增強(qiáng)隱私保護(hù)，特別是用戶不愿在視頻會(huì)議中向他人分享自身位置以及環(huán)境等細(xì)節(jié)時(shí)。而這面臨著一項(xiàng)關(guān)鍵挑戰(zhàn)：視頻會(huì)議工具的用戶通常無(wú)法獲得電影特效背景替換所使用的綠幕或其他物理?xiàng)l件。

為了使用戶更方便地替換背景，研究人員陸續(xù)開發(fā)了一系列摳圖方法。今年 4 月份，華盛頓大學(xué)研究者提出了 background matting 方法，不在綠幕前拍攝也能完美轉(zhuǎn)換視頻背景，讓整個(gè)世界都變成你的綠幕。但是，這項(xiàng)研究無(wú)法實(shí)現(xiàn)實(shí)時(shí)運(yùn)行，只能以低幀率處理低分辨率下（512×512）的背景替換，有很多需要改進(jìn)的地方。

八個(gè)月過(guò)去，這些研究者推出了 background matting 2.0 版本，并表示這是一種完全自動(dòng)化、實(shí)時(shí)運(yùn)行的高分辨率摳圖方法，分別以 30fps 的幀率在 4k（3840×2160）和 60fps 的幀率在 HD（1920×1080）圖像上實(shí)現(xiàn) SOTA 結(jié)果。

先來(lái)看一些效果展示場(chǎng)景：

[[358147]]

非常自然流暢的背景替換。

這位小哥將自己亂糟糟的房間背景替換成了下雪場(chǎng)景。

不過(guò)該方法也有「翻車」的時(shí)候，在下圖替換背景中都出現(xiàn)了明顯的銳化陰影（sharp shadow）。

Background Matting 2.0 版本有哪些改進(jìn)？

Background Matting 2.0 相較 1.0 版本有哪些技術(shù)改進(jìn)呢？我們都知道，設(shè)計(jì)一個(gè)對(duì)高分辨率人物視頻進(jìn)行實(shí)時(shí)摳圖的神經(jīng)網(wǎng)絡(luò)極具挑戰(zhàn)性，特別是頭發(fā)等細(xì)粒度細(xì)節(jié)特別重要的情況。1.0 版本只能以 8fps 的幀率實(shí)現(xiàn) 512×512 分辨率下的背景替換。若要在 4K 和 HD 這樣的大分辨率圖像上訓(xùn)練深度網(wǎng)絡(luò)，則運(yùn)行會(huì)非常慢，需要的內(nèi)存也很大。此外，它還需要大量具備高質(zhì)量前景蒙版（alpha matte）的圖像以實(shí)現(xiàn)泛化，然而公開可用的數(shù)據(jù)集也很有限。

收集具有大量手動(dòng)制作前景蒙版的高質(zhì)量數(shù)據(jù)集難度很大，因此該研究想要通過(guò)一系列具有不同特性的數(shù)據(jù)集來(lái)訓(xùn)練網(wǎng)絡(luò)。為此，他們創(chuàng)建了兩個(gè)數(shù)據(jù)集 VideoMatte240K 和 PhotoMatte13K/85，二者均包含高分辨率前景蒙版以及利用色度鍵軟件提取的前景層。研究者首先在這些包含顯著多樣化人體姿勢(shì)的較大型前景蒙版數(shù)據(jù)集上訓(xùn)練網(wǎng)絡(luò)以學(xué)習(xí)魯棒性先驗(yàn)，然后在手動(dòng)制作的公開可用數(shù)據(jù)集上繼續(xù)訓(xùn)練以學(xué)習(xí)細(xì)粒度細(xì)節(jié)。

此外，為了設(shè)計(jì)出能夠?qū)崟r(shí)處理高分辨率圖像的網(wǎng)絡(luò)，研究者觀察發(fā)現(xiàn)圖像中需要細(xì)粒度細(xì)化的區(qū)域相對(duì)很少。所以他們提出了一個(gè) base 網(wǎng)絡(luò)，用來(lái)預(yù)測(cè)低分辨率下的前景蒙版和前景層，并得到誤差預(yù)測(cè)圖（以確定哪些圖像區(qū)域需要高分辨率細(xì)化）。然后 refinement 網(wǎng)絡(luò)以低分辨率結(jié)果和原始圖像作為輸入，在選定區(qū)域生成高分辨率輸出。

結(jié)果表明，Background Matting 2.0 版本在具有挑戰(zhàn)性的真實(shí)視頻和人物圖像場(chǎng)景中取得了 SOTA 的實(shí)時(shí)背景摳圖結(jié)果。研究者還將公布 VideoMatte240K 和 PhotoMatte85 數(shù)據(jù)集以及模型實(shí)現(xiàn)代碼。

• 論文地址：https://arxiv.org/pdf/2012.07810.pdf
• 項(xiàng)目主頁(yè)：https://grail.cs.washington.edu/projects/background-matting-v2/

數(shù)據(jù)集

該研究使用了多個(gè)數(shù)據(jù)集，包括研究人員創(chuàng)建的新型數(shù)據(jù)集和公共數(shù)據(jù)集。

公共數(shù)據(jù)集

Adobe Image Matting（AIM）數(shù)據(jù)集提供了 269 個(gè)人類訓(xùn)練樣本和 11 個(gè)測(cè)試樣本，平均分辨率約為 1000×1000。該研究還使用了 Distinctions646 數(shù)據(jù)集的 humans-only 子集，包含 362 個(gè)訓(xùn)練樣本和 11 個(gè)測(cè)試樣本，平均分辨率約為 1700×2000。這些數(shù)據(jù)集中蒙版均為手動(dòng)創(chuàng)建，因此質(zhì)量較高。但訓(xùn)練樣本數(shù)量較少，無(wú)法學(xué)習(xí)多樣化的人類姿勢(shì)和高分辨率圖像的精細(xì)細(xì)節(jié)，于是研究人員創(chuàng)建了兩個(gè)新的數(shù)據(jù)集。

新型數(shù)據(jù)集 VideoMatte240K 和 PhotoMatte13K/85

VideoMatte240K 數(shù)據(jù)集：研究者收集了 484 個(gè)高分辨率綠幕視頻（其中 384 個(gè)視頻為 4K 分辨率，100 個(gè) HD 分辨率），并使用色度鍵工具 Adobe After Effects 生成 240709 個(gè)不同的前景蒙版和前景幀。

PhotoMatte13K/85 數(shù)據(jù)集：研究人員收集了 13665 張圖像，這些圖像是用演播室質(zhì)量的照明和相機(jī)在綠幕前拍攝的，并通過(guò)帶有手動(dòng)調(diào)整和誤差修復(fù)的色度鍵算法提取蒙版。

下圖展示了這兩個(gè)數(shù)據(jù)集中的樣本示例：

方法

給定圖像 I 和捕獲背景 B，該研究提出的方法能夠預(yù)測(cè)前景蒙版 α 和前景 F。

具體而言，該方法通過(guò) I'= αF + (1−α)B' 基于新背景進(jìn)行合成（B' 為新背景）。該方法沒(méi)有直接求解前景，而是求解前景殘差 F^R = F − I。然后通過(guò)向輸入圖像 I 添加 F^R 來(lái)恢復(fù) F：F = max(min(F^R + I, 1), 0)。研究人員發(fā)現(xiàn)該公式可以改善學(xué)習(xí)效果，并允許通過(guò)上采樣將低分辨率前景殘差應(yīng)用到高分辨率輸入圖像上。

使用深層網(wǎng)絡(luò)會(huì)直接導(dǎo)致大量計(jì)算和內(nèi)存消耗，因此高分辨率圖像摳圖極具挑戰(zhàn)性。如圖 4 所示，人類蒙版通常非常稀疏，其中大塊像素區(qū)域?qū)儆诒尘埃?alpha;=0）或前景（α=1），只有少數(shù)區(qū)域包含較精細(xì)的細(xì)節(jié)（如頭發(fā)、眼鏡、人體輪廓）。因此該研究沒(méi)有設(shè)計(jì)在高分辨率圖像上直接運(yùn)行的網(wǎng)絡(luò)，而是提出了兩個(gè)網(wǎng)絡(luò)：一個(gè)基于較低分辨率圖像運(yùn)行，另一個(gè)基于先前網(wǎng)絡(luò)的誤差預(yù)測(cè)圖選擇圖像塊（patch），僅在這些圖像塊上以原始分辨率運(yùn)行。

該架構(gòu)包含 base 網(wǎng)絡(luò) G_base 和 refinement 網(wǎng)絡(luò) G_refine。

給出原始圖像 I 和捕捉背景圖 B，該方法首先使用因子 c 對(duì)圖像 I 和 B 執(zhí)行下采樣，得到 I_c 和 B_c。然后 base 網(wǎng)絡(luò) G_base 以 I_c 和 B_c 為輸入，預(yù)測(cè)粗粒度前景蒙版 α_c、前景殘差 F^R_c、誤差預(yù)測(cè)圖 E_c 和隱藏特征 H_c。緊接著 refinement 網(wǎng)絡(luò) G_refine 使用 H_c、I 和 B 在預(yù)測(cè)誤差 E_c 較大的區(qū)域中細(xì)化 α_c 和 F^R_c，得到原始分辨率的蒙版 α 和前景殘差 F^R。

該模型為全卷積模型，可以處理任意大小和長(zhǎng)寬比的圖像。

架構(gòu)圖。

base 網(wǎng)絡(luò)

該方法的 base 網(wǎng)絡(luò)是一個(gè)受 DeepLabV3 和 DeepLabV3+ 啟發(fā)的全卷積編碼器 - 解碼器網(wǎng)絡(luò)，包含三個(gè)主要模塊：骨干網(wǎng)絡(luò)、ASPP 和解碼器。

研究者采用 ResNet-50 作為編碼器骨干網(wǎng)絡(luò)，它可以被替換為 ResNet-101 和 MobileNetV2 以實(shí)現(xiàn)速度和質(zhì)量之間的權(quán)衡。

和 DeepLabV3 方法一樣，該方法在骨干網(wǎng)絡(luò)之后采用了 ASPP（空洞空間金字塔池化）模塊，該模塊包含多個(gè)空洞卷積濾波器，擴(kuò)張率分別為為 3、6、9。

解碼器網(wǎng)絡(luò)在每一步均使用了雙線性上采樣，結(jié)合來(lái)自骨干網(wǎng)絡(luò)的殘差連接（skip connection），并使用 3×3 卷積、批歸一化和 ReLU 激活函數(shù)（最后一層除外）。解碼器網(wǎng)絡(luò)輸出粗粒度的前景蒙版 α_c、前景殘差 F^R_c、誤差預(yù)測(cè)圖 E_c 和 32 通道的隱藏特征 H_c。H_c 包含的全局語(yǔ)境將用于 refinement 網(wǎng)絡(luò)中。

refinement 網(wǎng)絡(luò)

refinement 網(wǎng)絡(luò)的目標(biāo)是減少冗余計(jì)算并恢復(fù)高分辨率的摳圖細(xì)節(jié)。base 網(wǎng)絡(luò)在整個(gè)圖像上運(yùn)行，而 refinement 網(wǎng)絡(luò)僅在基于誤差預(yù)測(cè)圖 E_c 選擇的圖像塊上運(yùn)行。refinement 網(wǎng)絡(luò)包括兩個(gè)階段：先以原始分辨率的 1/2 進(jìn)行細(xì)化，再用全分辨率細(xì)化。在推斷過(guò)程中，該方法細(xì)化 k 個(gè)圖像塊，k 可以提前設(shè)置，也可以基于權(quán)衡圖像質(zhì)量和計(jì)算時(shí)間的閾值進(jìn)行設(shè)置。

實(shí)驗(yàn)

該研究將這一方法與基于 trimap 的兩種方法 Deep Image Matting、FBA Matting (FBA) 和基于背景圖像的方法 Background Matting (BGM) 進(jìn)行對(duì)比。

在合成數(shù)據(jù)集上的評(píng)估結(jié)果

下表 1 展示了這些方法在不同數(shù)據(jù)集上的量化評(píng)估結(jié)果。從中可以看出，該研究提出的方法在所有數(shù)據(jù)集上均優(yōu)于基于背景的 BGM 方法，但略遜于當(dāng)前最優(yōu)的 trimap 方法 FBA，F(xiàn)BA 需要人工精心標(biāo)注的 trimap 且速度比該研究提出的方法慢。

在現(xiàn)實(shí)數(shù)據(jù)上的評(píng)估結(jié)果

該研究還對(duì)比了這些方法在真實(shí)數(shù)據(jù)上的性能。從下圖中可以看出，該研究方法的生成結(jié)果在頭發(fā)和邊緣方面更加清晰和詳細(xì)。

該研究邀請(qǐng) 40 位參與者評(píng)估該方法與 BGM 的生成效果，結(jié)果參見(jiàn)下表 2。從中可以看出該方法較 BGM 有顯著提升。59% 的參與者認(rèn)為該算法更好，而認(rèn)為 BGM 更好的參與者比例僅為 23%。在 4K 及更高分辨率的樣本中，認(rèn)為該方法更好的參與者比例更是高達(dá) 75%。

性能對(duì)比

下表 3 和表 4 表明該方法比 BGM 小但速度更快。

該方法的參數(shù)量?jī)H為 BGM 的 55.7% 。但它在批大小為 1 的情況下，使用一塊英偉達(dá) RTX 2080 TI GPU 就能夠?qū)崿F(xiàn) HD 60fps 和 4K 30fps 的速度，可用于很多實(shí)時(shí)應(yīng)用。相比之下，BGM 只能以 7.8fps 的速度處理 512×512 分辨率圖像。

將該方法的骨干網(wǎng)絡(luò)換成 MobileNetV2 后，其性能得到了進(jìn)一步提升，實(shí)現(xiàn)了 HD 100fps 和 4K 45fps。

實(shí)際使用

研究人員將此方法應(yīng)用到了 Zoom 視頻會(huì)議和摳圖這兩種場(chǎng)景中。

在 Zoom 實(shí)現(xiàn)中，研究人員構(gòu)建了攔截?cái)z像頭輸入的 Zoom 插件，收集一張無(wú)人的背景圖，然后執(zhí)行實(shí)時(shí)視頻摳圖和合成，在 Zoom 會(huì)議中展示結(jié)果。研究人員使用 720p 攝像頭在 Linux 中進(jìn)行了測(cè)試，實(shí)際效果很好。

此外，研究人員對(duì)比了該方法和綠幕色度摳圖的效果，發(fā)現(xiàn)在光照不均勻的環(huán)境下，該方法的效果勝過(guò)專為綠幕設(shè)計(jì)的方法，如下圖所示：