視頻PS神器！人物隱身、水印去除，這項登上CVPR的研究剛剛開源了
本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。
讓一個人的蹤影從視頻中消失，總是一個難題。
畢竟，你永遠不知道，錄好的節目里，哪個明星藝人會突然翻車，形象大跌，后期團隊被迫緊急加班，用各種方式掩蓋他們的痕跡。
比如，某衛視春晚，強行讓一位背上罵名的主持人消失：
以及某綜藝節目，把言行不當的藝人改成了卡通人物：
要是有個AI，能一鍵把這些人物都刪掉，還讓觀眾看不出紕漏就好了。
現在，一項CVPR 2019上的研究，讓這個需求變成了現實。
拿美隊3舉個例子，機場大戰中，飛舞的紅色小人就是被標記出來的蜘蛛俠，他正在用蜘蛛絲把蟻人綁起來。
現在，AI出馬，蜘蛛俠不見了，留下蟻人獨自被被蜘蛛絲捆綁糾纏，仿佛這些蜘蛛絲擁有了自動捆綁功能。
再比如，《瘋狂動物城》里的兔兔朱迪，也被用紅色標注了。它本來在冰面上奔跑，爬上冰山，耐不住滑溜溜的冰面，掉進了水里。
在AI出手之后，朱迪就免去了爬冰之苦，鏡頭里只有他留在冰面上的影子。
原本人物的位置，被修復的非常完美，壓根看不出來曾經有只兔兔被摳了出去，就好像電影的動畫團隊把這個鏡頭重新做了一遍。
看到這樣的效果，不知道上面那兩部節目的后期會不會哭暈：長期加班搞出來的效果，別人家的AI就自動完成了，而且毫無違和感，讓人物消失的無影無蹤。
另外，估計拍vlog的視頻播主們也會開心的不行：再也不擔心網紅打卡地遍地都是人了，直接用AI刪掉多方便！
背后的AI，是名叫光流引導 (Flow-Guided) 的視頻修復算法。它主要來自商湯港中大聯合實驗室和商湯南洋理工聯合實驗室，有周博磊大神參與，中選了CVPR 2019。
GitHub預告鏈接放出許久之后，這項研究的代碼，剛剛開源。
而在放出之前，也已經有245位GitHub用戶標了星，翹首以待。
那么問題來了，在一片熱鬧的景象里，抹掉一個劇烈運動的人物，怎么會這般輕松自如？
追光者
就像開頭提到的那樣，隱身術是用光流 (Optical Flow) 煉成的。
所謂光流，視覺上長這樣：
△ 左邊是遮擋版，右邊是AI補全版
事實上，它是描述物體運動情況的一個概念，James Gibson在1950年就提出了：
指的是空間運動的物體在觀察平面上，像素運動的瞬時速度。觀察者嘛，可以是人類的肉眼，也可以是攝像機。
在攝像機拍下的視頻里，幀與幀之間是有時間順序的，這樣就可以從相鄰兩幀之間算出光流，那就是物體的運動信息。
學到這樣的信息，可以用來做目標檢測，也可以用來修改視頻。
團隊開發了一個兩步的算法：
第一步，估計光流。第二步，用光流來指導修復。
△ 上為第一步，下為第二步
現在，把這兩步拆解一下。
第一步，光流估計，把視頻上的某個部分擋住，AI要把這一部分的光流補充完整。
比如，下圖的紅色就是遮擋部分。
團隊設計了一個叫做DFC-Net的網絡，學著把不完整的光流補充完整。
而在AI的訓練數據里，遮擋是隨機生成的，對照完整的視頻來學習：
左邊是隨機遮擋；右邊是遮擋之后 (用簡單填充算法初始化得到) 的光流，等待補全；中間是標答。
DFC-Net有三個子網絡。第一個子網絡，負責在一個粗糙尺度上補全光流；把結果交給第二個子網絡，細化一下。再交給第三個網絡，進一步細化：
這樣，就有了最終的光流補全結果。
第二步，就該根據光流來修復視頻了。
原理是，某一幀里被遮擋的信息，在其他幀里可能是存在的。根據光流提供的運動信息，就可以用其他幀里的已知像素，來填補當前幀的未知像素了。
當然，還有一些信息，整段視頻都沒顯示。這一部分，就要靠傳統圖像修復網絡Deepfill來腦補了。
講完原理，來全方位觀察一下，算法的功效究竟如何。
完美消失的馬術選手
新的方法怎樣，要和優秀的前輩比一場才知道。
對手有兩位，一是來自CVPR 2018的Deepfill，二是Huang et al出品、中選SIGGRAPH 2016的算法。
這是第一題，把馬術選手和ta的馬，從視頻里面抹掉：
Deepfill (右上) 單靠腦補，馬的痕跡十分明顯；Huang et al (左下) 自然了許多，但依然有些灰蒙蒙的殘留；相比之下，新算法修過的視頻，只留下了地上的影子。
還有第二題，把輪滑妹子面前的水印去掉：
下面是Huang et al前輩的結果，當妹子跳過水印原本的位置，依然看得出不少灰色的污跡：
而本文主角修復的結果，幾乎看不出視頻曾經有過水印：
當然，不止是肉眼觀察的結果，這只新的AI在YouTube-VOS和DAVIS兩大數據集上，得分都比前輩更勝一籌：
另外，研究者們還找了30名吃瓜群眾，仔細測試人類的觀感。
首先在目標移除方面，將近80%的用戶認為第一名應當是這項研究 (藍色部分) 。
而在背景填充方面，也有近七成用戶認為這項研究的填充效果是最好的。
港中大&商湯聯合出品
研究人員中，有三位來自港中大商湯聯合實驗室，一位來自南洋理工大學。
一作徐瑞和二作李曉瀟都是港中大商湯聯合實驗室的博士，李曉瀟曾在分別在2017年和2018年的DAVIS Challenge on Video Object Segmentation贏得了冠軍和亞軍。
第三位作者周博磊目前是港中大信息工程系助理教授，他去年剛從MIT博士畢業，現在h-index就高達25了，曾獲得MSRA和Facebook的獎金。
Places2和ADE20K兩個數據集都是他參與的作品，Network Dissection和Class Activation Mapping也是他的代表作品。
最后一位作者呂健勤（Chen Change Loy），博士畢業于倫敦瑪麗女王大學，現在是南洋理工大學計算機科學與工程學院的副教授，他同時還是港中大的客座副教授，此前也一直在港中大多媒體實驗室任教。
呂健勤教授帶領團隊進行了許多和計算機視覺、圖像處理相關的研究。近兩年，他還在CVPR 2019、BMVC 2019、ECCV 2018和BMVC 2018幾場頂會擔任區域主席，他也是IJCV雜志副主編。
一個彩蛋
你看，刻苦練習之后，身為一只兔子的朱迪，用優秀的彈跳能力彌補了身高劣勢，反超隊友：
但實力還是可以隱藏的，于是她又把自己融進了雪水：
論文：
Deep Flow-Guided Video Inpainting
Rui Xu, Xiaoxiao Li, Bolei Zhou, Chen Change Loy
https://arxiv.org/abs/1905.02884
項目主頁：
https://nbei.github.io/video-inpainting.html
開源代碼：
https://github.com/nbei/Deep-Flow-Guided-Video-Inpainting
