本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

你有什么端菜小妙招嗎？怎么晃都不撒的那種！

如果沒有的話，不妨看看這個：無論怎么動，盤子和食物都安然無恙。

Emmm……其實細看的話應該還是能發現，這并不是什么端菜妙招（對不起~），這個盤子和熱狗也沒有被粘起來，而是后期合成的。

這群把AI合成圖像玩出花來的研究者們，分別來自香港中文大學、浙江大學，和英偉達。

除了“空降”一盤熱狗，他們還把宮崎駿的《龍貓》搬到了一張白紙上，而且任意彎折、移動都不影響播放。

而這張白紙其實并沒有經過特殊處理，我們看到的“畫中畫”也是AI合成的。

不過——“眾所周知，視頻不能P，所以這是真的！”（手動狗頭）

此外，這些人還給嗶哩嗶哩小電視的眼睛和嘴巴換了個色兒。

現在，相關論文已被圖形學頂會SIGGRAPH Asia 2022收錄。

下面就來看看他們具體是如何實現這些神操作的。

用神經網絡實現在紙上放視頻

要弄清楚怎么在紙上放連續動畫，不妨先從簡單點兒的一張圖說起：

如何將抖動紙張上的一幅畫換成另一幅畫，并且讓人基本看不出P圖痕跡？

第一步是收集各種素材。就拿梵高的《星空》來舉例子，首先要在不同的角度、光照條件、抖動情況下拍攝這幅圖。

然后就到了關鍵一步：需要一個AI來預測《星空》在各視頻畫面中的光流，并將其替換成其他的圖片。

這里簡單說下光流是個什么東西：在計算機視覺中，光流就是個關于物體運動的概念，可表示為連續兩幀圖像中，代表同一目標的像素點的位移量。

為了達到絲滑逼真的視覺效果，研究者們提出了一個新框架NeuralMarker，來捕捉標志物到參考圖像的密集對應關系。

從這個框架名字里的Neural就可以看出，它和神經網絡有一定關系。

此前，其他AI模型大都是通過特征匹配和指定圖像來建立稀疏的對應關系。不過這些稀疏的特征標記只能支持平面中的簡單變化，而當圖片動起來后，這些標記就無法識別了。

比如說，把動態的《星空》變成日本名畫《神奈川沖浪里》，就是醬紫的：

這里面，只有NeuralMarker成功了，而這個模型成功的關鍵因素在于它的兩個組件和一個標記評估方法：

1、FlyingMarkers捕捉幾何變化

其一，要處理好像素點級別的密集對應關系，運動調節器（motion regressor）就得能夠實時捕捉各種幾何變化。

研究者以拍攝的素材、一些人為標記，以及合成的參考圖像作為數據集，訓練出一個叫FlyingMarkers的工具。

在FlyingMarkers的輔助下，運動調節器就能可以為各種形變編碼，從了捕捉到絕大多數幾何變化了。

2、SED+SfM捕捉亮度色彩變化

除了幾何變化外，顏色和亮度變化也是至關重要的。

研究者指出，在訓練模型的數據集中，連續的動畫外觀變化并不算大；而最終是要求把一張圖換成另一張圖，這是外觀差異就很明顯了。

所以，他們提出了一個對稱極距損失 (Symmetric Epipolar Distance ，SED)的概念，并結合運動結構（Structure-from-Motion，SfM）技術，根據相機的拍攝角度來約束密集對應關系的預測。

這樣，即使原圖是在較暗光線下拍攝的，也可以有不錯的生成效果。（雖然還達不到環境光漸變的效果）

3、DVL-Markers評估

此外，研究人員還提出了一種新的標記對應評估方法：DVL-Markers，用來評估真實拍攝圖片中的像素塊與模型包含的標記之間的對應關系。

并從幾何形變、相機視角，和光照三個方向進行評估。

研究者們測試后發現，有了DVL-Markers，這個AI模型的圖像質量評估指標：SSIM（結構相似性）和PSNR（峰值信噪比）表現都優于同類模型，并且任務成功率達到了100%。

有了這些工具的加持，NeuralMarker也可以搞定在紙上播放視頻這種事了。

（話說，既然都能在紙上放視頻了，那之后投影儀對不準的問題是不是也有望解決了？）

看到這里，大伙兒應該覺得這個AI挺溜了吧，不過這還沒完——

前文提到的“端盤子妙招”，其實是這群研究者把NeuralMarker和NeRF結合起來了，直接在二維的圖片上加了一個三維物體。

當然，研究人員也坦言，NeuralMarker還有一些局限性和發展空間，比如圖片前面有遮擋物時，這個AI就不再這么智能了。

對此，他們表示，將在訓練的數據集中隨機加入遮擋物，來讓這個AI變得更聰明。

論文地址：?https://arxiv.org/abs/2209.08896?