[[417713]]

本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯(lián)系出處。

AI已經(jīng)能教你畫油畫了。

隨便給一張圖，筆畫序列秒秒鐘呈現(xiàn)。

比如世界名畫蒙娜麗莎。

亦或是寫實類的小鳥。

還有極具氛圍感的河燈。

總之什么風格都可以駕馭。

這項技術在Reddit上21小時內(nèi)就已經(jīng)有600+的點贊量。

究竟是如何打造的呢？

用前饋網(wǎng)絡預測筆畫

神經(jīng)繪畫，就是為給定的圖像生成一系列筆畫，并使用神經(jīng)網(wǎng)絡進行繪畫式的真實再現(xiàn)過程。

研究團隊提出了一個基于Transformer的框架，叫做Paint Transformer，用前饋網(wǎng)絡來預測筆畫的參數(shù)。

由于當前沒有可用的數(shù)據(jù)集來訓練Paint Transformer，受物體檢測啟發(fā)，研究人員設計了一個自訓練Pipeline。

整個模型由兩個模塊組成：筆畫預測器和筆畫渲染器。

給定目標圖像和中間畫布圖像，筆畫預測器，生成一組參數(shù)以確定當前筆畫集。

預測器包含了兩個用于特征嵌入的CNN網(wǎng)路和一個用于參數(shù)預測的Transformer。

隨后，筆畫渲染器為筆畫集匯總的每個筆畫，生成筆畫圖像，并將它們繪制到畫，產(chǎn)生結果圖像，大小為512*512。

在DETR（用Transformer進行對象檢測）的基礎上，增加了二進制神經(jīng)元來預測筆畫是否應該被保留。

這樣它就可以在沒有任何現(xiàn)成的數(shù)據(jù)集的情況下進行訓練，同時還能實現(xiàn)出色的泛化能力。

實驗表明，這一方法比以前的方法取得了更好的繪畫性能，而且訓練和推理成本更低。

百度南大團隊打造

這項技術由百度、南京大學、羅格斯大學共同打造。

目前代碼已經(jīng)開源，并在一刻相冊App上應用。

論文地址：
https://arxiv.org/abs/2108.03798
GitHub網(wǎng)址：
https://github.com/wzmsltw/PaintTransformer