風格遷移是近來人工智能領域內的一個熱門研究主題，機器之心也報道了很多相關的研究。近日，來自浙江大學和亞利桑那州立大學的幾位研究者在 arXiv 上發布了一篇「神經風格遷移(Neural Style Transfer)」的概述論文，對當前神經網絡風格遷移技術的研究、應用和難題進行了全面的總結。

一、摘要

Gatys 等人的近期研究證實了卷積神經網絡(CNN)的力量：通過分離和重新組合圖片內容與風格，CNN 可以創作出具有藝術魅力的作品。使用 CNN 將一張圖片的語義內容與不同風格融合起來的過程被稱為神經風格遷移(Neural Style Transfer)。從那以后，在學術研究和產業應用中，神經風格遷移已成為一個很受歡迎的主題，不僅日益受到計算機視覺研究者的關注，研究人員還提出了幾種方法來提升或擴展 Gatys et al. 提出的神經算法。不過，有關這方面的全面綜述、總結性文獻還付之闕如。這篇論文回顧了神經網絡風格遷移研究近期取得的進展，并討論了這一技術的不同應用以及尚未解決的問題，這也是未來研究的方向。

[[191398]]

圖 1：使用了 Gatys 等人的風格遷移算法的例子，將中國畫風格(b)轉移到了一張長城相片(a)上。提供風格的那幅作品是黃公望的《富春山居圖》。

1. 引言

本文的余下部分的邏輯結構如下。第 2 節對現有的神經風格遷移方法進行分類，并詳細解釋了這些方法。第 3、4 節介紹了這些方法的一些改進以及擴展。文章第 5 節給出了風格化輸出效果的評估方法。第 6 節討論了這些神經風格遷移方法的商業化應用。***，第 7 節總結了當前面臨的挑戰以及可能的解決方案。第 8 部分總結全文并拋出了幾個有前途的研究方向。

文章所涉論文以及相應的代碼、預訓練模型請移步至：https://github.com/ ycjing/Neural-Style-Transfer-Papers

2. 神經風格遷移方法的二分法

在這一部分，我們提出了一種分類方法。當前的神經風格遷移方法符合其中之一：基于圖片迭代的描述性神經方法(Descriptive Neural Methods Based On Image Iteration)和基于模型迭代的生成式神經方法(Generative Neural Methods Based On Model Iteration)。***類方法通過直接迭代更新圖片像素來實現圖像風格遷移，第二種方法首先會迭代優化生成模型，接著通過一個單獨前向通過來生成風格化圖像。

(1) 基于圖像迭代的描述性神經方法(Descriptive Neural Methods Based On Image Iteration)

***個用來轉移圖片風格的神經方法就是描述性神經方法。這一方法會從隨機噪音開始，通過反向傳播迭代更新(尚未知曉的)風格化圖像。圖像迭代的目標是最小化總損失，這樣風格化后的圖像就能同時將內容圖像的內容與風格圖像的風格匹配起來。

神經風格遷移的關鍵之一就是風格表征(representation of style)，即預定義的風格損失函數。風格損失函數會被優化以匹配風格圖像特征統計。根據采用的風格損失函數不同，我們可以進一步將這一方法分為基于***均值差(MMD)的方法和基于馬爾科夫隨機場(MRF)的方法。簡便起見，我們稱之為基于 MMD 和基于 MRF 的方法。

a. 基于 MMD 的描述性神經方法

MMD 是一個很受歡迎的評估兩個分布之差的標準，以希爾伯特空間特征均值為基礎[20]。最近，Li 等人的研究表明風格遷移能夠被視為一個從內容圖像到風格圖像的分布對齊過程 [30]。因此，MMD 能被用于測量風格差異。基于 MMD 的描述性神經方法是指使用帶有不同核函數的 MMD 作為優化的風格損失的神經方法。

b. 基于 MRF 的描述性神經方法

MRF 是一種用于圖像合成的經典框架。假設局部圖像塊包含了一張圖像中的最相關統計依存性。描述性神經方法的第二類是以 MRF 為基礎的，還考慮到了局部水平的神經風格遷移，比如局部圖像塊的風格匹配。

(2) 基于模型迭代的生成式神經方法

盡管描述性神經方法能夠生成出色的風格化圖像，但仍有局限性。其中之一就是效率問題。第二類，亦即基于模型迭代的生成式神經方法(在某些論文中，也被成為「快速」神經風格遷移)解決了速度和計算成本問題，不過犧牲了模型的靈活性。關鍵思想就是在每個針對特定風格圖像的大型圖像數據集上提前訓練一個前饋網絡。使用梯度下降，通過迭代式地更新模型來優化網絡模型。

3. 當前方法上的輕微修改

有幾項研究提出了基于目前***的神經網絡風格遷移算法的改進版。這些改進版保留了現有算法的架構和處理過程，但稍稍改變了損失函數來獲得更好的性能。

圖 2：控制神經風格遷移中的畫筆大小可以生成不同風格的結果。風格樣式來自梵高的《The Starry Night》

(1) 描述性神經方法的衍生

(2) 生成式神經方法的衍生

4. 特定類型圖像的擴展

上述神經風格遷移方法都是對靜態圖像進行處理的。它們可能不適用于其他類型的圖像(如涂鴉、頭像和視頻)。目前已有很多研究正試圖將***進的神經風格遷移算法應用到這些特殊類型的圖像，或指定目標的圖像風格遷移中。

在涂鴉中的神經風格遷移。Champandard 完成了一些有趣的研究 [7](如 2.1.2 節所示)。除了將語義映射引入到神經風格遷移算法中以外，人們也可以通過這種方法在圖像中輸入高級注釋來把簡單的草圖轉換為精細的圖畫。

頭像的神經風格轉移。盡管 Gatys 等人的算法已可以進行通用圖像的風格轉移，但它還不適用于頭像的風格轉移。由于空間約束不強，直接應用 Gatys 等人的方法可能會使人物頭部變形。它對于這種類型的風格轉移是不可接受的。Selim 等人 [41] 經過研究解決了這一問題，他們拓展了 Gatys 等人的算法。他們使用了增益圖(gain maps)的概念來約束空間，從而在風格遷移的同時可以保留人物的面部輪廓。

指定對象的神經風格遷移。Castillo 等人 [5] 提出了指定風格遷移目標的算法。該算法是在圖像中僅對單個用戶指定的對象進行風格化的過程。這個想法是使用***進的語義分割算法從風格化圖像中分割目標對象，然后提取風格遷移后的對象與非風格化背景合并。

對視頻的神經風格遷移。Ruder 等人 [40] 拓展了 Gatys 等人的研究，用神經風格前以算法對視頻圖像序列進行了處理，在本文中神經視頻風格遷移中有提到。給定目標風格圖片，Ruder 等人的算法引入時間損失函數來讓整個視頻都可以得到風格遷移。該算法背后的關鍵思想是使用時間約束來保持各幀之間的平滑過渡，即懲罰沿著點軌跡的偏差。Ruder 等人的算法已被證明可以能夠在大多數情況下消除人工痕跡，并產生平滑的風格化視頻。另一個此方向上的研究由 Anderson 等人 [3] 提出，它能夠利用光流對風格遷移進行初始化，為一段影片進行渲染。

5. 評估方法

對于神經風格遷移問題，并不存在什么 ground truth。神經風格遷移是一種藝術創作。不同的人可能會對同一個遷移后的結果有不同乃至截然相反的看法。因此，對神經風格遷移算法所得到的視覺結果的評估仍然還是一個懸而未決的重要問題。

從我們的角度來看，在神經風格遷移領域有兩種類型的評估方法可以使用，即：定性評估(qualitative evaluation)和定量評估(quantitative evaluation)。定性評估要求參與者評估排序不同算法的結果，這依賴于參與者的觀察(被稱為「風格感知研究(Stylization Perceptual Studies)」)。這種評估結果可能會因參與者屬性(比如年齡、職業)的不同而不同。盡管在定性評估方法上存在一定程度的不確定性，但該方法至少能夠提供一些有關人們的神經藝術風格偏好的信息。而定量評估則側重于在算法上的精確評估指標(比如時間復雜度)。

在目前的神經風格遷移領域，生成式的神經方法已經成為了一個熱門的主題，其中速度是工業應用所考慮的主要問題之一。但就我們所知，之前還沒有研究在同樣的實驗設置下運行過所有當前***的生成式神經方法，并在定性和定量上對它們進行比較。因此，在這一章中，我們的目標是比較 5 種當前***的生成式神經方法，并且使用了 Gatys et al. 的描述式神經方法作為參考。

實驗設置?？傮w而來，實驗使用了 10 張風格圖像和 20 張內容圖像。所有風格轉換結果都是使用作者提供的代碼 [43, 23, 27, 19, 8] 得到的，但 [14] 是例外。對于 [14]，我們使用了一種有所修改的(見第 3 章)流行的開源代碼 [22]。我們的實驗中使用的所有這些代碼的參數都是原作者對應論文提供的默認參數，但 [12, 9] 是例外。我們為 [12,9] 使用了作者提供的預訓練的模型。對于我們實驗中所有的生成式神經方法，所有測試內容圖像在訓練過程中都沒有被觀察過。

(1) 定性評估

圖 3：定性評估的一些結果示例

表 1：對于圖 3 中圖像上的六種算法的平均風格排名分數(∈ [1, 6])

(2) 定量評估

表2：在 256×256、512×512、1024×1024 三種像素大小上的神經風格遷移算法的速度比較(硬件：NVIDIA Quadro M6000)

6. 應用

因為神經風格遷移的結果驚人，所以也帶來了很多成功的業界應用并且也開始實現了商業回報。同時，也有一些應用論文調查了神經風格遷移技術在不同應用領域的應用方式 [4,25]。本節對這些應用進行了總結，并提出了一些潛在的用途。

(1) 社交

(2) 輔助用戶創作的工具

(3) 用于娛樂應用的生產工具

7. 難題與可能的解決方案

神經風格遷移領域的進展驚人，在產業中也已有所應用。盡管目前的算法取得了驚人的結果，該領域仍有一些挑戰與仍待解決的問題。在此章節中，我們將總結神經風格遷移領域內的問題，并討論對應的解決方案。

(1) 難題

• 參數調整的問題
• 筆觸方向控制問題
• 神經風格遷移中「快」與「更快」的問題

圖 4：帶有畫筆大小控制的描述性神經方法的高分辨率結果，以及不帶畫筆大小控制的生成式神經方法的高分辨率結果。

(2) 可能的解決方案

參數調整問題的解決方案。在未來自動參數調整問題的研究中，我們分別討論了對描述性神經方法和生成式方法的解決方案。對描述性神經方法，可能的一個解決方案是跟隨 Risser 等人的方法，進一步的結合一些無梯度信息，比如損失的量級以及損失內的統計。另一個方向是從分類問題中使用的自動參數優化策略獲取靈感(例如，Domhan 等人的研究 [11]，Luo 的研究 [32])。

對生成式神經方法，一種思路是研究不需要為不同風格訓練單獨模型的新方法(就像 [9])，同時還要保證結果的高質量。(也就是，突破速度、靈活性和質量之間的權衡)。然后參數調整的過程就不會特別耗費時間，而且把參數調整交給用戶也可接受。此外，目前自動參數優化策略中的一些方法對生成式神經方法中的自動參數調整也會有幫助。

對筆觸方向控制問題的可能解決方案。目前的神經風格遷移算法不考慮對筆觸方向的控制。相反，在非真實感繪制技術(NPR：Non-photorealistic Rendering)領域，對筆觸方向控制有很好的研究 [39]。我們相信 NPR 領域中的一些思路可被借鑒來解決神經風格遷移中的方向問題。例如，Zhang 等人要求用戶明確筆觸方向的位置與方式 [49]，因為不同的用戶有不同的偏好。同樣的思路可借鑒到神經風格遷移算法中，要求用戶提前選擇全局筆觸方向。此外，結合神經風格遷移算法和 NPR 領域中指導筆觸方向的策略(例如，[50] 中的向量場方法)是該問題的另一個潛在的解決方案。

神經風格遷移中「快」與「更快」問題的解決方案。該研究方向的關鍵問題是如何突破速度、靈活性、質量三者的權衡?？赡艿囊粋€解決方案是跟隨 Chen 和 Schmidt 的研究 [9]。他們的算法是目前最有效的算法，但圖片質量并不高。改進他們的方法所產生的風格遷移圖像的質量是突破速度、靈活性、質量三者權衡的有潛力的方向。目前已有一些相關工作，比如 [51]。

對神經風格遷移算法「快」與「更快」的筆觸大小控制而言，思路類似于之前提到的筆觸方向控制的可能解決方案。在 NPR 領域，有大量的研究人員在做筆觸大小控制。若要進行回顧，我們推薦 [39] 中的章節 1。

8. 結論和未來工作

過去三年來，神經風格遷移已經持續成長為了一個蓬勃發展的研究領域。這一研究領域內越來越多的活動受到了科學挑戰和工業需求的推動。而且在神經風格遷移領域內，研究者們也已經進行了數量可觀的研究。這一領域內的關鍵進展見于表 3?？傮w而言，這篇概述提供了對神經風格遷移現有研究的廣泛調研，覆蓋了當前方法的類別、它們的改進和擴展、評估方法以及現有的挑戰和對應的可能解決方案。此外，我們還概述了神經風格遷移的三個應用領域，包括社交、輔助用戶創作的工具和用于娛樂應用的產品工具。

表 3：總結神經風格遷移領域內的當前進展

未來研究神經風格遷移，有前景的方向主要集中在兩個方面。一是解決前面提到的當前算法所面臨的難題，即參數微調問題、筆觸方向控制問題和神經風格遷移中「快」與「更快」的問題。對這些難題及其對應的可能解決方案的描述見于第 7 節。第二個有前景的方向是關注神經風格遷移的新擴展(比如，時尚風格遷移和字符風格遷移)，在這個方向上已經有了一些初步的研究成果，比如最近 Yang et al. [47] 的關于文本效果遷移(Text Effects Transfer)的研究。這些有趣的擴展可能會變為未來的研究主題趨勢，之后又可能會創造出新的相關領域。

原文：https://arxiv.org/abs/1705.04058

【本文是51CTO專欄機構機器之心的原創譯文，微信公眾號“機器之心( id: almosthuman2014)”】 

戳這里，看該作者更多好文