人工智能借助遷移學習利用自然圖像提取的特征提高插圖分類精度（特約點評：人工智能利用遷移學習利用自然圖像提取的特征提高插圖分類精度對于對深度學習的領域提供了新的空間，這個創新點趣說人工智能必須推薦。來自網友小星的推薦！）

人工智能借助遷移學習利用自然圖像提取的特征提高插圖分類精度簡介：人類識別和識別物體和紋理的能力是不容置疑的。在實踐中，無論光照，視角，風格甚至圖形中的抽象層次如何，人類都能夠識別照片或圖片中的幾乎任何物體。但是，計算機并不像以前那樣發達，直到最近，自然圖像中對象的分類精度還沒有達到人類的水平。 2012年深度學習技術的出現是計算機視覺領域的一次重大革命，特別是圖像分類，準確率達到95％以上。這些技術雖然對自然圖像非常有吸引力，但幾乎不能探索我們對圖像水平的認知的另一個層面。

這些網絡成功的關鍵之一是可以獲得數十萬注釋自然圖像和策劃數據集，從而可以學習非常復雜和非線性的像素統計，關系和模式。但是，在時間和資源方面，培訓這些網絡是一項非常昂貴的任務。因此，從頭開始訓練深度神經網絡需要大量的注釋數據和強大的計算能力。為了克服這個問題，傳輸學習技術的目標是使用現有的預先訓練的體系結構，并通過用更少的數據對它們進行再訓練或使用更簡單的機器學習算法對其高層進行分類來使它們對新數據集有用。

人工智能借助遷移學習利用自然圖像提取的特征提高插圖分類精度貢獻：在這項工作中，我們想要探索圖像領域，特別是插圖圖片，用于圖像分類任務。我們依賴的直覺是，在地方一級，插圖描繪的筆畫，邊緣或紋理統計數據與自然圖像中的數據截然不同。然而，在更高的層次上，構成物體形狀的基本部分與其形狀保持完全一樣。我們開始使用公開可用的深度神經網絡VGG-19 [SZ14]，它在包含超過120萬張圖像的自然圖像數據集ImaNet [RDS * 15]上進行了訓練。首先，我們用我們的由內容標記的插圖圖像的新穎數據集來評估這種網絡。注意到糟糕的性能，我們提出了一種自適應的基于層的優化策略，該策略只修改網絡的幾個層，使其更好地捕獲新內容。因此，我們建議重新開始并訓練捕捉圖像低級特征的圖層，因為這些圖層與自然圖像有所不同，同時保持與高層圖層相似。

本文的貢獻如下：- 我們提供一個由內容標記的插圖圖像的新數據集。- 我們用我們的新數據集評估現有體系結構[SZ14]的性能。- 我們提出了兩種基于轉移學習技術的新型模型 - 為我們的數據進行了優化。***種模式利用傳統的機器學習技術，并需要少量的新數據用于培訓。第二種優化模型需要較大的訓練數據集，但要利用原始網絡中已有的信息，因此如果我們從頭開始訓練網絡，則需要的數據量要少得多。- 我們展示了一小組自然圖像，盡管體系結構發生了變化，但新網絡仍能夠準確分類自然圖像。

人工智能利用遷移學習利用自然圖像提取的特征提高插圖分類精度方法：我們的目標是找到一個能夠正確預測插圖和剪貼畫數據的類標簽的模型。有許多標準數據集包含真實物體的標記圖像，例如含有超過120萬張圖像的ImageNet數據集[RDS * 15]。然而，我們打算分析這種類似卡通形式的風格并沒有一個合適的數據集。因此，我們首先創建了一個由內容標記的插圖圖像數據集（第4節）。該數據集由兩組將用于不同任務的數據組成。嘈雜的數據集，超過180K的圖像分為826個類和策劃數據集，超過4K圖像和23個類。將策劃和噪音數據集都分成一組固定的培訓，評估和測試數據。

我們首先評估現有的VGG19 [SZ14]深層神經網絡，該網絡已被證明可以在自然圖像中執行非常好的預測類別。在第5節中，我們提供了這個架構的總結，并在數據中顯示了它的性能。由于獲得的精度很低，我們將其視為基線（基線VGG19），并提出了兩種受轉移學習技術啟發的新模型[RASC14，LLZ * 11，OBLS14]。在第6.1節中解釋的***個模型（基線VGG19 + SVM）中，我們使用SVM對從深度網絡VGG19提取的特征進行分類。性能相對于以前的架構有所提高，但仍然較低。因此，我們提出了第二個模型（優化VGG19+ SVM），在第7節中描述，它基于兩個步驟：首先，我們使用我們的噪聲執行自適應的基于層的優化數據集;然后，如前所述，我們提取優化網絡的特征并使用我們的策劃數據集訓練SVM。該模型在精度排名前1的準確率為86.61％，排名前5的準確率為97.21％。精度分別提高了20％和10％的精度前1和前5。

人工智能利用遷移學習利用自然圖像提取的特征提高插圖分類精度提出的模型：正如我們所示，與自然圖像相比，我們插圖數據集中深網VGG19獲得的準確性急劇下降。主要原因是我們數據集中圖像的統計數據與原始圖像不同。提高數據性能的一個想法是創建一個新的控制網絡并從頭開始進行培訓。但是，這不是一個好主意，原因有二：首先，我們缺乏用于培訓VGG19的數據量，其次，我們將失去模型已經學到的所有信息。為了解決這個問題，我們從之前的轉移學習[RASC14，LLZ * 11，DJV * 13]中獲得了靈感，并評估了兩個新模型。在我們的***個模型（第6.1節）中，我們提取了CNN的高級特征，并將它們用作圖像描述符來訓練支持向量機（SVM）。在我們的第二個模型（第7節）中，我們另外重置了VGG19網絡的低層圖層，并使用我們的數據集對其進行了優化。高層次，理論上是為了捕捉形狀和對象，幾乎保持不變。

基線VGG19 + SVM：支持向量機（SVM）是用于分類和回歸的有監督算法。 SVM試圖找到***超平面，該類用不同類別的樣本之間的***邊界對類別進行分類。一種SVM使用非線性內核將數據映射到更高維空間，然后才找到***超平面。在我們的工作中，我們使用非線性支持向量機是因為它們在特征非常大時的有效性以及它們的魯棒性，因為它們可以***化不同數據樣本之間的邊界。此外，它不需要像深層網絡那么多的數據，因此可以使用我們的策劃數據集進行訓練。

培訓和評估我們將策劃的數據集分為以下幾類：16％的數據作為驗證，64％作為培訓，20％作為測試數據。對于每個圖像，我們通過獲取網絡VGG19的第二個完全連接層來獲得特征向量。通過使用三重交叉驗證，我們發現***性能是由使用歐氏距離平方的徑向基函數核（RBF）給出的，松弛變量C = 1允許在訓練過程中出現一些錯誤，分類器更具靈活性和穩定性，γ= 0.0001，即訓練過程中每個樣品的重量。訓練SVM的決策函數是一對一休止（OVR），它為每個類訓練一個分類器，找到***超平面，將該類的樣本放置在***超平面的一側，而其余的一側放置在另一側不同類別的最接近樣本之間的***余量。訓練結束后，前1名和前5名精度分別提高到62.04％和85.64％。由于RBF函數和SVM分類的強大的非線性映射，從VGG19獲得的圖像描述符能夠獲得更好的結果。盡管如此，該網絡仍然無法識別插圖圖像的低級特征，這告訴我們如果網絡使用插圖圖像統計進行了優化，仍有改進的空間。

人工智能利用遷移學習利用自然圖像提取的特征提高插圖分類精度結論：在這項工作中，我們探討了在兩個不同的領域，即自然的圖像和插圖，深層神經網絡的高層次是如何轉移的。我們已經提出了一個帶有標簽和策劃數據的新插圖數據集。我們已經證明，當使用更抽象的描述（如漫畫或剪貼畫）對目標數據集進行分類時，為自然圖像訓練的深度神經網絡會失敗。我們提出了兩個模型，分別在原始網絡上提高30-60％的性能，并且我們已經證明，我們的模型仍然能夠在照片上合理地工作。

未來的工作有許多有趣的途徑。 Curated數據集遺留了Noisy數據集中的大部分可用數據，僅使用826個中的23個。這可以通過使用眾包平臺來整理我們的數據來改進，因為目前這是一個手動過程。我們希望進行進一步的實驗來詳盡評估我們網絡在ImageNet數據集中的準確性，因為我們目前的實驗表明這些概念仍然存在于網絡中。一個非常有趣的問題是調查這種網絡中的抽象和感知，例如，找出這種模型是否自動學習完形定律，或者預測哪些是使我們的基本邊緣或部分識別一個對象。（特約點評：人工智能利用遷移學習利用自然圖像提取的特征提高插圖分類精度對于對深度學習的領域提供了新的空間，這個創新點趣說人工智能必須推薦。來自網友小星的推薦！）