人工智能算法基于注意力機制的單圖像超分辨率方法區分紋理和平滑摘要： 單圖像超分辨率（SISR）的主要挑戰是恢復高頻細節，如微小紋理。然而，大多數最先進的方法缺乏識別高頻區域的特定模塊，導致輸出圖像模糊。我們提出了一種基于注意力的方法來區分紋理區域和平滑區域。在定位高頻細節的位置之后，執行高頻補償。該方法可以與先前提出的SISR網絡合并。通過提供高頻增強，實現了更好的性能和視覺效果。我們還提出了由DenseRes塊組成的自己的SISR網絡。該塊提供了組合低級功能和高級功能的有效方法。廣泛的基準評估表明，我們提出的方法比SISR中最先進的工作有了顯著的改進。

人工智能算法基于注意力機制的單圖像超分辨率方法區分紋理和平滑介紹：單圖像超分辨率（SISR）的任務是從單個低分辨率（LR）輸入圖像推斷出高分辨率（HR）圖像。這是一個非常不適合的問題，因為在低通濾波和下采樣期間，諸如微小紋理的高頻信息會丟失。因此，SISR是一對多映射。我們的任務是找到最合理的HR圖像，盡可能地恢復微小的紋理。

為了從LR圖像中恢復HR圖像，需要大的接收場來從LR圖像中獲取更多的上下文信息。使用更深的網絡是增加感受野的更好方法。深度網絡的一個缺點是消失梯度問題，這使得網絡難以訓練。他等人。 [1]使用剩余學習框架來簡化網絡培訓。跳過連接是另一種通過網絡增強梯度和信息流的解決方案。低級特征包含有效信息，可用于重建HR圖像。 SISR將受益于不同層面的集體信息。

SISR的難點在于恢復高頻細節，例如微小的紋理。輸出圖像和原始圖像之間的均方誤差（MSE）通常用作訓練卷積神經網絡的損失函數。然而，在追求高峰值信噪比（PSNR）的過程中，MSE將返回許多可能解決方案的平均值，因此輸出圖像看起來模糊且難以置信。為了恢復高頻細節，已經提出了鼓勵的感知損失[2]網絡產生其特征表示相似的圖像，從而產生更清晰的圖像。 Ledig在al。 [3]，[4]結合了對抗性網絡，感知損失和紋理損失，以鼓勵輸出圖像恢復高頻細節，如微小紋理。但是所有這些網絡并沒有明確地知道高頻細節的位置，他們只是試圖盲目地恢復紋理。因此，這些網絡的性能并不令人滿意。

人工智能算法基于注意力機制的單圖像超分辨率方法區分紋理和平滑貢獻：為了解決這些問題，首先，基于將每個層連接到每個后續層的denseNet [5]，我們提出了一個新的塊，稱為DenseRes塊，由殘余構建塊（Resblock）[1]組成。每個Resblock的輸出都連接到每個其他Resblock，從而增強了信息流并避免了重新學習冗余功能。使用DenseRes塊，可以緩解梯度消失問題，并且網絡易于訓練。其次，我們提供了一種應對高頻細節恢復的注意機制。受U-net [6]的啟發，用于語義像素分割，我們提出了一種新穎的混合密集連接U-net，以幫助網絡區分區域是否充滿需要修復的微小紋理或類似于插值圖像。它作為一個特征選擇器，有選擇地增強高頻功能。因此，紋理可以盡可能地恢復。

這是第一次將注意機制引入SISR。該方法簡單有效。通過選擇性地提供高頻增強，它減輕了輸出圖像趨于模糊的問題。注意機制可以與先前提出的SISR網絡結合。實現了更高的PSNR和SSIM。另一個貢獻是我們提出了DenseRes塊，它提供了一種組合低級功能和高級功能的有效方法。它有利于恢復高頻細節。

我們在四個公開可用的基準數據集上評估我們的模型。它在PSNR和結構相似性（SSIM）指數方面優于當前最先進的方法。至于PSNR，我們分別比VDSR [7]和DRCN [8]提高了0.54 dB和0.52dB。本文的其余部分安排如下：第二部分介紹了包括超分辨率（SR）算法和注意機制的相關工作，第三部分提出了網絡結構。第IV部分提供了實驗結果和與最新結果的視覺比較。我們在第五節做出結論。

相關工作：SISR，諸如bicubic和Lanczos [9]等早期方法易于實現且速度很快。但是這些方法通常會產生模糊的結果，缺乏高頻細節。提出了許多強大的方法，如稀疏編碼[10]，以建立低分辨率和高分辨率圖像之間的復雜映射。稀疏編碼[11]，[12]基于以下假設：LR字典上的LR圖像的稀疏表示與HR字典上的相應高分辨率圖像的稀疏表示相同。

最近，基于卷積神經網絡（CNN）的算法取得了很好的效果，并且優于其他算法。董等人。 [13]用雙三次插值對輸入圖像進行了放大，然后端到端地訓練了一個淺卷積網絡，以學習從LR輸入到超分辨率輸出的非線性映射。隨后，各種工作[3]，[7]，[8]成功地在SISR中使用了深度網絡，并且與淺卷積體系結構相比，獲得了更高的PSNR值。最近，Lim等人。 [14]在NTIRE2017超分辨率挑戰中獲得最佳成績[15]。他們的網絡深度高達32。

在許多用于SISR的深度學習算法中，LR圖像通過雙三次插值作為網絡的輸入進行上采樣[7]，[8]。這意味著SISR操作在高分辨率空間中執行，這是次優的并且增加了計算復雜性。代替內插圖像，應用子像素卷積層[16]以將特征圖上采樣到網絡的后續層中的地面實況的大小。這可以在保留模型容量的同時減少計算。

注意機制：基于注意機制的方法在一系列任務中表現出良好的性能。在語音識別領域，基于注意力的循環網絡解碼器用于將語音話語轉錄為字符[17]。 Chorowski等。 [18]用注意機制提高對長輸入語音的魯棒性。侯等人。 [19]提出了一種簡單但有效的注意機制來實現在線語音識別。在機器翻譯領域，Ashish等人。 [20]提出了一個新的簡單網絡，完全基于注意力機制，完全免除了復發和控制，在機器翻譯任務中表現出卓越的品質。其他作品[21]，[22]也在關注的幫助下取得了不錯的成績。在...方面Zhang等人的目的是識別和定位吸引人類注意力的特殊區域。 [27]設計一個對稱的完全卷積網絡來提取顯著性特征。李等人。 [28]使用弱監督方法，并使用強監督方法獲得可比較的結果。

提出方法：在本節中，我們描述了SISR的建議模型體系結構。該網絡旨在學習LR圖像和HR圖像之間的端到端映射函數F.如圖1所示，我們的網絡由兩部分組成：旨在恢復HR圖像的特征重建網絡和目的是找到要修復的高頻細節的注意力產生網絡。通過兩個網絡輸出的相乘，我們將得到HR圖像的殘差。

人工智能算法基于注意力機制的單圖像超分辨率方法區分紋理和平滑結論：我們提出了一種基于注意力的方法來區分紋理區域和平滑區域。當定位高頻細節的位置時，注意機構用作特征選擇器，其增強高頻特征并抑制平滑區域中的噪聲。因此，我們的方法避免盲目地恢復高頻細節。我們將該機制集成到SISR網絡中，包括SRResNet，VDSR和DRCN，并且這些SISR網絡的性能都得到了改進。因此，驗證了注意機制的有效性。至于特征重建網絡，我們提出了DenseRes塊，它提供了一種組合低級特征和高級特征的有效方法。通過多個DenseRes塊的級聯，我們的網絡具有大的感知域。因此，捕獲來自LR圖像的大區域中的有用的上下文信息以恢復HR圖像中的高頻細節。與最先進的方法相比，我們的方法具有最佳性能。在未來，我們將探索視頻超分辨率中注意機制的應用，以產生視覺和數量上的高質量結果。