霸榜多個CV任務，開源僅兩天，微軟分層ViT模型收獲近2k star
自 2017 年 6 月谷歌提出 Transformer 以來，它便逐漸成為了自然語言處理領域的主流模型。最近一段時間，Transformer 更是開啟了自己的跨界之旅，開始在計算機視覺領域大展身手，涌現出了多個基于 Transformer 的新模型，如谷歌用于圖像分類的 ViT 以及復旦、牛津、騰訊等機構的 SETR 等。由此，「Transformer 是萬能的嗎？」也一度成為機器學習社區的熱門話題。
不久前，微軟亞研的研究者提出了一種通過移動窗口（shifted windows）計算的分層視覺 Transformer，他們稱之為 Swin Transformer。相比之前的 ViT 模型，Swin Transformer 做出了以下兩點改進：其一，引入 CNN 中常用的層次化構建方式構建分層 Transformer；其二，引入局部性（locality）思想，對無重合的窗口區域內進行自注意力計算。
論文鏈接：
https://arxiv.org/pdf/2103.14030.pdf
首先來看 Swin Transformer 的整體工作流，下圖 3a 為 Swin Transformer 的整體架構，圖 3b 為兩個連續的 Swin Transformer 塊。
該研究的亮點在于利用移動窗口對分層 Transformer 的表征進行計算。通過將自注意力計算限制在不重疊的局部串口，同時允許跨窗口連接。這種分層結構可以靈活地在不同尺度上建模，并具有圖像大小的線性計算復雜度。下圖 2 為在 Swin Transformer 架構中利用移動窗口計算自注意力的工作流：
模型本身具有的特性使其在一系列視覺任務上都實現了頗具競爭力的性能表現。其中，在 ImageNet-1K 數據集上實現了 86.4% 的圖像分類準確率、在 COCO test-dev 數據集上實現了 58.7% 的目標檢測 box AP 和 51.1% 的 mask AP。目前，在 COCO minival 和 COCO test-dev 兩個數據集上，Swin-L（Swin Transformer 的變體）在目標檢測和實例分割任務中均實現了 SOTA。
此外，在 ADE20K val 和 ADE20K 數據集上，Swin-L 也在語義分割任務中實現了 SOTA。
開源代碼和預訓練模型
Swin Transformer 論文公開沒多久之后，微軟官方于近日在 GitHub 上開源了代碼和預訓練模型，涵蓋圖像分類、目標檢測以及語義分割任務。上線僅僅兩天，該項目已收獲 1900 星。
項目地址：
https://github.com/microsoft/Swin-Transformer
首先圖像分類任務，Swin-T、Swin-S、Swin-B 和 Swin-L 變體模型在 ImageNet-1K 和 ImageNet-22K 數據集上的準確率結果如下：
其次目標檢測任務：Swin-T、Swin-S、Swin-B 和 Swin-L 變體模型在 COCO 目標檢測（2017 val）數據集上的結果如下：
最后語義分割任務：Swin-T、Swin-S、Swin-B 和 Swin-L 變體模型在 ADE20K 語義分割（val）數據集上的結果如下。目前，Swin-L 取得了 53.50% 的 SOTA 驗證 mIoU 分數。
