本文經計算機視覺研究院公眾號授權轉載，轉載請聯系出處。

01 前景概要

目前，難以在檢測效率和檢測效果之間獲得適當的平衡。我們就研究出了一種用于高分辨率光學遙感圖像中目標檢測的增強YOLOv5算法，利用多層特征金字塔、多檢測頭策略和混合注意力模塊來提高光學遙感圖像的目標檢測網絡的效果。根據SIMD數據集，新算法的mAP比YOLOv5好2.2%，比YOLOX好8.48%，在檢測效果和速度之間實現了更好的平衡。

02 背景&動機

隨著遙感技術的快速發展，高分辨率光學遙感圖像已被用于描述地球表面的許多物體，包括飛機、汽車、建筑物等。目標檢測在遙感圖像的解釋中起著至關重要的作用，可用于遙感圖像的分割、描述和目標跟蹤。然而，由于其相對較大的視場和高海拔的必要性，航空光學遙感圖像表現出尺度、視點特異性、隨機定向和高背景復雜性的多樣性，而大多數傳統數據集包含地面視圖。因此，用于構建人工特征的對象檢測技術傳統上在精度和速度方面具有較差的記錄。基于卷積神經網絡的目標檢測算法明顯比傳統的目標檢測方法更高效。由于社會的需要和深度學習發展的支持，在光學遙感圖像中使用神經網絡進行目標檢測是必要的。

目前結合深度學習分析光學遙感照片的目標檢測算法可以分為有監督、監督不力或無監督。然而，由于無監督和弱監督算法的復雜性和不穩定性，監督算法是最常用的算法。此外，監督目標檢測算法可以分為單階段或兩階段。基于飛機通常位于機場，船舶通常位于港口和海洋的假設，在下采樣衛星圖像中檢測機場和港口，然后將發現的項目映射回原始的超高分辨率衛星圖像，可以成功地同時檢測不同大小的物體。有研究者提出了一種基于RCNN的旋轉目標檢測方法，通過解決目標方向的隨機化問題，提高遙感圖像中目標檢測的準確性。

03 新算法研究

目前的大多數YOLO系列檢測頭都是基于FPN和PAFPN的輸出特性，其中基于FPN的網絡，如YOLOv3及其變體如下圖a所示，它們直接利用單向融合特性進行輸出，YOLOv4和YOLOv5的基于PAFPN算法在此基礎上增加了一個低電平到高電平的信道，它直接向上傳輸低級信息（下圖b）。

如上圖c所示，類似地，在一些研究中，TPH-YOLOv5模型中的特定檢測任務添加了一個檢測頭。在上圖b，c中，只有PAFPN功能用于輸出，而FPN功能未得到充分利用。因此，YOLOv7將三個輔助磁頭連接到FPN輸出，如上圖d所示，盡管輔助磁頭僅用于“粗略選擇”，并且重量較低。SSD的檢測頭是為了改善YOLO網絡對錨集過于粗糙的設計而提出的，如上圖e所示，設計概念主要由多個尺度上具有多個縱橫比的密集錨設計組成。受圖c–e的啟發，我們研究并提出了一種用于YOLO檢測頭的多檢測頭策略，如圖f所示，該策略可以同時利用PANet和FPN的特征信息。此外，在64倍下采樣處直接添加了輸出頭，這使得網絡包含先前的全局信息。

多檢測頭方法可以有效地利用網絡的輸出特征。改進的YOLO是一個用于高分辨率遙感照片的目標探測網絡。如下圖所示：

主干網的基本結構是以C3和卷積模塊為核心的CSP密集網。在數據增強之后，圖像被饋送到網絡中，并且在核大小6的Conv模塊進行信道混合之后，許多卷積模塊檢索特征。在名為SPPF的特征增強模塊之后，他們連接到Neck的PANet。為了提高網絡的檢測能力，進行了雙向特征融合。Conv2d用于獨立縮放融合的特征層，以生成多層輸出。如下圖a所示，NMS算法將所有單層檢測器的輸出組合在一起，生成最終的檢測幀。

下圖b描述了改進的YOLO網絡每個模塊的結構組成。

Conv包括2D卷積層、BN層批量歸一化和Silu激活函數，C3包括兩個2D卷積層和一個瓶頸層，Upsample是上采樣層。SPPF模塊是SPP模塊的加速版本，MAB模塊如上面提及的所示，其中ECA如左下角所示。在沒有降維的信道級全局平均池化之后，考慮到每個信道與其k個鄰居的關系，使用大小為k的快速1D卷積來捕獲局部跨信道交互信息，從而有效地執行ECA。上述兩個變換沿著兩個空間方向收集特征，以產生一對方向感知特征圖，然后將其連接起來，并使用卷積和Sigmoid函數進行修改，以提供注意力輸出。

04 實驗及可視化

SIMD數據集是一個多類別、開源、高分辨率遙感對象檢測數據集，共包含15個類別，如圖4所示。此外，SIMD數據集更多地分布在中小型目標（w<0.4，h<0.4）中，并且我們提出的改進YOLO用于檢測該區域的檢測頭是普通YOLO算法使用的檢測頭數量的兩倍，因此改進的YOLO在該數據集上具有更大的優勢。

可以將SPPF模塊的輸出連接到輸出頭，從而識別圖像中的大目標。然而，SPPF模塊的輸出具有多個連接，并且涉及多個尺度的目標，因此直接將其用于探測頭來識別大型物體將導致較差的模型表示，如上圖所示，顯示了添加MAB模塊前后一些檢測結果熱圖的視覺比較。在添加MAB模塊后，該檢測頭專注于檢測大目標，而將小目標的預測分配給其他預測頭，提高了模型的表達效果，也更符合YOLO算法中基于目標大小劃分檢測頭的要求。

一些檢測結果如上圖所示。從各個檢測結果來看，與其他算法沒有太大差異，但與其他算法相比，我們研究的算法在保證時間消耗不顯著增加的同時，提高了模型的檢測效果，并利用注意力機制增強了模型的表達效果。