CRAS-YOLO:多類別船舶檢測與分類模型
本文經計算機視覺研究院公眾號授權轉載,轉載請聯系出處。
01 前景概要
在今天分享中,我們團隊在FUSAR船舶數據集和SimpleCopyPaste方法的基礎上生成了一個新的Artificial-SAR-Vessel數據集中。我們進一步提出了一種新的多類船檢測,稱為CRAS-YOLO,它由卷積塊注意力模塊(CBAM)、感受野塊(RFB)和基于YOLOv5s的自適應空間特征融合(ASFF)組成。CRAS-YOLO改進了基于路徑聚合網絡(PANet)的特征金字塔網絡,該網絡集成了RFB特征增強模塊和ASFF特征融合策略,以獲得更豐富的特征信息,并實現多尺度特征的自適應融合。同時,在骨干中增加了CBAM,以準確定位船只位置,提高檢測能力。
結果證實,CRAS-YOLO模型的準確度、召回率和平均準確度(mAP)(0.5)分別高達90.4%、88.6%和92.1%。所提出的模型在另一個Sar船舶檢測(SSDD)數據集中的精度、召回率和mAP得分分別高達97.3%、95.5%和98.7%,也優于先前的研究結果。
02 項目背景
如今,深度學習已經突破了傳統目標檢測算法的瓶頸,成為檢測的主流算法。深度學習方法不需要在SAR圖像中分離海洋和陸地,只需要通過標記的數據集進行訓練,在目標檢測方面具有很大的優勢。目前流行的目標檢測算法有兩種類型。一種是基于區域推薦的兩階段目標檢測算法,其中代表性的方法有基于區域的卷積神經網絡(R-CNN)、Fast R-CNN和Faster R-CNN。其主要思想是利用選擇性搜索方法來生成建議區域,然后在建議區域中進行回歸分類。另一種是一階段目標檢測算法,它將檢測問題簡化為回歸問題,只需要卷積神經網絡就可以直接獲得目標的類概率和位置坐標。代表性算法包括YOLO、SSD、Retina-Net等。YOLO系列算法通常比其他算法更快,對小目標檢測效果良好。它們是經典的一階段檢測方法,通常比其他算法具有更快的識別速度,并且在小目標檢測中表現出優異的檢測能力。
迄今為止公開發布的上述SAR船舶探測數據集大多只包含船舶位置數據,缺乏船舶類別數據。同時,唯一一個名為SRSDD的公共多類別船舶檢測數據集存在嚴重的類別不平衡問題,嚴重影響了船舶檢測的準確性。因此,我們在研究中,基于FusarShip數據集和HAISI-1衛星拍攝的海面遠程合成孔徑雷達(SAR)圖像的組合,生成了一個新的數據集,稱為Artificial-SAR-Vessel據集。創新性地將SimpleCopyPaste方法引入到數據集的構建中,希望對SAR船舶檢測數據集進行補充,為船舶檢測數據缺乏的問題提供新的解決方案。
03 新研究框架介紹
我們研究的CRAS-YOLO是為了在給定SAR圖像的情況下,在精確定位船只位置和提高檢測能力方面提供高性能而形成的。下圖中的流程圖顯示了所提出的CRAS-YOLO是如何開發的。
首先,生成了Artificial-SAR-Vessel數據集。其次,通過在YOLOv5s網絡中添加CBAM、RFB和ASFF,形成了所提出的CRAS-YOLO模型。接下來,給出了性能度量,以評估所提出的模型與其他模型相比的性能。最后,將所開發的CRAS-YOLO模型應用于基于衛星圖像的船舶探測。
在我們的研究中,提出的CRAS-YOLO船舶檢測和分類模型基于YOLOv5s,通過在PANet(RA PANet)中添加RFB和ASFF來改進FPN,以獲得更豐富的特征信息,并實現多尺度特征的自適應融合。擬議的CRAS-YOLO還將CBAM集成到網絡的頸部。CRAS-YOLO的完整網絡結構如下圖所示。
注意機制主要包括空間注意和渠道注意。SE和ECA是渠道關注機制的代表。CA是空間注意機制的代表。CBAM融合了通道和空間注意力機制,具有良好的性能。我們將CBAM插入頸部結構中,以實現更有效的特征提取。從下圖中,CBAM通過通道模塊和空間模塊提取特征信息,并使用串行結構融合特征信息。
從下圖中,首先,輸入特征圖通過通道模塊生成通道權重,并將獲得的權重與輸入相乘以生成通道圖。接下來,將通道特征圖導入空間模塊以生成空間權重,并將權重與導入的特征圖相乘以生成空間圖。最后,將最終的加權特征圖和原始輸入逐元素相加,得到最終的輸出結果,詳細的CBAM結構如圖所示。
淺層濾波器提取的特征包含更具體的特征信息。因此,我們在淺層集成了CBAM,以從淺層特征圖中學習和選擇重要特征,提高船舶的定量性能。
SAR圖像特征圖的可視化。(a) 通過濾波器從RA PANet的骨干網絡中提取的特征圖的可視化。(b) 從淺層到深層的小型船舶特征圖的可視化。
RFB特征增強模塊網絡結構
ASFF網絡結構
04 實驗及可視化
CRAS-YOLO與其他模型的實驗結果比較
基于CRAS-YOLO模型的船舶檢測結果:上面三張分別是復雜海岸背景下的船舶測試結果,下面三張分別是深海中稀疏分布的船舶測試成果。