一、前言

Non keypoint-based的目標檢測模型由分類和回歸分支組成，由于不同的任務驅動因素，這兩個分支對來自相同尺度級別和相同空間位置的特征具有不同的敏感性。point-based的預測方法，在基于高分類置信點具有高回歸質量的假設上，導致錯位問題。我們的分析表明，該問題進一步具體由尺度錯位和空間錯位組成。

研究者的目標是以最小的成本解決這一現象——對head network進行微調，并用一種新的標簽分配方法代替。實驗表明，與基線FCOS（一種單階段和無錨目標象檢測模型）相比，新提出的模型在不同的主干上始終獲得大約3 個AP的改進，證明了新方法的簡單性和效率。

二、背景

目標檢測是深度學習時代比較發達的研究領域。通常考慮兩種不同的任務，分類旨在研究跨多類的不同特征，回歸旨在繪制準確的邊界框。然而，由于這兩個任務之間的巨大特征信息敏感性，TSD【Revisiting the sibling head in object detector】顯示存在空間特征錯位問題，并損害了基于NMS的模型預測高置信度分類和高質量回歸結果的能力。

對于空間錯位部分，研究者在同一實例中渲染了分類損失和回歸損失的空間分布。如上圖所示，兩個分布高度錯位。具有微小分類損失或回歸損失的點具有更好的特征可供這兩個分支分別利用。因此，兩個任務損失的高度錯位分布表明這兩個任務不喜歡相同空間位置的特征。

在這些分析下，為了解決尺度特征錯位問題，研究者為每個任務設計了一個任務驅動的動態感受野適配器，一個簡單但有效的形變卷積模塊。為了減輕空間特征錯位帶來的負面影響，設計了一種標簽分配方法，挖掘空間最對齊的樣本，以增強模型預測具有高分類分數的可靠回歸點的能力。

三、新框架

•  dynamic receptive filed adaptor

在現代one-stage檢測器的head，為了在兩個分支上獲得相同大小的特征圖，來自兩個分支的四個卷積操作的每一步共享完全相同的內核大小、striding和padding。每個分支的最終感受野由下式計算：

Rl是每個FPN級別饋送的初始特征圖的輸入圖像上的感受野，f(?)是關于跨四個連續卷積層的感受野的靜態計算方法。

值得注意的是，RFA模塊僅應用于檢測器head的第一步，具有兩個單獨的形變卷積，以增強每個分支對尺度信息的適應能力，并進一步減輕尺度錯位的差異。 它不同于直接將形變卷積應用于主干或neck，而不考慮兩個分支的不同感受野。 它也不同于VFNet和RepPoints，它們通過形變卷積合并兩個分支的信息。 在我們的例子中，每個分支都放寬了規模不匹配，因為我們根據詳細的特征信息使每個分支中的每個特征點具有不同的個體感受野。

形變卷積（Deformable Convolution）原理

形變卷積的實現方法如下圖所示：

offset field通過在原圖上進行標準卷積操作得到，通道數為2N表示N個2維的偏置量（△x，△y），N表示卷積核的個數即輸出特征層的通道數。

形變卷積過程可以描述為：首先在輸入feature map上進行標準卷積得到N個2維的偏置量（△x，△y），然后分別對輸入feature map上各個點的值進行修正：

設feature map為P，即P （ x ， y ） = P （ x + △ x ， y + △ y ），當x+△x為分數時，使用雙線性插值計算P（x+△x，y+△y）

形成N個feature map，然后使用N個卷積核一一對應進行卷積得到輸出。標準卷積與形變卷積的計算效果如下圖所示：

•  Aligned Spatial Points Assignment Procedur

給定每個實例Ii的尺度分配結果l?和l?中的候選點Cl?，新框架的任務是進一步挖掘Cl?中空間最對齊的點。每個候選點有兩個指標需要考慮：（1）考慮到兩個任務的整體適應度Sf；(2) 由空間上的未對準損失分布引起的未對準度Sm。

使用softmax函數將Lcls和Lreg分別重新分配到相同的可測標準中，這是由softmax函數單調且其輸出之和為一的優點給出的。對于未對齊的程度Sm，由于我們發現sigmoid函數可以高效地將變體輸入轉換為相當統一的輸出，因此將其定義如下：

四、實驗

COCO數據集上的比較

空間標簽分配的可視化。第一行分別顯示了兩個任務的輸入和損失分布。第二行的綠色十字是正分配點。