首個通用雙向Adapter多模態目標追蹤方法BAT，入選AAAI 2024
目標跟蹤是計算機視覺的一項基礎視覺任務，由于計算機視覺的快速發展，單模態 (RGB) 目標跟蹤近年來取得了重大進展。考慮到單一成像傳感器的局限性，我們需要引入多模態圖像 (RGB、紅外等) 來彌補這一缺陷，以實現復雜環境下全天候目標跟蹤。
然而，現有的多模態跟蹤任務也面臨兩個主要問題：
- 由于多模態目標跟蹤的數據標注成本高，大多數現有數據集規模有限，不足以支持構建有效的多模態跟蹤器；
- 因為不同的成像方式在變化的環境中對物體的敏感度不同，開放世界中主導模態是動態變化的，多模態數據之間的主導相關性并不固定。
在 RGB 序列上進行預訓練，然后以完全微調的方式轉移到多模態場景的許多多模態跟蹤工作存在時間昂貴和效率低下的問題，同時表現出有限的性能。
除了完全微調方法之外，受自然語言處理 (NLP) 領域參數高效微調方法成功的啟發，一些最近的方法通過凍結骨干網絡參數并附加一組額外可學習的參數，將參數高效 prompt 微調引入到多模態跟蹤中。
這些方法通常以一種模態 (通常是 RGB) 為主導模態，另一種模態作為輔助模態。然而，這些方法忽略了多模態數據的動態主導相關性，難以在如圖 1 所示的復雜場景中充分利用互補的多模態信息，從而限制了跟蹤性能。
圖 1：復雜場景下不同的主導模態。
為了解決上述問題，來自天津大學的研究人員設計出了一種雙向 adapter 用于多模態跟蹤 (BAT)。與在主導模態中添加輔助模態信息作為提示以增強基礎模型在下游任務中的表示能力的方法 (通常使用 RGB 作為主要模態) 不同，該方法沒有預設固定的主導模態 - 輔助模態，而是在輔助模態向主導模態變化的過程中動態提取有效信息。
BAT 由兩個共享參數的特定于模態分支的基礎模型編碼器和一個通用的雙向 adapter 組成。在訓練過程中，BAT 沒有對基礎模型進行完全的微調，每個特定的模態分支由具有固定參數的基礎模型初始化，僅訓練新增的雙向 adapter。每個模態分支從其他模態中學習提示信息，與當前模態的特征信息相結合，增強表征能力。兩個特定模態的分支通過通用雙向 adapter 執行交互，在多模態非固定關聯范式中動態地相互融合主導輔助信息。
通用雙向 adapter 具有輕量級沙漏結構，它可以嵌入到基礎模型的每一層 transformer 編碼器中，而不需要引入大量的可學習參數。通過添加少量的訓練參數 (0.32M)，BAT 與全微調方法和基于提示學習的方法相比具有更低的訓練成本，獲得了更好的跟蹤性能。
論文《Bi-directional Adapter for Multi-modal Tracking》：
論文鏈接：https://arxiv.org/abs/2312.10611
代碼鏈接：https://github.com/SparkTempest/BAT
主要貢獻
- 我們首先提出了一個基于 adapter 的多模態跟蹤視覺提示框架。我們的模型能夠感知開放場景中主導模態的動態變化，以自適應的方式有效融合多模態信息。
- 據我們所知，我們首次為基礎模型提出了一個通用的雙向 adapter。它結構簡單、高效，能有效地實現多模態交叉提示跟蹤。通過僅添加 0.32M 可學習參數，我們的模型可以魯棒應對開放場景下的多模態跟蹤。
- 我們深入分析了我們的通用 adapter 在不同層深的影響。我們還在實驗中探索了更高效的 adapter 架構，并驗證了我們在多個 RGBT 跟蹤相關數據集上的優勢。
核心方法
如圖 2 所示，我們提出了一個基于雙向 Adapter 的多模態追蹤視覺提示框架 (BAT)，框架具有 RGB 模態和熱紅外模態的雙流編碼器結構，每個流使用相同的基礎模型參數。雙向 Adapter 與雙流編碼器層并行設置，從兩個模態相互交叉提示多模態數據。
方法沒有對基礎模型進行完全的微調，僅通過學習輕量級雙向 Adapter，將預先訓練好的 RGB 追蹤器高效地轉移到多模態場景中，實現了出色的多模態互補性和卓越的追蹤精度。
圖 2：BAT 的總體架構。
首先將每種模態的
模板幀（第一幀中目標物體的初始框
）和
搜索幀（后續追蹤圖像）轉換為 
，將它們拼接在一起分別傳遞給 N 層雙流 transformer 編碼器。
雙向 adapter 與雙流編碼器層并行設置，可以學習從一種模態到另一種模態的特征提示。為此，將兩個分支的輸出特征相加并輸入到預測頭 H 中，得到最終的跟蹤結果框 B。
雙向 adapter 采用模塊化設計，分別嵌入到多頭自注意力階段和 MLP 階段，如圖 1 右側所示雙向 adapter 的詳細結構，其設計用于將特征提示從一種模態轉移到另一種模態。它由三個線性投影層組成，tn 表示每個模態的 token 個數，輸入 token 首先通過下投影被降維為 de 并通過一個線性投影層，然后向上投影到原始維度 dt 并作為特征提示反饋到其他模態的 transformer 編碼器層。
通過這種簡單的結構，雙向 adapter 可以有效地在 
模態之間進行特征提示，實現多模態跟蹤。
由于凍結了 transformer 編碼器和預測頭，因此只需要優化新增 adapter 的參數。值得注意的是，與大多數傳統 adapter 不同，我們的雙向 adapter 是作為動態變化的主導模態的跨模態特征提示而發揮作用的，確保了開放世界中良好的跟蹤性能。
實驗效果
如表 1 所示，在 RGBT234 和 LasHeR 兩個數據集上的對比表明我們在的方法在準確率和成功率上均優于最先進的方法。如圖 3 所示，在 LasHeR 數據集的不同場景屬性下，與最先進方法的性能比較也證明了所提出方法的優越性。
這些實驗充分證明了我們的雙流追蹤框架與雙向 Adapter 成功地追蹤了大多數復雜環境中的目標，并自適應地從動態變化的主導 - 輔助模態中提取有效信息，達到了最先進的性能。
表 1 RGBT234 和 LasHeR 數據集上的整體性能。
圖 3 LasHeR 數據集中不同屬性下 BAT 和競爭方法的比較。
實驗證明我們在復雜場景中從不斷變化的主導 - 輔助模式中動態提示有效信息的有效性。如圖 4 所示，與固定主導模態的相關方法相比，我們的方法即使在 RGB 完全不可用的情況下也能有效地追蹤目標，當 RGB 和 TIR 在后續場景中都能提供有效的信息時，追蹤效果要好得多。我們的雙向 Adapter 從 RGB 和 IR 模態中動態提取目標的有效特征，捕獲更準確的目標響應位置，并消除 RGB 模態的干擾。
圖 4 跟蹤結果的可視化。
我們同樣在 RGBE 追蹤數據集上評估了我們的方法。如圖 5 所示，在 VisEvent 測試集上與其他方法相比，我們的方法在不同復雜場景下的追蹤結果最為準確，證明了我們的 BAT 模型的有效性和泛化性。
圖 5 VisEvent 數據集下追蹤結果。
圖 6 attention 權重可視化。
我們在圖 6 中可視化了不同層跟蹤目標的注意力權重。與 baseline-dual (基礎模型參數初始化的雙流框架) 方法相比，我們的 BAT 有效地驅動輔助模態向主導模態學習更多的互補信息，同時隨著網絡深度的增加保持主導模態的有效性，從而提高了整體跟蹤性能。
實驗表明，BAT 成功地捕獲了多模態互補信息，實現了樣本自適應動態跟蹤。
