Segment Anything Model 2（SAM 2）在傳統視頻目標分割任務大放異彩，引起了眾多關注。然而，港中文和上海 AI Lab 的研究團隊發現 SAM 2 的貪婪選擇策略容易陷入「錯誤累積」的問題，即一次錯誤的分割掩碼選擇將影響后續幀的分割結果，導致整個視頻分割性能的下降。這個問題在長視頻分割任務中顯得更加嚴重。

針對這些挑戰，該研究團隊近日推出了全新的 SAM2Long。在 Segment Anything Model 2（SAM 2）的基礎上，提出了創新的記憶結構設計，打造了專為復雜長視頻的分割模型。

• 論文鏈接：https://mark12ding.github.io/project/SAM2Long/asset/images/paper.pdf
• 項目鏈接：https://mark12ding.github.io/project/SAM2Long/
• 代碼鏈接：https://github.com/Mark12Ding/SAM2Long

SAM2Long 采用了一種全新的多路徑記憶樹結構，使得模型可以在每一幀處理時探索多種可能的分割路徑，并根據綜合得分選擇最佳路徑進行后續幀的分割。這種設計避免了單一錯誤掩碼對整個視頻的影響，使得 SAM2Long 在處理遮擋、目標重現等長視頻常見問題時表現得更加穩健。

定性和定量對比 SAM 2 和 SAM2Long 處理遮擋和長時間的性能。

SAM2Long 方法簡述

1. SAM 2 的基礎概述

SAM 2 是一種用于圖像和視頻對象分割的基礎模型。與 SAM 不同，SAM 2 引入了一個內存模塊，該模塊利用先前幀的信息和提示幀特征來幫助當前幀的分割。在視頻對象分割任務中，SAM 2 會在每個時間步 t 上維護一個內存庫，存儲最近 N 幀的特征。每個內存條目包含空間嵌入和對象指針，通過這些信息，SAM 2 能夠生成當前幀的分割掩碼，并預測掩碼的 IoU 分數和遮擋分數。SAM 2 采用貪婪選擇策略，選擇最高 IoU 的掩碼作為最終預測，并存儲其對應的內存指針。

2. 多路徑記憶樹結構與不確定性處理

為了提高 SAM 2 在長視頻中的魯棒性，SAM2Long 引入了多路徑記憶樹結構。該結構允許模型在每個時間步上保留多個分割路徑假設，每條路徑都有獨立的內存庫和累積得分。每個時間步上，SAM2 的掩碼解碼器在每條路徑會生成三個掩碼候選。

為了防止路徑數量過多引起計算和內存開銷過高，SAM2Long 實施了剪枝策略。我們計算每個掩碼累積 IoU 得分，只保留得分最高的 P 條路徑。

此外，SAM2Long 在處理不確定場景時，利用遮擋分數進行不確定性處理。當所有路徑的遮擋分數都較低時，意味著模型對輸出的結果不確定。在這種情況下，SAM2Long 會強制選擇不同 IoU 值的掩碼路徑，以避免錯誤路徑的過早收斂。

相比 SAM 2，SAM2Long 增加了額外的計算需求，主要體現在掩碼解碼器和內存模塊的多次處理上。然而，這些模塊相較于圖像編碼器來說非常輕量。例如，SAM 2-Large 的圖像編碼器包含 212M 個參數，而模型其余的參數只有 12M，大約僅占模型的 5%。

因為 SAM2Long 也只需要處理一次圖像編碼器，所以內存樹結構的引入幾乎不會增加顯著的計算成本，但卻顯著提高了模型在長時間視頻場景中的魯棒性和對錯誤的恢復能力。

3. 物體感知的記憶庫構建

在每條路徑中，SAM2Long 使用物體感知的內存選擇策略，通過篩選出具有較高 IoU 分數和沒有遮擋的幀，只將高質量的有物體的幀加入記憶內存庫。

此外，SAM2Long 對每個內存幀的遮擋分數進行排序，遮擋分數越高，表示該幀中的目標對象越清晰、遮擋越少。為了充分利用這些高質量的幀，SAM2Long 通過以下幾個步驟來調整每個內存幀在注意力計算中的權重。

首先，定義一組線性分布的標準權重，用于對內存中的幀進行加權。這些權重在一個預定義的范圍 [w_low, w_high] 之間線性分布，較高的權重將分配給那些重要的內存幀。

然后，對每個內存幀的遮擋分數進行排序，得到一個按遮擋分數從低到高排列的幀索引序列。根據遮擋分數的排序結果，將標準權重分配給對應的內存幀，遮擋分數越高的幀用越大的權重線性縮放該幀的特征表示。

最后，使用經過加權調整的內存幀作為輸入，進行跨幀的注意力計算。這樣，遮擋分數高的幀（表示對象存在且分割質量高）會對當前幀的分割結果產生更大的影響。

實驗結果

SAM2Long 在所有模型規模優于 SAM 2

我們對 SAM 2 和 SAM2Long 在不同模型規模和多個數據集上的表現進行了詳細對比。在 SA-V 驗證集和測試集以及 LVOS v2 驗證集上的實驗結果顯示，SAM2Long 無論在何種模型規模下，均顯著超越了 SAM 2。表中共包含了 8 種模型變體，涵蓋了 SAM 2 和最新的 SAM 2.1 在四種模型規模下的表現。24 次實驗的平均結果表明，SAM2Long 在 J&F 指標上平均提高了 3.0 分。

其中，SAM2Long-Large 在 SA-V 驗證集和測試集上，分別比 SAM 2 提升了 4.5 和 5.3 分。在 LVOS 驗證集上，各個模型規模下的 SAM2Long 也都展示了顯著的性能提升。此結果證明了我們的無訓練內存樹策略在長時間視頻分割中的高效性，大大提升了模型在長視頻對象分割中的魯棒性。

SAM2Long 超越現有方法，實現 SOTA

我們還將 SAM2Long 與當前最先進的視頻對象分割方法進行了對比。盡管 SAM 2.1 已經在眾多數據集上顯著超越了現有方法，但 SAM2.1Long 將這一成績推向了更高的水平。特別是在 SA-V 驗證集上，SAM2.1Long 的 J&F 得分為 81.1，較 SAM 2.1 提升了 2.5 分。在 LVOS 數據集中，SAM2.1Long 在 v1 和 v2 子集上分別達到了 83.4 和 85.9 的 J&F 得分，分別比 SAM 2.1 提升了 3.2 和 1.8 分。

SAM2Long 在應對不同挑戰的視頻時展現了強大的通用性

除了在 SA-V 和 LVOS 數據集上的出色表現外，我們還在其他視頻對象分割基準測試上對 SAM2Long 進行了評估。在復雜的現實場景 MOSE 數據集上，SAM2.1Long 的 J&F 得分為 75.2，超越了 SAM 2.1 的 74.5 分。特別是在 MOSE 基準上，SAM 2.1-Large 并未相較 SAM 2-Large 帶來性能提升，因此 SAM2.1Long 在該基準上取得的顯著改進顯得尤為突出。

同樣，在關注對象變形的 VOST 數據集上，SAM2.1Long 的 J&F 得分為 54.0，較 SAM 2.1 提升了接近 1 分。而在 PUMaVOS 數據集上，SAM2.1Long 也以 82.4 分超越了 SAM 2.1 的 81.1 分，證明了其在處理復雜和模糊分割任務時的強大能力。

這些結果表明，SAM2Long 在保留 SAM 2 基礎分割能力的同時，顯著增強了其長時間視頻場景下的表現，展現了其在不同 VOS 基準數據集上的魯棒性和通用性。

結語

SAM2Long 是基于 SAM 2 的一種針對長時間視頻對象分割任務的全新方法。通過引入多路徑記憶樹結構和不確定性處理機制，SAM2Long 有效地解決了長視頻中遮擋、對象重現和錯誤累積等挑戰。

實驗結果表明，SAM2Long 在多個主流數據集上顯著提升了分割精度，尤其是在未見類別和復雜場景中的表現尤為突出。相比于 SAM 2，SAM2Long 不僅保持了較低的計算開銷，還在泛化能力和魯棒性上實現了突破。

未來，我們相信 SAM2Long 可以廣泛應用于各種實際場景，如自動駕駛、視頻編輯和智能監控，推動視頻對象分割技術的進一步發展。