視頻理解的核心目標(biāo)在于對時空表示的把握，這存在兩個巨大挑戰(zhàn)：短視頻片段存在大量時空冗余和復(fù)雜的時空依賴關(guān)系。盡管曾經(jīng)占主導(dǎo)地位的三維卷積神經(jīng)網(wǎng)絡(luò) (CNN) 和視頻 Transformer 通過利用局部卷積或長距離注意力有效地應(yīng)對其中之一的挑戰(zhàn)，但它們在同時解決這兩個挑戰(zhàn)方面存在不足。UniFormer 試圖整合這兩種方法的優(yōu)勢，但它在建模長視頻方面存在困難。

S4、RWKV 和 RetNet 等低成本方案在自然語言處理領(lǐng)域的出現(xiàn)，為視覺模型開辟了新的途徑。Mamba 憑借其選擇性狀態(tài)空間模型 (SSM) 脫穎而出，實現(xiàn)了在保持線性復(fù)雜性的同時促進(jìn)長期動態(tài)建模的平衡。這種創(chuàng)新推動了它在視覺任務(wù)中的應(yīng)用，正如 Vision Mamba 和 VMamba 所證實的那樣，它們利用多方向 SSM 來增強(qiáng)二維圖像處理。這些模型在性能上與基于注意力的架構(gòu)相媲美，同時顯著減少了內(nèi)存使用量。

鑒于視頻產(chǎn)生的序列本身更長，一個自然的問題是：Mamba 能否很好地用于視頻理解？

受 Mamba 啟發(fā)，本文引入了 VideoMamba 專為視頻理解量身定制的純 SSM (選擇性狀態(tài)空間模型)。VideoMamba 以 Vanilla ViT 的風(fēng)格，將卷積和注意力的優(yōu)勢融合在一起。它提供一種線性復(fù)雜度的方法，用于動態(tài)時空背景建模，非常適合高分辨率的長視頻。相關(guān)評估聚焦于 VideoMamba 的四個關(guān)鍵能力：

在視覺領(lǐng)域的可擴(kuò)展性：本文對 VideoMamba 的可擴(kuò)展性進(jìn)行了檢驗，發(fā)現(xiàn)純 Mamba 模型在不斷擴(kuò)展時往往容易過擬合，本文引入一種簡單而有效的自蒸餾策略，使得隨著模型和輸入尺寸的增加，VideoMamba 能夠在不需要大規(guī)模數(shù)據(jù)集預(yù)訓(xùn)練的情況下實現(xiàn)顯著的性能增強(qiáng)。

對短期動作識別的敏感性：本文的分析擴(kuò)展到評估 VideoMamba 準(zhǔn)確區(qū)分短期動作的能力，特別是那些具有細(xì)微動作差異的動作，如打開和關(guān)閉。研究結(jié)果顯示，VideoMamba 在現(xiàn)有基于注意力的模型上表現(xiàn)出了優(yōu)異的性能。更重要的是，它還適用于掩碼建模，進(jìn)一步增強(qiáng)了其時間敏感性。

在長視頻理解方面的優(yōu)越性：本文評估了 VideoMamba 在解釋長視頻方面的能力。通過端到端訓(xùn)練，它展示了與傳統(tǒng)基于特征的方法相比的顯著優(yōu)勢。值得注意的是，VideoMamba 在 64 幀視頻中的運行速度比 TimeSformer 快 6 倍，并且對 GPU 內(nèi)存需求減少了 40 倍 (如圖 1 所示)。

與其他模態(tài)的兼容性：最后，本文評估了 VideoMamba 與其他模態(tài)的適應(yīng)性。在視頻文本檢索中的結(jié)果顯示，與 ViT 相比，其性能得到了改善，特別是在具有復(fù)雜情景的長視頻中。這凸顯了其魯棒性和多模態(tài)整合能力。

本文的深入實驗揭示了 VideoMamba 在理解短期 (K400 和 SthSthV2) 和長期 (Breakfast，COIN 和 LVU) 視頻內(nèi)容方面的巨大潛力。鑒于其高效性和有效性，VideoMamba 注定將成為長視頻理解領(lǐng)域的重要基石。所有代碼和模型均已開源，以促進(jìn)未來的研究努力。

• 論文地址：https://arxiv.org/pdf/2403.06977.pdf
• 項目地址：https://github.com/OpenGVLab/VideoMamba
• 論文標(biāo)題：VideoMamba: State Space Model for Efficient Video Understanding

方法介紹

下圖 2a 顯示了 Mamba 模塊的細(xì)節(jié)。

圖 3 說明了 VideoMamba 的整體框架。本文首先使用 3D 卷積 (即 1×16×16) 將輸入視頻 Xv ∈ R 3×T ×H×W 投影到 L 個非重疊的時空補(bǔ)丁 Xp ∈ R L×C，其中 L=t×h×w (t=T,h= H 16, 和 w= W 16)。輸入到接下來的 VideoMamba 編碼器的 token 序列是

時空掃描：為了將 B-Mamba 層應(yīng)用于時空輸入，本文圖 4 中將原始的 2D 掃描擴(kuò)展為不同的雙向 3D 掃描：

(a) 空間優(yōu)先，通過位置組織空間 token，然后逐幀堆疊它們；

(b) 時間優(yōu)先，根據(jù)幀排列時間 token，然后沿空間維度堆疊；

(c) 時空混合，既有空間優(yōu)先又有時間優(yōu)先，其中 v1 執(zhí)行其中的一半，v2 執(zhí)行全部 (2 倍計算量)。

圖 7a 中的實驗表明，空間優(yōu)先的雙向掃描是最有效但最簡單的。由于 Mamba 的線性復(fù)雜度，本文的 VideoMamba 能夠高效地處理高分辨率的長視頻。

對于 B-Mamba 層中的 SSM，本文采用與 Mamba 相同的默認(rèn)超參數(shù)設(shè)置，將狀態(tài)維度和擴(kuò)展比例分別設(shè)置為 16 和 2。參照 ViT 的做法，本文調(diào)整了深度和嵌入維度，以創(chuàng)建與表 1 中相當(dāng)大小的模型，包括 VideoMamba-Ti，VideoMamba-S 和 VideoMamba-M。然而實驗中觀察到較大的 VideoMamba 在實驗中往往容易過擬合，導(dǎo)致像圖 6a 所示的次優(yōu)性能。這種過擬合問題不僅存在于本文提出的模型中，也存在于 VMamba 中，其中 VMamba-B 的最佳性能是在總訓(xùn)練周期的四分之三時達(dá)到的。為了對抗較大 Mamba 模型的過擬合問題，本文引入了一種有效的自蒸餾策略，該策略使用較小且訓(xùn)練良好的模型作為「教師」，來引導(dǎo)較大的「學(xué)生」模型的訓(xùn)練。如圖 6a 所示的結(jié)果表明，這種策略導(dǎo)致了預(yù)期的更好的收斂性。

關(guān)于掩碼策略，本文提出了不同的行掩碼技術(shù)，如圖 5 所示，專門針對 B-Mamba 塊對連續(xù) token 的偏好。

實驗

表 2 展示了在 ImageNet-1K 數(shù)據(jù)集上的結(jié)果。值得注意的是，VideoMamba-M 在性能上顯著優(yōu)于其他各向同性架構(gòu)，與 ConvNeXt-B 相比提高了 + 0.8%，與 DeiT-B 相比提高了 + 2.0%，同時使用的參數(shù)更少。VideoMamba-M 在針對增強(qiáng)性能采用分層特征的非各向同性主干結(jié)構(gòu)中也表現(xiàn)出色。鑒于 Mamba 在處理長序列方面的效率，本文通過增加分辨率進(jìn)一步提高了性能，僅使用 74M 參數(shù)就實現(xiàn)了 84.0% 的 top-1 準(zhǔn)確率。

表 3 和表 4 列出了短期視頻數(shù)據(jù)集上的結(jié)果。(a) 監(jiān)督學(xué)習(xí)：與純注意力方法相比，基于 SSM 的 VideoMamba-M 獲得了明顯的優(yōu)勢，在與場景相關(guān)的 K400 和與時間相關(guān)的 Sth-SthV2 數(shù)據(jù)集上分別比 ViViT-L 高出 + 2.0% 和 + 3.0%。這種改進(jìn)伴隨著顯著降低的計算需求和更少的預(yù)訓(xùn)練數(shù)據(jù)。VideoMamba-M 的結(jié)果與 SOTA UniFormer 不相上下，后者在非各向同性結(jié)構(gòu)中巧妙地將卷積與注意力進(jìn)行了整合。(b) 自監(jiān)督學(xué)習(xí)：在掩碼預(yù)訓(xùn)練下，VideoMamba 的性能超越了以其精細(xì)動作技能而聞名的 VideoMAE。這一成就突顯了本文基于純 SSM 的模型在高效有效地理解短期視頻方面的潛力，強(qiáng)調(diào)了它適用于監(jiān)督學(xué)習(xí)和自監(jiān)督學(xué)習(xí)范式的特點。

如圖 1 所示，VideoMamba 的線性復(fù)雜度使其非常適合用于與長時長視頻的端到端訓(xùn)練。表 6 和表 7 中的比較突顯了 VideoMamba 在這些任務(wù)中相對于傳統(tǒng)基于特征的方法的簡單性和有效性。它帶來了顯著的性能提升，即使在模型尺寸較小的情況下也能實現(xiàn) SOTA 結(jié)果。VideoMamba-Ti 相對于使用 Swin-B 特征的 ViS4mer 表現(xiàn)出了顯著的 + 6.1% 的增長，并且相對于 Turbo 的多模態(tài)對齊方法也有 + 3.0% 的提升。值得注意的是，結(jié)果強(qiáng)調(diào)了針對長期任務(wù)的規(guī)?；Ｐ秃蛶瑪?shù)的積極影響。在 LVU 提出的多樣化且具有挑戰(zhàn)性的九項任務(wù)中，本文采用端到端方式對 VideoMamba-Ti 進(jìn)行微調(diào)，取得了與當(dāng)前 SOTA 方法相當(dāng)或優(yōu)秀的結(jié)果。這些成果不僅突顯了 VideoMamba 的有效性，也展示了它在未來長視頻理解方面的巨大潛力。

如表 8 所示，在相同的預(yù)訓(xùn)練語料庫和類似的訓(xùn)練策略下，VideoMamba 在零樣本視頻檢索性能上優(yōu)于基于 ViT 的 UMT。這突顯了 Mamba 在處理多模態(tài)視頻任務(wù)中與 ViT 相比具有可比較的效率和可擴(kuò)展性。值得注意的是，對于具有更長視頻長度 (例如 ANet 和 DiDeMo) 和更復(fù)雜場景 (例如 LSMDC) 的數(shù)據(jù)集，VideoMamba 表現(xiàn)出了顯著的改進(jìn)。這表明了 Mamba 在具有挑戰(zhàn)性的多模態(tài)環(huán)境中，甚至在需求跨模態(tài)對齊的情況下的能力。

更多研究細(xì)節(jié)，可參考原論文。