2023 年，Transformer 在 AI 大模型領(lǐng)域的統(tǒng)治地位被撼動了。發(fā)起挑戰(zhàn)的新架構(gòu)名叫「Mamba」，它是一種選擇性狀態(tài)空間模型（ selective state space model），在語言建模方面可以媲美甚至擊敗 Transformer。而且，它可以隨上下文長度的增加實現(xiàn)線性擴(kuò)展，其性能在實際數(shù)據(jù)中可提高到百萬 token 長度序列，并實現(xiàn) 5 倍的推理吞吐量提升。

在發(fā)布之后的一個多月里，Mamba 逐漸展現(xiàn)出自己的影響力，衍生出了 MoE-Mamba、Vision Mamba、VMamba、U-Mamba、MambaByte 等多項工作，在克服 Transformer 短板方面表現(xiàn)出了越來越大的潛力。

但這樣一顆冉冉升起的「新星」，卻在 2024 年的 ICLR 會議中遭遇了滑鐵盧。最新的公開結(jié)果顯示，Mamba 的論文至今還沒有被大會接收，我們只能在 Decision Pending（待定）一欄看到它的身影（可能是延遲決定，也可能是被拒）。

總體來看，給 Mamba 打分的總共有四位審稿人，他們分別給出了 8/8/6/3 的打分。有人表示，如果拿到這樣的分?jǐn)?shù)還被拒，那確實是一件很奇怪的事情。

要弄清其中的緣由，我們還得看一下打出低分的審稿人是怎么說的。

論文審稿頁面：https://openreview.net/forum?id=AL1fq05o7H

為什么「not good enough」？

在評審反饋中，給出「3: reject, not good enough」打分的審稿人解釋了自己對于 Mamba 的幾點意見：

對模型設(shè)計的想法：

• Mamba 的動機是解決遞歸模型的缺點，同時提高基于注意力模型的效率。有很多研究都是沿著這個方向進(jìn)行的：S4-diagonal [1]、SGConv [2]、MEGA [3]、SPADE [4]，以及許多高效的 Transformer 模型（如 [5]）。所有這些模型都達(dá)到了接近線性的復(fù)雜度，作者需要在模型性能和效率方面將 Mamba 與這些作品進(jìn)行比較。關(guān)于模型性能，一些簡單的實驗（如 Wikitext-103 的語言建模）就足夠了。
• 許多基于注意力的 Transformer 模型顯示出長度泛化能力，即模型可以在較短的序列長度上進(jìn)行訓(xùn)練，并在較長的序列長度上進(jìn)行測試。這方面的例子包括相對位置編碼（T5）和 Alibi [6]。由于 SSM 一般都是連續(xù)的，那么 Mamba 是否具有這種長度泛化能力呢？

對實驗的想法：

• 作者需要與更強的基線進(jìn)行比較。作者表示 H3 被用作模型架構(gòu)的動機，然而他們并沒有在實驗中與 H3 進(jìn)行比較。根據(jù) [7] 中的表 4，在 Pile 數(shù)據(jù)集上，H3 的 ppl 分別為 8.8（1.25 M）、7.1（3.55 M）和 6.0（1.3B），大大優(yōu)于 Mamba。作者需要展示與 H3 的比較。
• 對于預(yù)訓(xùn)練模型，作者只展示了零樣本推理的結(jié)果。這種設(shè)置相當(dāng)有限，結(jié)果不能很好地支持 Mamba 的有效性。我建議作者進(jìn)行更多的長序列實驗，比如文檔摘要，輸入序列自然會很長（例如，arXiv 數(shù)據(jù)集的平均序列長度大于 8k）。
• 作者聲稱其主要貢獻(xiàn)之一是長序列建模。作者應(yīng)該在 LRA（Long Range Arena）上與更多基線進(jìn)行比較，這基本上是長序列理解的標(biāo)準(zhǔn)基準(zhǔn)。
• 缺少內(nèi)存基準(zhǔn)。盡管第 4.5 節(jié)的標(biāo)題是「速度和內(nèi)存基準(zhǔn)」，但只介紹了速度比較。此外，作者應(yīng)提供圖 8 左側(cè)更詳細(xì)的設(shè)置，如模型層、模型大小、卷積細(xì)節(jié)等。作者能否提供一些直觀信息，說明為什么當(dāng)序列長度非常大時，F(xiàn)lashAttention 的速度最慢（圖 8 左）？

此外，另一位審稿人也指出 Mamba 存在的不足：該模型在訓(xùn)練過程中仍然像 Transformers 一樣具有二次內(nèi)存需求。

作者：已修改，求審閱

匯總所有審稿人的意見之后，作者團(tuán)隊也對論文內(nèi)容進(jìn)行了修改和完善，補充了新的實驗結(jié)果和分析：

• 增加了 H3 模型的評估結(jié)果

作者下載了大小為 125M-2.7B 參數(shù)的預(yù)訓(xùn)練 H3 模型，并進(jìn)行了一系列評估。Mamba 在所有語言評估中都明顯更勝一籌，值得注意的是，這些 H3 模型是使用二次注意力的混合模型，而作者僅使用線性時間 Mamba 層的純模型在各項指標(biāo)上都明顯更優(yōu)。

與預(yù)訓(xùn)練 H3 模型的評估對比如下：

• 將完全訓(xùn)練過的模型擴(kuò)展到更大的模型規(guī)模

如下圖所示，與根據(jù)相同 token 數(shù)（300B）訓(xùn)練的 3B 開源模型相比，Mamba 在每個評估結(jié)果上都更勝一籌。它甚至可以與 7B 規(guī)模的模型相媲美：當(dāng)將 Mamba（2.8B）與 OPT、Pythia 和 RWKV（7B）進(jìn)行比較時，Mamba 在每個基準(zhǔn)上都獲得了最佳平均分和最佳 / 次佳得分。

• 展示了超出訓(xùn)練長度的長度外推結(jié)果

作者附上了一張評估預(yù)訓(xùn)練 3B 參數(shù)語言模型長度外推的附圖：

圖中繪出了每個位置的平均損失（對數(shù)可讀性）。第一個 token 的困惑度很高，因為它沒有上下文，而 Mamba 和基線 Transformer（Pythia）的困惑度在訓(xùn)練上下文長度（2048）之前都有所提高。有趣的是，Mamba 的可解性在超過其訓(xùn)練上下文后有了顯著提高，最高可達(dá) 3000 左右的長度。

作者強調(diào)，長度外推并不是本文模型的直接動機，而是將其視為額外功能：

1. 這里的基線模型（Pythia）在訓(xùn)練時并沒有考慮長度外推法，或許還有其他 Transformer 變體更具通用性（例如 T5 或 Alibi 相對位置編碼）。
2. 沒有發(fā)現(xiàn)任何使用相對位置編碼在 Pile 上訓(xùn)練的開源 3B 模型，因此無法進(jìn)行這種比較。
3. Mamba 和 Pythia 一樣，在訓(xùn)練時沒有考慮長度外推法，因此不具有可比性。正如 Transformer 有很多技術(shù)（如不同的位置嵌入）來提高它們在長度概括等軸上的能力一樣，在未來的工作中，為類似的能力推導(dǎo)出 SSM 特有的技術(shù)可能會很有趣。

• 補充了 WikiText-103 的新結(jié)果

作者分析了多篇論文的結(jié)果，表明 Mamba 在 WikiText-103 上的表現(xiàn)明顯優(yōu)于其他 20 多個最新的次二次序列模型。

盡管如此，兩個月過去了，這篇論文還處于「Decision Pending」流程中，沒有得到「接收」或者「拒絕」的明確結(jié)果。

被頂會拒絕的那些論文

在各大 AI 頂會中，「投稿數(shù)量爆炸」都是一個令人頭疼的問題，所以精力有限的審稿人難免有看走眼的時候。這就導(dǎo)致歷史上出現(xiàn)了很多著名論文被頂會拒絕的情況，包括 YOLO、transformer XL、Dropout、支持向量機（SVM）、知識蒸餾、SIFT，還有 Google 搜索引擎的網(wǎng)頁排名算法 PageRank（參見：《大名鼎鼎的 YOLO、PageRank 影響力爆棚的研究，曾被 CS 頂會拒稿》）。

甚至，身為深度學(xué)習(xí)三巨頭之一的 Yann LeCun 也是經(jīng)常被拒的論文大戶。剛剛，他發(fā)推文說，自己被引 1887 次的論文「Deep Convolutional Networks on Graph-Structured Data」也被頂會拒絕了。

在 ICML 2022 期間，他甚至「投了三篇，被拒三篇」。

所以，論文被某個頂會拒絕并不代表沒有價值。在上述被拒的論文中，很多論文選擇了轉(zhuǎn)投其他會議，并最終被接收。因此，網(wǎng)友建議 Mamba 轉(zhuǎn)投陳丹琦等青年學(xué)者組建的 COLM。COLM 是一個專注于語言建模研究的學(xué)術(shù)場所，專注于理解、改進(jìn)和評論語言模型技術(shù)的發(fā)展，或許對于 Mamba 這類論文來說是更好的選擇。

不過，無論 Mamba 最終能否被 ICLR 接收，它都已經(jīng)成為一份頗具影響力的工作，也讓社區(qū)看到了沖破 Transformer 桎梏的希望，為超越傳統(tǒng) Transformer 模型的探索注入了新的活力。