熱衷于寫博客的前谷歌科學家Yi Tay近日坐飛機太無聊，又撰寫了一篇深度文章，探討了當下很多人關心的一個話題——LLM時代模型架構的此消彼長和風云變幻。

他上一篇自述創業辛酸史的博文就引發了業界的廣泛關注，獲得了Karpathy的轉贊。

這次Yi Tay試圖解開在新的LLM時代里正在發生的所有事情，關于「BERT和T5發生了什么」？也關于Transformer encoder、PrefixLM和去噪目標的興衰。

博客地址：https://www.yitay.net/blog/model-architecture-blogpost-encoders-prefixlm-denoising

為何encoder-only模型「風光不再」？為何BERT這么強，卻不能「scale it」？

置身其中，很難看見事情的全貌。對于這些讓業內人士都撓頭的問題，Yi Tay分享了自己的觀察和思考。

而且Yi Tay還表示，這只是系列博客文章的第一彈，后續還可以期待他關于「LLM時代的模型架構」這一話題的更多內容。

決定開始一個新博客系列的更新，內容關于LLM時代的模型架構。

下面是第1部分，內容涉及Transformer Encoders/Encoder-Decoders、PrefixLM和去噪目標等更廣泛的架構。??

許多人會問的一個問題是， 「大約5年多前從事語言和NLP研究的人都在撓頭，不知道encoder模型都去哪兒了。如果BERT效果這么好，為什么不擴大它的規模？」

另外，encoder-decoder或純encoder模型怎么了？去噪目標好嗎？

我在這篇博文中分享了我的想法。

Yi Tay頗有LLM時代的「說書人」之姿，他在博客中簡明扼要地梳理了過去幾年中模型架構的發展脈絡，并提出了自己的洞見。

背景

為了方便沒那么貼近技術的人閱讀，Yi Tay先交代了一下故事發生的背景。

在過去的幾年里，模型架構主要有三種重要范式。

encoder-only模型（例如BERT）、encoder-decoder模型（例如T5）和decoder-only模型（例如GPT系列）。

可是人們對這種劃分感到很困惑，并且存在著大量的誤解，所以這正是Yi Tay寫作這篇博文的目的，他希望能夠幫助大家建立更加清晰的理解。

首先要明確的一點是，encoder-decoder模型實際上仍然是自回歸模型。encoder-decoder模型中的decoder無論從字面上還是從其本質上看，仍然是一個因果decoder。

文本會先被傳遞到encoder，然后通過交叉注意力機制發送到decoder，而不是預先填充decoder模型。

因此，T5模型也是語言模型！

它的一個變體是Prefix語言模型，或者說是PrefixLM架構，它們做的事情幾乎一樣，除了交叉注意力機制這一點不同之外。（以及其他一些小細節，如encoder/decoder之間共享權重，以及不存在encoder瓶頸）

PrefixLM有時也被稱為非因果decoder。簡而言之，encoder-decoder、encoder-only和PrefixLM之間并沒有那么不同！

如果對于這一點，你還是心存疑慮，Yi Tay還給出了一個參考資料——Hyung Won今年4月在斯坦福的精彩演講，他對這些模型之間的關系進行了巧妙的解釋。

演講地址：https://www.youtube.com/watch?v=orDKvo8h71o

與此同時，諸如BERT這樣的encoder-only模型的去噪方式是不同的（即in-place），并且在一定程度上依賴于額外添加的「任務頭」，以便用預訓練后的基礎模型執行各種操作。

BERT的去噪目標后來也被應用于T5等模型，不過進行了一定修改，采用序列到序列的格式。

說到這里，值得注意的是，T5中的去噪本身并不完全是一個新的目標函數（在機器學習的意義上），而是一種跨輸入的數據轉換，也就是說，你也可以在因果decoder中span corruption目標來訓練！

人們總是認為encoder-decoder模型必須是去噪模型，形成這種錯覺的部分原因是T5模型過于具有代表性。

然而，事實并非總是如此。

你可以用常規的語言建模任務（即CLM）來訓練encoder-decoder，也可以用span corruption任務來訓練因果decoder。

正如前面所說的，這主要是一種數據轉換。

還需要注意的是，一般來說，2N個參數的encoder-decoder與N個參數的decoder-only模型具有相同的計算成本，因此他們的的FLOP/參數比不同。

基于對以上背景情況的了解，我們現在就進入正文了——

關于去噪目標（它沒用嗎？它不能擴展嗎？是不是太簡單了？）

開宗明義，Yi Tay所說的去噪目標（denoising objective）指的是span corruption的任何變體。

有時也被稱之為infilling，或者是fill in the blank，表達方式有多種（還有span length、randomness、sentinel tokens等），只要你明白，它們都是一個意思就好。

雖然BERT風格模型中的去噪目標大多是in-place，但稍微更現代的方法是「T5 風格」，也就是由encoder/-ecoder或decoder-only模型處理的數據轉換。

在這種數據轉換中，掩碼token只是被「移到后面」，供模型進行預測。

預訓練的主要目標是構建有用的內部表征，以最高效和最有效的方式與下游任務對齊。

內部表征越好，就越容易將這些學習到的表征用于以后有用的事情。

眾所周知，簡單的使用next token預測的「因果語言建模」（causal language modeling，CLM）目標就能很好地做到這一點，并且已成為LLM革命的基礎。現在的問題是去噪目標是否同樣好。

從公開的信息來看，我們知道T5-11B即使在對齊/SFT后也能很好地工作（Flan-T5 XXL的MMLU分數為55+，對于當時這種規模的模型來說已經相當不錯了）。

因此，我們可以得出一些結論：去噪目標從預訓練到對齊的能力遷移，能夠支持模型在11B這個規模上較好地工作。

Yi Tay的看法是，去噪目標很棒，但作為一個獨立的目標還遠遠不夠。

我們可以將其缺點形容為「損失曝光」（loss exposure）較少。在去噪目標中，只有少量token被掩碼并用于學習過程（即更新損失值）。

相反，在常規語言建模中，token利用率接近100%。

去噪目標的這個特點使得每FLOP的采樣效率相當低，因此在基于FLOP的比較中處于非常不利的地位。

另一個缺點是去噪目標比常規語言建模更不自然，因為它以一種奇怪的方式重新格式化輸入/輸出，這使得它們對于少樣本學習來說有點尷尬。（盡管如此，仍然可以對這些模型進行調整，使其在少樣本任務上表現得相當不錯）

因此，Yi Tay認為去噪目標幾乎只能用作常規語言建模的補充，而非獨立的訓練目標。

統一的早期以及xBERT滅絕的原因

類BERT模型的逐步淘汰是一個有趣的階段，但如今沒有多少人談論這個階段，這很微妙。

這也可以解釋為什么我們不再看到任何超大型BERT模型在運行。原因是什么？

這主要是任務/建模范式的統一和轉變的問題。

BERT風格的模型很笨拙，但它們真正被棄用，是因為大家希望用一個模型完成所有任務，因此引入了一種更好的去噪方法——使用自回歸模型。

2018年至2021年期間，出現了從單任務微調到大規模多任務模型的隱蔽的范式轉變。

所有人的注意力被慢慢吸引到統一的SFT模型上，這也是我們今天看到的統一的通用模型。

用BERT來做到這一點實在是太難了。

然而，BERT的這種「笨拙」與「去噪」任務并沒有太大關聯。如果你依舊想使用這類模型，完全可以用另一種方式表達「降噪」任務（如T5）.

因此，BERT風格的模型在這這個時間點幾乎被棄用，因為有一個嚴格更好的替代方案出現了。

更具體地說，encoder-decoder和decoder-only模型能夠同時表達多個任務，而不需要用于特定任務的分類頭。

同時，研究人員和工程師們發現，對于encoder-decoder模型，如果干脆拔掉encoder只留下decoder，其性能和BERT的encoder也一樣有競爭力。

不僅如此，只留下decoder還保留了使BERT在小規模（通常是生產規模）任務中優于GPT模型的雙向注意力優勢。

去噪目標的價值

與常規語言建模的方式類似，去噪預訓練目標也會學習預測下一個單詞。

不過，與常規CLM不同的是，后者會對序列進行數據轉換，從而學會 「填空」（fill in the blanks），而不是簡單地預測從左到右自然出現的文本。

值得注意的是，去噪目標有時也稱為「填充任務」（infilling tasks），有時會與常規的語言建模任務混在一起進行預訓練。

雖然具體的配置和實施細節可能各不相同，但今天的LLM可能會在某種程度上結合使用語言建模和填充。

而且，有趣的是，語言建模和填充的混合似乎是在同一時期傳播開來的（例如 UL2、FIM、GLM、CM3），許多團隊都以某種方式帶來了自己的混合「風味」。

順便提一句，以這種方式訓練的最大的、有公開披露和報告的模型應該是是PaLM-2。

值得注意的是，混合訓練不一定要同時混合，而是可以按順序堆疊。

例如，Flan-T5最初在1Tspan corruption token上進行訓練，然后在指令微調之前切換到100B  token的前綴語言建模任務上。

在某種程度上，這可以說是去噪/語言建模目標混合模型。

Yi Tay還分享了一個非官方的經驗：去噪目標學習的表征在某些類別的任務中表現更佳，有時會以更有效的方式進行采樣。

以此目標訓練的微調模型通常會產生更好的SFT模型，尤其是在較小規模的情況下。

說到單任務微調，我們可以看到PaLM-1 62B模型被更小的T5打敗了。

雙向注意力+去噪目標在相對較小的范圍內就能發揮出巨大的作用！相信現在很多從業者也看到了這種情況，尤其是在生產中。

encoder/decoder架構的優缺點

與常規的decoder-only模型相比，encoder-decoder架構實際上有一些優點。

encoder側不受因果掩碼的限制，在某種程度上，你可以通過積極的池化或任何形式的線性注意來瘋狂地堆疊注意力層，而不必擔心自回歸設計的限制。

這是一種將不太重要的「上下文」傳遞到encoder的好方法。你還可以讓encoder變得更小，這也很不錯。

Charformer中的一個例子說明了encoder-decoder架構的必要性，我們可以在encoder上大做文章，減輕在字節級別進行編碼時的速度缺陷。

但同時，encoder-decoder與PrefixLM相比的一個缺點是，輸入和目標必須有固定的分配長度。

例如，如果預定的輸入長度是1024個token，encoder側就必須填充到這個值，這就可能造成大量的計算浪費。

相反，在 PrefixLM 中，輸入和目標可以直接連接起來，從而緩解了這一問題。

與當今模型的相關性和關鍵要點

無論是從模型架構角度還是從預訓練的角度來看，要想成為一名稱職的LLM研究者和從業人員，利用歸納偏差進行推理的能力都是必不可少的。而了解不同模型架構之間基本的細微差別有助于未來的不斷創新。

Yi Tay分享了他的主要收獲：

• encoder-decoder和decoder-only模型都是自回歸模型，但在實現層面上存在差異，各有利弊。它們的歸納偏差有微妙的不同，最佳用法實際上取決于下游用例和相當多的應用限制。對于大多數LLM應用和小眾用例而言，BERT風格的encoder-only模型大多已被視為過時。
• 去噪目標主要是CLM的補充，作為預訓練中的「輔助目標」，通常會帶來些許幫助。雖然這種情況經常發生在代碼模型中（即代碼填充），但在今天的通用模型中，使用帶有某些去噪目標的CLM進行預訓練的情況并不少見（盡管這不是必選項）。
• 雙向注意力機制在較小的尺度上有很大幫助，但在較大規模的模型上通常只是一種選擇。Yi Tay認為雙向注意力有一種歸納偏差，就像Transformer架構中許多其他類型的修改一樣。

最后，總結一下，我們沒有看到任何成功擴展的xBERT：BERT模型已被棄用，轉而采用更靈活的去噪（自回歸）T5 模型。

這主要是由于范式的統一，大家希望使用通用模型，而不是特定任務模型。

與此同時，自回歸去噪有時也會作為附帶的訓練目標，被折疊到CLM中

作者介紹

Yi Tay目前是AI初創公司Reka的聯合創始人兼首席科學家。Reka致力于構建最先進的生成式模型并推進人工智能研究。

在此之前，他是谷歌大腦的高級研究科學家，從事LLM和AI相關工作，還曾擔任Google Research美國研究團隊的技術主管，致力于Transformer擴展和架構。

服務谷歌期間，Yi Tay為大約20個產品發布做出了貢獻。

在Yi Tay擔任谷歌研究科學家期間，他發表的大部分作品都圍繞著Transformer展開，尤其是與效率、可擴展性和架構研究相關的內容。

除了喜歡寫博客之外，Yi Tay還愛好古典樂，他說，「如果我沒有成為一名研究員，我也許會想成為一名職業音樂家」。有趣的是，他確實獲得過相關文憑。

期待Yi Tay能再次乘坐長途飛機，這樣就又能夠看到他更新博客了。