Google Brain 的研究人員開源了他們最新的 AI 語言模型 Switch Transformer，包括 1.6 萬億個參數(shù)，相比上一代的 T5 模型，在精度相似的情況下訓練時間只要七分之一。

但 Google 并沒有開源預訓練的權值，而權值對于語言模型是至關重要，因此這一開源被認為打了折扣。權值代表 AI 模型模擬的人腦神經(jīng)元之間的連接強度，需要反復調整到輸出結果與正確答案相同。