最新GPT，不預(yù)測token了。

微軟亞研院等發(fā)布bGPT，仍舊基于Transformer，但是模型預(yù)測的是下一個字節(jié)（byte）。

通過直接處理原生二進制數(shù)據(jù)，bGPT將所有輸入內(nèi)容都視為字節(jié)序列，從而可以不受限于任何特定的格式或任務(wù)。

能預(yù)測CPU行為，準確率超過99.99%；還能直接模擬MIDI——一種音樂傳輸和存儲的標準格式。

研究團隊認為，傳統(tǒng)的深度學習往往忽視了字節(jié)——數(shù)字世界的構(gòu)建基石。

不論是信息的形式還是操作，都是通過二進制格式編碼和處理的。字節(jié)構(gòu)成了所有數(shù)據(jù)、設(shè)備和軟件的基礎(chǔ)，從計算機處理器到我們?nèi)粘Ｊ褂玫碾娮赢a(chǎn)品中的操作系統(tǒng)。

這篇論文的標題清晰地指出了其目標：

超越語言模型：將字節(jié)模型作為數(shù)字世界的模擬器。

模擬CPU行為準確率超99.99%

bGPT通過字節(jié)級處理，不僅能夠應(yīng)用于常規(guī)的AI生成和理解任務(wù)，還能處理更多非傳統(tǒng)應(yīng)用。

例如，它能夠直接模擬MIDI——一種音樂傳輸和存儲的標準格式，之前的研究由于MIDI的二進制本質(zhì)而避免了直接對這類數(shù)據(jù)的建模。

但bGPT天生適合此類任務(wù)。它能夠準確模擬符號音樂數(shù)據(jù)轉(zhuǎn)換算法，在將ABC記譜法轉(zhuǎn)換為MIDI格式時，達到極低的錯誤率（0.0011 BPB）。

在模擬CPU行為方面，bGPT展現(xiàn)出超過99.99%的準確率。這些實驗顯示了bGPT在處理原生二進制數(shù)據(jù)方面的強大能力和可擴展性。

bGPT還展示了在處理諸如文本、圖像和音頻傳統(tǒng)媒體文件的生成/分類任務(wù)上的潛力，而且不需要任何針對特定模態(tài)的定制。

研究團隊訓練了一個大約有100M參數(shù)的bGPT，根據(jù)論文中的實驗結(jié)果，bGPT可以與同樣規(guī)模的文本模型（GPT-2）、視覺模型（ViT）和音頻模型（AST）在各自的模態(tài)下有著可比的性能。

字節(jié)到塊策略：拓展序列建模長度

在處理數(shù)字數(shù)據(jù)時，bGPT代表了一次重要的進步。

因為字節(jié)的粒度非常細，處理的字節(jié)序列通常較長，這對基于Transformer的傳統(tǒng)模型來說是一個挑戰(zhàn)。由于自注意機制的復(fù)雜度是二次方的，處理長序列的效率和可擴展性受到了限制。

bGPT的研發(fā)團隊此前在音樂AI領(lǐng)域推出了CLaMP項目，并因此在ISMIR 2023上獲得了最佳學生論文獎。

基于這項成果，bGPT采取了一種“字節(jié)到塊（patch）”的轉(zhuǎn)化方法。這個方法不僅極大提升了數(shù)據(jù)處理效率，還讓長序列數(shù)據(jù)的處理和擴展變得更加簡便。

bGPT包含三個關(guān)鍵組成部分：

• 線性投影層：通過線性投影將每個字節(jié)塊轉(zhuǎn)化為密集向量表示，既保留了關(guān)鍵信息，又降低了維度。
• 塊級解碼器：順序處理塊的embeddings以預(yù)測下一個塊的特征，使用自回歸機制學習字節(jié)序列的整體結(jié)構(gòu)。
• 字節(jié)級解碼器：根據(jù)塊級解碼器的預(yù)測特征來預(yù)測每個塊內(nèi)的字節(jié)序列，這一過程獨立于每個塊進行，依據(jù)當前塊的特征表示。

bGPT提供了一種有前景的解決方案來應(yīng)對傳統(tǒng)模型在處理字節(jié)級數(shù)據(jù)時面臨的挑戰(zhàn)，顯著提高了處理大規(guī)模數(shù)字數(shù)據(jù)序列的效率和可擴展性。

拓寬邊界：bGPT與未來數(shù)字世界的無限潛力

盡管bGPT展現(xiàn)出巨大的潛力，但其也存在一定的局限性和改進空間。

目前，bGPT只能處理不超過8KB的數(shù)據(jù)序列，對于需要生成大量數(shù)據(jù)的現(xiàn)代應(yīng)用來說，這一容量顯然不夠。這一局限主要由于訓練和部署這類模型需要巨大的計算資源需求。

為了推進bGPT的實用性和適用范圍，未來的研究將專注于開發(fā)更高效的算法和利用硬件進步以降低計算成本，使bGPT能夠更加經(jīng)濟高效地處理更大規(guī)模的數(shù)據(jù)序列，從而拓寬其應(yīng)用前景。

在探討字節(jié)模型未來的話題中，來自世界各地的網(wǎng)友們已經(jīng)提出了一系列腦洞。

他們探討了在裸機上運行純粹的神經(jīng)網(wǎng)絡(luò)，以取代操作系統(tǒng)執(zhí)行命令的前景，或者利用網(wǎng)絡(luò)修剪和自我學習來優(yōu)化連接，使得超大規(guī)模網(wǎng)絡(luò)具備自我重構(gòu)的能力。

雖然實現(xiàn)這些目標需要時間，但bGPT有望實現(xiàn)將所有數(shù)據(jù)以字節(jié)形式輸入，通過超大規(guī)模自我重構(gòu)網(wǎng)絡(luò)處理后再以字節(jié)形式輸出的終極目標。

或許，在探索bGPT能力的邊界時，想象力才是唯一的限制。

長期來看，bGPT展示的字節(jié)模型在推動人工智能進步方面展現(xiàn)了兩大巨大潛能。

首先，它有望實現(xiàn)一個統(tǒng)一模型，將計算機中的所有數(shù)據(jù)整合起來，為實現(xiàn)真正的通用人工智能（AGI）邁出關(guān)鍵一步。

其次，bGPT推動了將AI作為操作系統(tǒng)（LLM OS）的概念，即利用這種字節(jié)模型作為核心，直接與文件、軟件及底層硬件數(shù)據(jù)進行深度交互。

這不僅與Andrej Karpathy的AI愿景不謀而合，更重要的是，它開啟了使用AI模擬數(shù)字世界各種層面的可能性——從精確模擬CPU操作到系統(tǒng)級軟件的行為模擬，bGPT的能力遠超傳統(tǒng)界限。通過這種方式，bGPT有望成為數(shù)字世界的全面模擬器，探索和理解從基礎(chǔ)硬件到復(fù)雜系統(tǒng)級軟件操作的每一個角落。

單憑對計算機文本數(shù)據(jù)的深入建模，我們已經(jīng)見證了ChatGPT如何引發(fā)社會的廣泛關(guān)注。

然而，文本數(shù)據(jù)在數(shù)字世界中海量數(shù)據(jù)的宏觀圖景里，不過只是冰山一角而已。想象一下，如果我們能夠利用計算機中存儲的所有形式的數(shù)據(jù)——無論是文本、圖像、音頻，還包括更復(fù)雜的二進制數(shù)據(jù)，乃至軟件、操作系統(tǒng)和硬件本身的信息——來訓練模型，能否創(chuàng)造出一個更加深入理解和精確模擬數(shù)字世界各個層面的模型？

bGPT的代碼和模型已開源，如果你對探索字節(jié)級模型感興趣，可以嘗試在自己的數(shù)據(jù)集上使用bGPT進行訓練，大膽探索它的潛能。

論文：https://arxiv.org/abs/2402.19155。
代碼：https://github.com/sanderwood/bgpt。
模型：https://huggingface.co/sander-wood/bgpt。
項目主頁：https://byte-gpt.github.io。