AI胃口太大，人類(lèi)的語(yǔ)料數(shù)據(jù)已經(jīng)不夠吃了。

來(lái)自Epoch團(tuán)隊(duì)的一篇新論文表明，AI不出5年就會(huì)把所有高質(zhì)量語(yǔ)料用光。

要知道，這可是把人類(lèi)語(yǔ)言數(shù)據(jù)增長(zhǎng)率考慮在內(nèi)預(yù)測(cè)出的結(jié)果，換而言之，這幾年人類(lèi)新寫(xiě)的論文、新編的代碼，哪怕全都喂給AI也不夠。

照這么發(fā)展下去，依賴(lài)高質(zhì)量數(shù)據(jù)提升水平的語(yǔ)言大模型，很快就要迎來(lái)瓶頸。

已經(jīng)有網(wǎng)友坐不住了：

這太荒謬了。人類(lèi)無(wú)需閱讀互聯(lián)網(wǎng)所有內(nèi)容，就能高效訓(xùn)練自己。

我們需要更好的模型，而不是更多的數(shù)據(jù)。

還有網(wǎng)友調(diào)侃，都這樣了不如讓AI吃自己吐的東西：

可以把AI自己生成的文本當(dāng)成低質(zhì)量數(shù)據(jù)喂給AI。

讓我們來(lái)看看，人類(lèi)剩余的數(shù)據(jù)還有多少？

文本和圖像數(shù)據(jù)“存貨”如何？

論文主要針對(duì)文本和圖像兩類(lèi)數(shù)據(jù)進(jìn)行了預(yù)測(cè)。

首先是文本數(shù)據(jù)。

數(shù)據(jù)的質(zhì)量通常有好有壞，作者們根據(jù)現(xiàn)有大模型采用的數(shù)據(jù)類(lèi)型、以及其他數(shù)據(jù)，將可用文本數(shù)據(jù)分成了低質(zhì)量和高質(zhì)量?jī)刹糠帧?/p>

高質(zhì)量語(yǔ)料，參考了Pile、PaLM和MassiveText等大型語(yǔ)言模型所用的訓(xùn)練數(shù)據(jù)集，包括維基百科、新聞、GitHub上的代碼、出版書(shū)籍等。

低質(zhì)量語(yǔ)料，則來(lái)源于Reddit等社交媒體上的推文、以及非官方創(chuàng)作的同人小說(shuō)（fanfic）等。

根據(jù)統(tǒng)計(jì)，高質(zhì)量語(yǔ)言數(shù)據(jù)存量只剩下約4.6×10^12~1.7×10^13個(gè)單詞，相比當(dāng)前最大的文本數(shù)據(jù)集大了不到一個(gè)數(shù)量級(jí)。

結(jié)合增長(zhǎng)率，論文預(yù)測(cè)高質(zhì)量文本數(shù)據(jù)會(huì)在2023~2027年間被AI耗盡，預(yù)估節(jié)點(diǎn)在2026年左右。

看起來(lái)實(shí)在有點(diǎn)快……

當(dāng)然，可以再加上低質(zhì)量文本數(shù)據(jù)來(lái)救急。根據(jù)統(tǒng)計(jì)，目前文本數(shù)據(jù)整體存量還剩下7×10^13~7×10^16個(gè)單詞，比最大的數(shù)據(jù)集大1.5~4.5個(gè)數(shù)量級(jí)。

如果對(duì)數(shù)據(jù)質(zhì)量要求不高，那么AI會(huì)在2030年~2050年之間才用完所有文本數(shù)據(jù)。

再看看圖像數(shù)據(jù)，這里論文沒(méi)有區(qū)分圖像質(zhì)量。

目前最大的圖像數(shù)據(jù)集擁有3×10^9張圖片。

據(jù)統(tǒng)計(jì)，目前圖片總量約有8.11×10^12~2.3×10^13張，比最大的圖像數(shù)據(jù)集大出3~4個(gè)數(shù)量級(jí)。

論文預(yù)測(cè)AI會(huì)在2030~2070年間用完這些圖片。

顯然，大語(yǔ)言模型比圖像模型面臨著更緊張的“缺數(shù)據(jù)”情況。

那么這一結(jié)論是如何得出的呢？

計(jì)算網(wǎng)民日均發(fā)文量得出

論文從兩個(gè)角度，分別對(duì)文本圖像數(shù)據(jù)生成效率、以及訓(xùn)練數(shù)據(jù)集增長(zhǎng)情況進(jìn)行了分析。

值得注意的是，論文統(tǒng)計(jì)的不都是標(biāo)注數(shù)據(jù)，考慮到無(wú)監(jiān)督學(xué)習(xí)比較火熱，把未標(biāo)注數(shù)據(jù)也算進(jìn)去了。

以文本數(shù)據(jù)為例，大部分?jǐn)?shù)據(jù)會(huì)從社交平臺(tái)、博客和論壇生成。

為了估計(jì)文本數(shù)據(jù)生成速度，有三個(gè)因素需要考慮，即總?cè)丝凇⒒ヂ?lián)網(wǎng)普及率和互聯(lián)網(wǎng)用戶平均生成數(shù)據(jù)量。

例如，這是根據(jù)歷史人口數(shù)據(jù)和互聯(lián)網(wǎng)用戶數(shù)量，估計(jì)得到的未來(lái)人口和互聯(lián)網(wǎng)用戶增長(zhǎng)趨勢(shì)：

再結(jié)合用戶生成的平均數(shù)據(jù)量，就能計(jì)算出生成數(shù)據(jù)的速率。（由于地理和時(shí)間變化復(fù)雜，論文簡(jiǎn)化了用戶平均生成數(shù)據(jù)量計(jì)算方法）

根據(jù)這一方法，計(jì)算得出語(yǔ)言數(shù)據(jù)增長(zhǎng)率在7%左右，然而這一增長(zhǎng)率會(huì)隨著時(shí)間延長(zhǎng)逐漸下降。

預(yù)計(jì)到2100年，我們的語(yǔ)言數(shù)據(jù)增長(zhǎng)率會(huì)降低到1%。

同樣類(lèi)似的方法分析圖像數(shù)據(jù)，當(dāng)前增長(zhǎng)率在8%左右，然而到2100年圖像數(shù)據(jù)增長(zhǎng)率同樣會(huì)放緩至1%左右。

論文認(rèn)為，如果數(shù)據(jù)增長(zhǎng)率沒(méi)有大幅提高、或是出現(xiàn)新的數(shù)據(jù)來(lái)源，無(wú)論是靠高質(zhì)量數(shù)據(jù)訓(xùn)練的圖像還是文本大模型，都可能在某個(gè)階段迎來(lái)瓶頸期。

對(duì)此有網(wǎng)友調(diào)侃，未來(lái)或許會(huì)有像科幻故事情節(jié)一樣的事情發(fā)生：

人類(lèi)為了訓(xùn)練AI，啟動(dòng)大型文本生成項(xiàng)目，大家為了AI拼命寫(xiě)東西。

他稱(chēng)之為一種“對(duì)AI的教育”：

我們每年給AI送14萬(wàn)到260萬(wàn)單詞量的文本數(shù)據(jù)，聽(tīng)起來(lái)似乎比人類(lèi)當(dāng)電池要更酷？

你覺(jué)得呢？

論文地址：https://arxiv.org/abs/2211.04325

參考鏈接：https://twitter.com/emollick/status/1605756428941246466