GPT4發(fā)布在即堪比人腦，多位圈內(nèi)大佬坐不住了！

作者：徐杰承 2022-11-25 14:24:27

Cerebras首席執(zhí)行官安德魯·費(fèi)爾德曼（Andrew Feldman）于近期表示，“通過(guò)與OpenAI的交談，GPT-4將有大約100萬(wàn)億個(gè)參數(shù)”。

?作者 | 徐杰承

審校 | 云昭?

?100萬(wàn)億，這個(gè)數(shù)字究竟有多大？假如你擁有每天都能中500萬(wàn)彩票的超能力，那么在不吃不喝存下所有錢(qián)的情況下，你還需要擁有約5500年的壽命，才能夠攢下100萬(wàn)億的財(cái)產(chǎn)。然而，今天想要和大家聊的這100萬(wàn)億，背后并不是“RMB”、“Dollor”這些令人垂涎的單位。這里的100萬(wàn)億，指的是由眾多硅谷科技大亨共同創(chuàng)立的人工智能研究公司OpenAI即將發(fā)布的第四代生成式預(yù)訓(xùn)練Transformer——GPT-4所擁有的參數(shù)量。

為了方便大家更加直觀的理解這個(gè)數(shù)據(jù)，我們可以用人腦與GPT-4進(jìn)行對(duì)比。一般情況下，一個(gè)正常人類的大腦約有800—1000億個(gè)神經(jīng)元，以及約100萬(wàn)億個(gè)突觸。而這些神經(jīng)元與突觸，幾乎直接控制著一個(gè)人百年人生中的所有思想、判斷及行為，而GPT-4擁有與人腦突觸一樣多的參數(shù)。那么，如此龐大規(guī)模的密集神經(jīng)網(wǎng)絡(luò)究竟具備著怎樣的潛力；GPT-4的出現(xiàn)將會(huì)給我們的帶來(lái)哪些驚喜；我們又是否已經(jīng)真的具備制造人腦的能力了呢？

在探索這些令人興奮的問(wèn)題之前，我們不妨先來(lái)了解一下GPT-4幾位“前輩”的發(fā)展歷史。

1、GPT：不鳴則已，一鳴驚人

首個(gè)GPT系列模型GPT-1誕生于2018年，也就是我們常說(shuō)的NLP預(yù)訓(xùn)練模型元年。GPT-1作為第一個(gè)基于Transformer的預(yù)訓(xùn)練模型，采取了預(yù)訓(xùn)練+FineTuning兩個(gè)階段，以Transformer的decoder作為特征抽取器，共堆疊12層，擁有1.1億參數(shù)，預(yù)訓(xùn)練階段則采用“單向語(yǔ)言模型”作為訓(xùn)練任務(wù)。

性能方面，GPT-1有著一定的泛化能力，能夠用于和監(jiān)督任務(wù)無(wú)關(guān)的NLP任務(wù)中。其常用任務(wù)包括：

自然語(yǔ)言推理：判斷兩個(gè)句子的關(guān)系（包含、矛盾、中立）
問(wèn)答與常識(shí)推理：輸入文章及若干答案，輸出答案的準(zhǔn)確率
語(yǔ)義相似度識(shí)別：判斷兩個(gè)句子語(yǔ)義是否相關(guān)
分類：判斷輸入文本是指定的哪個(gè)類別

雖然GPT-1在未經(jīng)調(diào)試的任務(wù)上有一些效果，但其泛化能力遠(yuǎn)低于經(jīng)過(guò)微調(diào)的有監(jiān)督任務(wù)，因此GPT-1只能算得上一個(gè)還算不錯(cuò)的語(yǔ)言理解工具而非對(duì)話式AI。

在GPT-1問(wèn)世一年之后，GPT-2也于2019年如期而至。相比于老大哥GPT-1，GPT-2并沒(méi)有對(duì)原有的網(wǎng)絡(luò)進(jìn)行過(guò)多的結(jié)構(gòu)創(chuàng)新與設(shè)計(jì)，只使用了更多的網(wǎng)絡(luò)參數(shù)與更大的數(shù)據(jù)集：最大模型共計(jì)48層，參數(shù)量達(dá)15億，學(xué)習(xí)目標(biāo)則使用無(wú)監(jiān)督預(yù)訓(xùn)練模型做有監(jiān)督任務(wù)。

圖源：推特

在性能方面，OpenAI的大力似乎真的帶來(lái)了一些奇跡。除了理解能力外，GPT-2在生成方面第一次表現(xiàn)出了強(qiáng)大的天賦：閱讀摘要、聊天、續(xù)寫(xiě)、編故事，甚至生成假新聞、釣魚(yú)郵件或在網(wǎng)上扮演他人通通不在話下。在“變得更大”之后，GPT-2的確展現(xiàn)出了一些列普適而強(qiáng)大的能力，并在多個(gè)特定的語(yǔ)言建模任務(wù)上實(shí)現(xiàn)了彼時(shí)的最佳性能。也難怪當(dāng)時(shí)OpenAI曾表示“GPT-2 was too dangerous to release”。

自GPT-2取得成功以來(lái)，OpenAI對(duì)“大力神教”的信仰愈發(fā)堅(jiān)定，2020年放出的GPT-3繼續(xù)沿用微創(chuàng)新、猛擴(kuò)大的發(fā)展思路。除了GPT-3中的Transformer應(yīng)用了Sparse結(jié)構(gòu)外，GPT-3與GPT-2的結(jié)構(gòu)幾乎沒(méi)有區(qū)別。而在“大力”方面，GPT-3的模型上到了96層，訓(xùn)練參數(shù)則是達(dá)到了1750億個(gè)（GPT-2的10倍以上）。

而GPT-3也再次證明了OpenAI的眼光，由于GPT-3更強(qiáng)的性能和明顯更多的參數(shù)，它包含了更多的主題文本，顯然優(yōu)于前代的GPT-2。作為目前最大的密集型神經(jīng)網(wǎng)絡(luò)，GPT-3能夠?qū)⒕W(wǎng)頁(yè)描述轉(zhuǎn)換為相應(yīng)代碼、模仿人類敘事、創(chuàng)作定制詩(shī)歌、生成游戲劇本，甚至模仿已故的各位哲學(xué)家——預(yù)測(cè)生命的真諦。且GPT-3不需要微調(diào)，在處理語(yǔ)法難題方面，它只需要一些輸出類型的樣本（少量學(xué)習(xí)）。可以說(shuō)GPT-3似乎已經(jīng)滿足了我們對(duì)于語(yǔ)言專家的一切想象。

2、全面通過(guò)圖靈測(cè)試學(xué)習(xí)和商用門(mén)檻降低

說(shuō)到這里，相信大家一定會(huì)有一個(gè)相同的疑問(wèn)——GPT-3已經(jīng)非常強(qiáng)大了，那么GPT-4還有哪些值得我們期待的地方呢？

眾所周知，測(cè)試一個(gè)AI系統(tǒng)智能性的最核心方式便是圖靈測(cè)試，在我們還無(wú)法用科學(xué)的可量化標(biāo)準(zhǔn)對(duì)人類智慧這一概念進(jìn)行定義時(shí)，圖靈測(cè)試是目前為數(shù)不多的、可行的、能夠確定對(duì)方是否具備人類智慧的測(cè)試方法。用一句諺語(yǔ)來(lái)說(shuō)：如果一個(gè)東西長(zhǎng)的像鴨子，走路像鴨子，叫起來(lái)像鴨子，那它就是鴨子。因此，如果AI系統(tǒng)能夠順利通過(guò)圖靈測(cè)試，那么就意味著這個(gè)系統(tǒng)已具備人類思維并有可能在某些方面替代人類。而根據(jù)韓國(guó)IT媒體報(bào)道，自11月中開(kāi)始，業(yè)界已經(jīng)傳出了GPT-4全面通過(guò)了圖靈測(cè)試的說(shuō)法。韓國(guó)Vodier AI公司高層南世東在日前接受韓國(guó)《經(jīng)濟(jì)新聞》采訪時(shí)表示：“雖然GPT-4通過(guò)圖靈測(cè)試的消息尚未正式確認(rèn)，但這個(gè)消息應(yīng)該相當(dāng)可信。”

技術(shù)人出身，現(xiàn)任OpenAI CEO的Sam Altman似乎也在其Twitter中證實(shí)了這個(gè)信息。Altman在11月10日模仿電影《星球大戰(zhàn)》中角色達(dá)斯維德的經(jīng)典臺(tái)詞，發(fā)出了一條推文：“不要為你制造的這種技術(shù)恐慌感到驕傲。通過(guò)圖靈測(cè)試的能力在‘原力’面前也無(wú)能為力”。

圖源：推特

一位AI初創(chuàng)公司的高管分析稱“如果GPT-4真的完美通過(guò)了圖靈測(cè)試，那么它的影響足以在AI界引發(fā)‘技術(shù)恐慌’，因此Altman才會(huì)借由達(dá)斯維德的角色來(lái)公布這個(gè)信息”。

如果GPT-4在沒(méi)有任何限制的情況下通過(guò)圖靈測(cè)試，這的確將會(huì)創(chuàng)造歷史。雖然此前一些AI模型也曾聲稱通過(guò)圖靈測(cè)試，但都未曾得到過(guò)AI業(yè)界的一致認(rèn)可。這是由于圖靈測(cè)試的標(biāo)準(zhǔn)和規(guī)則并不明確，因此許多模型都在測(cè)試中巧妙地利用了一些“盲點(diǎn)”。英國(guó)雷丁大學(xué)在2014年推出的AI模型“尤金”就是一個(gè)典型的例子，當(dāng)時(shí)雷丁大學(xué)對(duì)評(píng)委聲稱，該模型是一位13歲的烏克蘭男孩，因此當(dāng)算法無(wú)法給出很好的答案時(shí)，評(píng)委會(huì)認(rèn)為這是由于被測(cè)試者是外國(guó)兒童的緣故。

圖源：網(wǎng)絡(luò)

雖然圖靈測(cè)試并不是AI技術(shù)的絕對(duì)參考點(diǎn)，但作為迄今為止最久遠(yuǎn)、最廣為人知的AI技術(shù)測(cè)試，圖靈測(cè)試仍然有著很大的象征意義。如果GPT-4真的正式且肯定的通過(guò)了圖靈測(cè)試，那么它將極有可能創(chuàng)造迄今為止AI界最大的一座里程碑。

除此之外，與GPT-3不同的是，GPT-4將很有可能不僅只是一個(gè)語(yǔ)言模型。OpenAI首席科學(xué)家Ilya Sutskever曾在其撰寫(xiě)的多模態(tài)相關(guān)文章中暗示過(guò)這一點(diǎn)——“文字本身即可表達(dá)關(guān)于這個(gè)世界的大量信息，但畢竟是不完整的，因?yàn)槲覀円采钤谝曈X(jué)世界之中。”因此，業(yè)界部分專家認(rèn)為GPT-4將會(huì)是多模態(tài)的，可以接受音頻、文本、圖像甚至是視頻輸入，并預(yù)測(cè)OpenAI的Whisper的音頻數(shù)據(jù)集將用于創(chuàng)建GPT-4所需的文本數(shù)據(jù)。這也意味著GPT-4對(duì)于外界信息的接收與處理將不會(huì)再有任何局限性。

而工業(yè)界關(guān)注GPT-4的原因，則很有可能是由于GPT-4的實(shí)際商用門(mén)檻將比傳統(tǒng)GPT-3更低。此前由于巨額費(fèi)用和基礎(chǔ)設(shè)施原因而未能使用相關(guān)技術(shù)的企業(yè)也將有望使用GPT-4。目前GPT-4已進(jìn)入上市的最后階段，將于今年12月至明年2月期間發(fā)布。劍橋AI研究公司分析師Alberto Garcia通發(fā)表了博客并預(yù)測(cè)：“GPT-4將更專注于優(yōu)化數(shù)據(jù)處理，因此GPT-4的學(xué)習(xí)成本預(yù)計(jì)將低于GPT-3。GPT-4的每集學(xué)習(xí)成本將可能由GPT-3的數(shù)百萬(wàn)美元將至100萬(wàn)美元左右”。

3、殊途同歸：模擬人腦或來(lái)得更快

如果以上信息全部屬實(shí)，那么此刻我們可以預(yù)見(jiàn)，隨著GPT-4的發(fā)布，明年深度學(xué)習(xí)研究領(lǐng)域?qū)⒂瓉?lái)一輪新的熱潮；各個(gè)行業(yè)中將可能出現(xiàn)大量更加高級(jí)、更加自然且?guī)缀鯚o(wú)法辨別其身份真?zhèn)蔚牧奶旆?wù)機(jī)器人；在此基礎(chǔ)上，也將會(huì)有更多高質(zhì)量的個(gè)性化AI服務(wù)從不同的傳統(tǒng)業(yè)務(wù)中誕生；我們也將極有可能第一次實(shí)現(xiàn)與認(rèn)知智能的無(wú)障礙交流。

再說(shuō)回開(kāi)篇提到的制造人腦或者說(shuō)模擬人腦的問(wèn)題。據(jù)MIT的一項(xiàng)研究顯示，雖然GPT-3中的神經(jīng)網(wǎng)絡(luò)并沒(méi)有試圖直接模仿人類大腦，但GPT-3所呈現(xiàn)出的語(yǔ)言處理方式與人類大腦進(jìn)化過(guò)程所得到的解決方案存在一定的相似性，當(dāng)向模型輸入與測(cè)試人腦相同的刺激時(shí)，模型獲得了與人腦同類型的激活，且在40余種語(yǔ)言模型測(cè)試中，GPT-3幾乎做出了完美的推斷，這些模型的基本功能的確類似于人類大腦語(yǔ)言處理中心的功能。對(duì)此，斯坦福大學(xué)心理學(xué)和計(jì)算機(jī)科學(xué)助理教授Daniel Yamins也表示：“人工智能網(wǎng)絡(luò)并沒(méi)有直接模仿大腦，但最終看起來(lái)卻像大腦一樣，這在某種意義上表明，人工智能和自然之間似乎發(fā)生了某種趨同演化”。

圖源：網(wǎng)絡(luò)

由此可見(jiàn)，雖然GPT系列模型并沒(méi)有直接采用藍(lán)腦計(jì)劃項(xiàng)目中的模擬大腦結(jié)構(gòu)的設(shè)計(jì)思路，但其呈現(xiàn)出的效果似乎比藍(lán)腦計(jì)劃項(xiàng)目更加接近我們的期望。因此，如果這一研究方向真的切實(shí)可行，且GPT-4能夠在GPT-3的基礎(chǔ)上實(shí)現(xiàn)某些方面的跨越性突破，那么我們距離模擬人腦的部分功能的目標(biāo)將更進(jìn)一大步。

最后，我想引用OpenAI CEO Sam Altman近期在Twitter上發(fā)表的一段文字作為結(jié)尾，而這段話也得到了“硅谷鋼鐵俠”Elon Musk的認(rèn)可——“通用人工智能的建立會(huì)比大多數(shù)人想象的更快，并且它會(huì)通過(guò)很長(zhǎng)的時(shí)間來(lái)‘改變’大多數(shù)人想象中的一切”。