萬(wàn)引大神: 機(jī)器學(xué)習(xí)不存在了
微軟總部研究院機(jī)器學(xué)習(xí)理論組負(fù)責(zé)人萬(wàn)引大神Sébastien Bubeck聯(lián)手2023新視野數(shù)學(xué)獎(jiǎng)得主Ronen Eldan、2023新晉斯隆研究獎(jiǎng)得主李遠(yuǎn)志、2020斯隆研究獎(jiǎng)得主Yin Tat Lee等人，在其論文《通用人工智能的火花：GPT-4早期實(shí)驗(yàn)》中申明：“GPT-4可被視作AGI （人工通用智能）的早期版本”。這項(xiàng)研究最近30天關(guān)注度極高，眾多大佬爭(zhēng)相轉(zhuǎn)發(fā)。
大神們做了非常專業(yè)的評(píng)測(cè)，雖然最后結(jié)論措辭偏向保守，但也實(shí)實(shí)在在認(rèn)定了GPT4在AGI方向質(zhì)的飛躍，同時(shí)也印證了筆者的剛剛接觸ChatGPT時(shí)候的判斷：??ChatGPT是第一個(gè)真正意義的人工通用智能 。??
GPT-4展示了在推理、問(wèn)題解決和語(yǔ)言能力方面的巨大提升。標(biāo)志著人工智能的一個(gè)“相變”，并加速進(jìn)步。為此微軟研究院制作了一系列播客，AI科學(xué)家兼工程師Ashley Llorens與他的同事對(duì)話，探討現(xiàn)在及未來(lái)的這類新模型，對(duì)人們創(chuàng)造、理解和部署人工智能，在醫(yī)療保健和教育等領(lǐng)域的應(yīng)用，以及最終其造福人類意味著什么。第一集節(jié)目就邀請(qǐng)了Sebastien Bubeck，探討這篇論文中的發(fā)現(xiàn)，內(nèi)容詳見文末“原文鏈接”-- AI前沿：Sébastien Bubeck解析AI物理學(xué)。
其中筆者對(duì)下面這段高度關(guān)注，Bubeck宣稱傳統(tǒng)機(jī)器學(xué)習(xí)已經(jīng)不存在了，他和他的團(tuán)隊(duì)全面轉(zhuǎn)向 AI 物理學(xué)。與筆者近期的幾篇文章的觀點(diǎn)不謀而合。研究大模型的機(jī)理，微軟研究院有得天獨(dú)厚的資源優(yōu)勢(shì)，應(yīng)該也可以看到GPT的模型內(nèi)部，期待他們落地的有價(jià)值的發(fā)現(xiàn)，而不是像筆者能做的僅僅是理論上的推演。
*********************************
Ashley Llorens: 我想回到你早些時(shí)候提到的自然進(jìn)化與人工進(jìn)化的概念。我認(rèn)為這開始暗示了你想要將這個(gè)領(lǐng)域帶到哪里的方向，至少在你的研究和團(tuán)隊(duì)方面。那就是，關(guān)注涌現(xiàn)的方面以及智能如何涌現(xiàn)。那么，從這一點(diǎn)出發(fā)，從你剛才描述的與 Lego 的合作中，你和這個(gè)領(lǐng)域的未來(lái)會(huì)朝著什么方向發(fā)展呢？
Sebastien Bubeck：是的，絕對(duì)。因此，我認(rèn)為或許我們需要為機(jī)器學(xué)習(xí)取一個(gè)新的名字。GPT-4和GPT-3以及其他所有大型語(yǔ)言模型，在某種程度上，已經(jīng)不再是機(jī)器學(xué)習(xí)了。我的意思是，機(jī)器學(xué)習(xí)的全部意義在于如何教機(jī)器完成一個(gè)非常明確定義的任務(wù)？比如識(shí)別貓和狗。但在這里，這并不是我們所做的。我們不是在試圖教它一個(gè)狹窄的任務(wù)。我們?cè)噲D教它所有事情。我們也不是在模仿人類學(xué)習(xí)的方式。這是另一個(gè)困惑的地方。有些人說(shuō)，哦，但它正在學(xué)習(xí)語(yǔ)言，但是使用比任何人類都要多的標(biāo)簽。
但這有點(diǎn)錯(cuò)了。問(wèn)題在于我們不是在模仿人類的學(xué)習(xí)。這就是為什么學(xué)習(xí)也許不再是正確的詞語(yǔ)了。我們真正試圖模仿的是一些類似于進(jìn)化的東西。我們?cè)噲D模仿數(shù)以億計(jì)的實(shí)體與世界互動(dòng)的經(jīng)驗(yàn)。在這種情況下，世界就是人類生產(chǎn)的數(shù)據(jù)。
因此，這是一種非常不同的風(fēng)格。我認(rèn)為我們?cè)跈C(jī)器學(xué)習(xí)中引入的所有工具在GPT-4的光芒下幾乎無(wú)用且不相關(guān)，因?yàn)檫@是一個(gè)新領(lǐng)域。這是需要新工具來(lái)定義的東西。因此，我們希望處于這一領(lǐng)域的前沿，我們想引入這些新工具。
當(dāng)然，我們不知道它會(huì)是什么樣子，但我們嘗試研究的方法是嘗試?yán)斫狻坝楷F(xiàn)現(xiàn)象”。因此，“涌現(xiàn)現(xiàn)象”是指當(dāng)您擴(kuò)大網(wǎng)絡(luò)和數(shù)據(jù)時(shí)，每個(gè)規(guī)模都會(huì)出現(xiàn)新屬性的現(xiàn)象。Google進(jìn)行了一個(gè)實(shí)驗(yàn)，將其大型語(yǔ)言模型從80億擴(kuò)展到600億到5000億。
在80億時(shí)，它能夠理解語(yǔ)言。在600億時(shí)，突然間它能夠翻譯不同的語(yǔ)言。之前它無(wú)法翻譯。在5000億時(shí)，它突然能夠解釋笑話。為什么它突然能夠解釋笑話？
因此，我們真的希望理解這一點(diǎn)。還有另一個(gè)領(lǐng)域長(zhǎng)期以來(lái)一直在研究“涌現(xiàn)現(xiàn)象”，即我們?cè)噲D研究非常復(fù)雜的粒子相互作用的系統(tǒng)，以及導(dǎo)致某些涌現(xiàn)行為的系統(tǒng)。
這是什么領(lǐng)域？這是物理學(xué)。因此，我們想要提出的建議是，讓我們研究人工智能的物理學(xué)或者通用人工智能的物理學(xué)，因?yàn)閺哪撤N意義上講，我們現(xiàn)在真正看到的是這種通用智能。那么，研究通用人工智能的物理學(xué)意味著什么？它的意思是，讓我們?cè)囍梃b物理學(xué)家過(guò)去幾個(gè)世紀(jì)用來(lái)理解現(xiàn)實(shí)的方法論。
那么，這些工具是什么呢？其中之一是運(yùn)行非常受控的實(shí)驗(yàn)。如果你看看瀑布，觀察流動(dòng)的水，水朝著各種方向流動(dòng)，然后在冬天去看，水都結(jié)冰了。光憑看瀑布，GPT-4或LAMDA或者Flash語(yǔ)言模型是很難理解水相的。這些都是瀑布。我們需要更小尺度的非常受控的實(shí)驗(yàn)，確保我們有純凈的水，它沒有被石頭或者藻類污染。我們需要這些受控的實(shí)驗(yàn)來(lái)理解它。樂(lè)高積木就是一個(gè)例子。這是我們想要走的一個(gè)方向。但在物理學(xué)中，還有另一個(gè)方向，就是建立真實(shí)世界的玩具數(shù)學(xué)模型。
你試著將許多東西抽象出來(lái)，最終留下一個(gè)非常簡(jiǎn)單的數(shù)學(xué)方程，你可以對(duì)其進(jìn)行研究。然后你必須回到實(shí)驗(yàn)中去，看看玩具數(shù)學(xué)模型的預(yù)測(cè)是否告訴你一些關(guān)于真實(shí)實(shí)驗(yàn)的東西。所以這是我們想要走的另一個(gè)途徑。最近我們還與微軟研究院的實(shí)習(xí)生取得了一些進(jìn)展。
我們有一篇論文，名為“學(xué)習(xí)閾值單元”。在這里，我們真正能夠理解最基本的元素，我不想說(shuō)智能，但是在這些神經(jīng)網(wǎng)絡(luò)中推理最基本的元素是如何出現(xiàn)的。這個(gè)最基本的推理元素是什么？它是一個(gè)閾值單元。它是一個(gè)接受某些值作為輸入的東西。如果這個(gè)值太小，它就把它變成零。這種出現(xiàn)已經(jīng)是一個(gè)非常復(fù)雜的現(xiàn)象了。我們能夠理解這種非凸動(dòng)力學(xué)，以及與之相關(guān)的穩(wěn)定邊緣，這都是非常令人興奮的。但關(guān)鍵是，我們有一個(gè)玩具數(shù)學(xué)模型，在本質(zhì)上我們能夠說(shuō)出現(xiàn)與訓(xùn)練不穩(wěn)定性有關(guān)，這非常令人驚訝，因?yàn)橥ǔＴ趥鹘y(tǒng)的機(jī)器學(xué)習(xí)中，不穩(wěn)定性是你不想要的東西，你想要消除所有的不穩(wěn)定性。通過(guò)這種AI物理學(xué)方法，我們有一個(gè)玩具數(shù)學(xué)模型，我們能夠說(shuō)實(shí)際上訓(xùn)練中的不穩(wěn)定性，每個(gè)人在幾十年來(lái)都看到的，實(shí)際上對(duì)學(xué)習(xí)和出現(xiàn)很重要。所以這是我們采取的第一步。
