LeCun預言AGI:大模型和強化學習都是斜道!我的「世界模型」才是新路
AI界當代最著名巨擘之一、Meta的AI實驗室靈魂人物Yann LeCun,長期致力于讓機器對世界的運轉理念有基礎了解,也就是讓AI獲得常識。LeCun過去的做法,是用視頻選段訓練神經網絡,讓AI逐個像素地預測日?;顒右曨l下一幀將會出現啥。不出人意料地,他自己承認這途徑撞上了鐵板。在數月到一年半之間的思考后,LeCun對下一代AI有了新的想法。
AI新路徑
在《MIT科技評論》的采訪中,LeCun勾勒出他的新研究路徑,稱如此會給機器賦予探索世界的常識基礎。對LeCun而言,這就是打造AGI(通用人工智能)的第一步。能像人一樣思考的機器,在AI業界誕生時就是指導性愿景,同時也是爭議最大的理念之一。
不過LeCun的新路徑或許還很不完備,引來的疑問可能比獲得的答案還要多。最大的疑問在于,LeCun自己承認了他還不知道如何造出自己所描述的那種AI。此路徑的核心是個能以與之前不同方法審視、學習真實世界的神經網絡。LeCun終于放棄了讓AI逐個像素猜下一幀視頻,只讓新的神經網絡學會完成任務必備的關鍵知識。
然后LeCun打算將這個神經網絡與另一個被稱為「配置器」的神經網絡配對?!概渲闷鳌箤9軟Q定哪些細節是主神經網絡必須學會的、并照此來自動調節主系統。對LeCun來說,AGI是人類與未來科技互動的不可或缺部分。當然此展望和他押注全副身家搞元宇宙的東家Meta公司不謀而合。
LeCun說,在10-15年間,取代現在智能手機地位的將是AR眼鏡。AR眼鏡上就必備能輔助人類日?;顒拥奶摂M智能助手。如果這些助手要起最大作用,那必然或多或少要跟得上人腦智能才行。
「世界模型」是AGI核心
LeCun最近熱衷的「世界模型」,按他說就是大多數動物大腦的基礎運轉模式:為真實世界跑個模擬。動物從嬰兒期開始就用預估-試錯方法來發育智能。幼孩們通過觀察真實世界的運動與挫折,在生命的前幾個月就發育出了智能的基礎。
觀察一個小球掉個幾百次,普通嬰兒就算沒上過基礎物理課、學過牛頓三定律,也對重力的存在與運作有基礎認知。所以這種直覺性/默會性推理,被常人稱作「常識」。人類就是通過常識來認知真實世界的大多數可能未來與不可能幻想,來預見自己的行為后果并據此做出決策。如此的人智既不需要像素級精確細節,也不需要完備的物理學參數庫。就算有人沒有視力、或者是個文盲,一樣可以正常發揮智能。
但教機器學會常識就很難。當下的神經網絡要被展示數千次示例后,才能開始模糊發現內含規律模式。LeCun表示,智能的基礎是預測即刻未來的常識能力。不過在放棄讓AI逐像素預測后,LeCun表示要換個思路。LeCun打了個比方:想象下你捏根鋼筆懸空放手,常識告訴你這根鋼筆必然會墜落,但掉落的精確位置則不在人智預測范圍內。按過去的AI開發模式,AI要跑復雜的物理學模型,來預測鋼筆是否會墜落、同時求得墜落的精確位置。
現在LeCun努力讓AI只預測出鋼筆會墜落的常識結論,至于精確位置不在求解范圍內。LeCun說這就是「世界模型」的基本模式。
LeCun表示他已經造出了可以完成基礎客體識別的「世界模型」早期版本,現在在致力于訓練它學會上述常識性預測。
不過「配置器」在此中的功用,LeCun說自己還沒搞明白。LeCun想象中的「配置器」AI,是整個AGI系統的控制元件。它將要決定「世界模型」在任何時刻需要做出何等常識性預測、并調適「世界模型」為此該處理的細節數據。LeCun現在堅信「配置器」必不可少,但不知道怎么訓練一個神經網絡來做到這效果。
「我們需要摸索出可行的技術清單來,而這個清單現在還不存在。」在LeCun的愿景中,「配置器」和「世界模型」是未來AGI基礎認知架構的兩大核心部分,在此之上才能發展出感知世界的認知模型、驅使AI調整行為的激勵模型等等。LeCun稱,如此神經網絡就能做到每部分都在成功模擬人腦。比如「配置器」和「世界模型」起了前額葉的作用,激勵模型是AI的杏仁體,等等。
認知架構、不同層面細節的預測模型,這些都是多年來業界中既有的一派觀點。不過當深度學習成為AI業界主流后,很多此類老點子就顯得過時?,F在LeCun重拾傳統智慧:「AI研究界把這些東西忘掉好多了?!?/span>
大模型和強化學習都是死路
之所以重走舊路,是因為LeCun堅信現在的業界主流路徑已經走進死胡同。關于如何做出AGI來,現在AI業界有兩種主流觀點。
一是很多研究者堅信到搞出烏龍的路徑:就像OpenAI家的GPT系列和DALL-E系列那樣,模型越大越好,大到超過臨界點,AI就覺醒人智了。
二是強化學習:不斷地試錯,并按試錯結果獎懲AI。這是DeepMind家做各種棋牌AI、游戲AI的路數。這種路徑的信徒認為,只要獎勵激勵設定對頭,強化學習終將造出真正AGI。
Lecun表示在座的兩種人都是垃圾:「無限擴張現有大語言模型的量級,最后就能做出人類水平的AI?這種荒唐論調,我一秒鐘都沒信過。這些模型就只能單純捯飭各種文本與圖像數據,完全沒有真實世界的直接體驗?!埂笍娀瘜W習要用巨量數據才能訓練模型執行最簡單任務,我不認為這種辦法有機會做出AGI來?!?/span>
業內人對LeCun的觀點有支持也有反對。如果LeCun的愿景實現,AI將會成為不亞于互聯網的下一代基礎高性能技術。但他的聲張并不包括自家模型的性能、激勵機制、控制機制等等。不過這些缺陷都是小事,因為不管褒貶,業內人士一致認為要面臨這些短板還是久遠以后的事。因為即使LeCun也沒法在當下馬上做出AGI來。
Lecun自己也表示承認此形勢,他稱自己只希望為新的理論路徑播種、讓后來者于此基礎上建構出成果。「達到此目標,需要太多人付出太多努力。我現在提出這些,只是因為我認為這條路才是最終的正路。」就算做不到這點,LeCun也希望說服同行不要單單死盯著大模型和強化學習,最好打開思路?!肝矣憛捒吹酱蠹依速M時間?!?/span>
業界反應:褒貶皆有
另外一名AI界泰斗、與LeCun交情好的Yoshua Bengio表示樂見老友圓夢。「Yann說這些已經說了有日子了,不過看到他整全性地把各種言說歸納到一處,我還是蠻高興的。然而這些只是研究方向申請而非結果呈報,大家通常只在私底下分享這些,公開聊的風險挺大。」
DeepMind里牽頭開發游戲AI AlphaZero的David Silver不贊成LeCun對自己項目的批評,不過歡迎他實現愿景。
「LeCun描述的世界模型的確是個令人興奮的新點子。」加州圣菲研究所的Melanie Mitchell則贊成LeCun:「業界真的不常在深度學習社群里看到這種觀點。但大語言模型真的既缺記憶,又沒有能擔綱的內在世界模型骨干。」
谷歌大腦的Natasha Jaques不同意:「大家已經看到大語言模型極具效率,也混雜了相當多人類知識。沒語言模型,我怎么升級LeCun提出的這個世界模型?就算人類學習,途徑也不止親身經歷,還包括口口相傳。」