LeCun最新演講，公開表示：

今年諾貝爾獎頒給AI，是諾獎委員會感到壓力的結果，需要承認深度學習的影響。

但物理獎頒給Hinton和Hopefield，獲獎成果玻爾茲曼機和Hopefield網絡現在完全無用。

言語間不乏調侃“化學獎塞不下更多人，所以只能選了物理”，“Hopefield是生物物理學家，Hinton的模型以物理學家命名，勉強合理”。

臺下觀眾也蚌埠住了，爆發陣陣笑聲。

眾所周知，今年的諾貝爾物理學獎頒給了機器學習先驅Hopfield、Hinton，前者因其“提出了Hopfield神經網絡，以相當于物理學中自旋系統能量的方式進行描述”，后者因其“提出的玻爾茲曼機，使用了統計物理學中的工具”。

有人把視頻發在了X上，網友看到LeCun此番發言一時間炸開了鍋。

有人覺得LeCun這是酸了。

也有人認為LeCun說的不無道理。

具體怎么回事？

最近，LeCun參加了題為“機器如何達到人類水平智能”的主題講座。

就在活動將要結束的時候，回答了大家提出的一些感興趣的問題。

一開始的問題是：這些人工智能模型，實體化的角色是什么，以實現真正的智能。

LeCun是這樣回答的：

我認為這非常關鍵。

過去五六年中，對世界模型及類似概念做出有趣貢獻的人是機器人科學家，他們嘗試將機器學習應用于機器人技術，因為你無法在機器人技術上作弊。你真的需要一個了解物理世界運作方式的系統。

所以幾年前，當我們在討論開設AI研究實驗室時，我詢問是否有我們不應該研究的AI領域，當時得到的回答是Facebook沒有理由從事機器人技術。

因此，兩年來我們并未涉及機器人技術。

但兩三年后，我意識到在機器人技術中有很多有趣的事情可以做，可以推動AI的發展。因此，我們成立了一個小規模的機器人技術團隊，后來逐漸發展，現在我們有一個大團隊。

機器人技術現在已成為行業的熱門話題。因此，研究實驗室的角色是提前五年預見此類趨勢，這樣當你的上司來找你，問我們在X方面做了什么時，你可以說，我們過去五年一直在研究X。

之后LeCun又回答了這樣的一個問題：

Surya Ganguli預測，這個世紀將是我們真正理解人工智能并構建像上個世紀我們構建通信理論那樣的人工智能理論的時代。你對此有何看法？

LeCun：

我沒有一個確切的答案，我認為有許多不同的方式可以從不同的角度理解深度學習，特別是自監督學習等。比如我的一個博士后是一位信息理論家，也是一位統計物理學家。

實際上，統計物理學家在1980年代對神經網絡很感興趣，但在90年代這種興趣有所減弱，現在由于深度學習及其數學基礎，如我多次討論的基于能量的模型框架，他們又重新回到了這一領域。

我的這個博士后試圖通過分析和建模自我監督的運行，使用諸如信息內容和互信息之類的量度進行理論研究。我們一起寫了很多論文，主要是他在這個話題上的工作。

也許下一個突破會來自統計物理學，我對傳統理論計算機科學并不抱有太大希望。

借此話茬，LeCun突然被問到“你怎么看最近的物理諾貝爾獎呢”。

于是就有了開頭的那一幕，LeCun的完整回答是這樣嬸兒的：

我對此的印象是，諾貝爾委員會受到了一些壓力，需要獎勵深度學習領域的貢獻。

這一點可以從瑞典電視臺的紀錄片和電視新聞節目中看出，有人認為諾貝爾獎應該頒給對AI領域有重大影響的人士，而非只是物理學領域的不為人知的貢獻者。

因此，委員會明顯傾向于表彰從事蛋白質結構預測的科學家，如AlphaFold團隊和David Baker的實驗室。

所以他們可能決定這么做，但隨后他們也決定應該同樣獎勵那些為基礎科學理念做出貢獻的人。

因化學獎項的人數限制，他們選擇了物理學獎項，并且選擇了物理生物學家John Hopfield。

即便Geoffery Hinton不是物理學家，但他的模型被稱為“Boltzmann機器”，而Boltzmann在科學物理中是傳奇，這整件事在這種情境下說得通。

但你必須意識到，盡管我對諾貝爾獎頒給從事神經網絡研究的人感到非常興奮和振奮，認為這很棒，但Hopfield網絡和Boltzmann機已經不再被使用，它們在概念上很有趣，但實際上完全無用，沒人使用它們了。

我們現在使用的是反向傳播。這是一個有趣的概念，但我對此無可厚非。

LSTM之父也有異議

和LeCun的觀點不太一樣，LSTM之父Jürgen Schmidhuber在X上連發推文，觀點和用詞更加犀利，直接表示這“涉及計算機科學領域的抄襲和錯誤歸屬問題”。

Jürgen Schmidhuber咋說的，給大家放在這兒了：

2024年諾貝爾物理學獎因科學中的剽竊行為及錯誤歸因而頒給Hopfield和Hinton。這主要涉及Amari的“Hopfield網絡”和“Boltzmann機”。

1、1925年發布的Lenz-Ising循環架構采用類神經元元素[L20][I24][I25]。1972年，申一Amari使其具備自適應性，能夠通過改變連接權重學習輸入模式與輸出模式的關聯[AMH1]。然而，在“2024年諾貝爾物理學獎科學背景”中，Amari僅被簡略提及。不幸的是，Amari的網絡后來被稱為“Hopfield網絡”。Hopfield在十年后重新發表此網絡[AMH2]，卻未引用Amari，后續論文亦然。

2、Ackley、Hinton和Sejnowski在1985年關于Boltzmann機的論文[BM]討論了神經網絡隱藏單元中內部表示的學習[S20]。它未引用Ivakhnenko和Lapa在1965年對內部表示深度學習的首個工作算法[DEEP1-2][HIN]，也未引用Amari在1967-68年通過隨機梯度下降（SGD）端到端學習深度神經網絡內部表示的獨立工作[GD1-2]。作者的后續調查[S20][DL3][DLP]及“2024年諾貝爾物理學獎科學背景”均未提及這些深度學習的起源。([BM]也未引用Sherrington和Kirkpatrick[SK75]以及Glauber[G63]的相關先驅工作。)

3、諾貝爾委員會還稱贊了Hinton等人在2006年的深度神經網絡分層預訓練方法[UN4]。然而，這項工作既未引用Ivakhnenko和Lapa在1965年的原始深度神經網絡分層訓練[DEEP1-2]，也未引用1991年深度神經網絡無監督預訓練的原始工作[UN0-1][DLP]。

4、Popular information稱：“1960年代末，一些令人沮喪的理論結果使許多研究者懷疑這些神經網絡永遠不會有任何實際用途?！比欢疃葘W習研究在1960-70年代顯然是活躍的，尤其是在英語世界之外。[DEEP1-2][GD1-3][CNN1][DL1-2][DLP][DLH]。

5、在以下參考文獻[DLP]中，可以找到更多剽竊和錯誤歸因的案例，該文獻也包含了上述其他參考。可以從第3節開始閱讀：
[DLP] J. Schmidhuber (2023). 三位圖靈獎得主如何重新發表他們未曾歸功于原創者的關鍵方法和想法。技術報告IDSIA-23-23，瑞士AI實驗室IDSIA，2023年12月14日。
參見以下參考文獻[DLH]了解該領域的歷史：
[DLH] J. Schmidhuber (2022). 現代AI與深度學習的注釋歷史。技術報告IDSIA-22-22，IDSIA，瑞士盧加諾，2022年。預印本 arXiv:2212.11279。

參考鏈接：
[1]https://x.com/tsarnick/status/1849291803444621390。
[2]https://x.com/SchmidhuberAI/status/1849095954428784986。