本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

馬斯克組局xAI“鉆研宇宙本質”，創始成員高深又神秘。

相比專注于AI領域本身，這些成員大多具有基礎學科背景，接觸AI之前或是在研究基礎數學，或是在搞物理。

這家公司究竟要做什么？

就在這兩天，丘成桐弟子楊格（Greg Yang），成為第一個以“xAI創始成員”身份在國內會議上發言的人。

在國際基礎科學大會的“基礎科學與人工智能”論壇上，他談及了自己一直以來、也是接下來要進行的數學AI工作，以及對大模型當前發展現狀的看法。

而他的個人經歷也再次浮出水面，為更多人所關注。

接下來要進行什么研究？

在國際基礎科學大會上，楊格就自己正在研究的方向進行了一場演講。

演講主題，主要與AI和數學交叉學科有關——

從數學角度出發，建立一種描述神經網絡架構的統一編程語言Tensor Programs。

這是他從微軟研究院開始就一直鉆研的領域，繼2019年連續獨立發表的兩篇論文之后，迄今這一項目已經有7篇相關論文問世。

具體來說，Tensor Programs項目有一個“短期目標”和一個“長期目標”。

短期來看，這個編程語言能實現在設計新神經網絡架構時，自動進行初始化條件分析，并給出其中最優的超參數初始化條件，從而讓模型訓練更順利。畢竟此前，這一領域的初始化設置幾乎“全靠經驗”。

長期而言，Tensor Programs項目的目標是開發大規模深度學習的“萬物理論”。

這也與楊格在推特說的、他在xAI要進行的研究方向一致：

目前無論是大模型還是其他AI研究方向，都依舊沒有真正意義上解決AI“黑箱”的問題，換而言之，AI究竟走哪種研究方向（堆疊更大參數量的模型、還是MoE）收益更高，還沒有一個明確的結論。

因此，Tensor Programs最終目標是找到一種理論上的規則，可以真正理解AI大模型的行為。

Tensor Programs最新的項目進展，是微軟與OpenAI合作發表的論文μTransfer，楊格以共同一作的身份完成了這項研究。

這項研究的核心是幫助大模型找到最合適的超參數配置，從而替更多模型節省時間和算力成本，否則對于大模型來說，“重訓”是一個非常浪費參數的行為。

目前這項研究已經開源，楊格也在這次的演講中著重以μTransfer為例，介紹了Tensor Programs項目的進展。

從這幾篇研究論文側重的AI模型來看，大模型如今已經是楊格研究的重點方向之一。

一個值得關注的點就是，μTransfer已經用到GPT-4中了。

公眾號“安迪的寫作間”作者在楊格（Greg Yang）演講結束后，和他聊了聊：

下臺我問了他關于GPT-4用到μTransfer了嗎，給出肯定回答。

所以，他究竟如何看待大模型的未來？

在這次論壇的圓桌對話上，楊格也提到了自己對大模型發展方向的看法。

他認為，繼續堆疊大模型參數可以讓模型效果越來越好，但這有個前提，即數據集的質量和數量必須要上升。

以前收集網絡數據就行，如今訓練集必須變得更偏向數學、科學、更有邏輯性，才能提高模型的科學和數學推理能力。

同時，楊格也給了如今拼搏在科研、交叉創新一線的AI研究人員一點建議，就是“Follow your dreams”：

這一階段的很多杰出的搞AI的人，像工程師、研究人員，有幾個都是像我這樣沒有讀博士，只是就想去干，拼一下就拼出結果的，像Alec Radford，GPT-1、GPT-2都是他自己做的，后來OpenAI就開始砸錢了。

曹操說的“亂世出英雄”，這是個新世界，你不要想一些外部環境，直接去干，很有可能擦出火花，這就是要你自己有熱情。

沒錯，當年的楊格，打破了微軟研究院“只招博士生”的慣例，本科畢業就進入了這一機構工作。

他在學術經歷上究竟有什么過人之處？

換而言之，為何他會成為馬斯克選中的“12人”之一？

楊格是誰？

楊格出生于湖南省，在北京讀完小學后，就去了美國，本科考上了哈佛數學系。

在哈佛的頭兩年，楊格參加了鼓手團、咨詢團等眾多活動。

大二結束時，有著音樂夢的他決定休學全身心投入音樂事業，成為一名電子舞曲音樂制作人和DJ，取藝名“Zeta”。

也是在此期間，楊格接觸到了人工智能。

一年半后，楊格發現自己的“真愛”終歸還是數學，于是又回到了哈佛。

讀完春季學期的課程后，他又休學兩年，這一次他沒有執著于音樂，而是快速學習了數學和理論計算機科學，以及人工智能的前沿進展，此外還廣泛涉獵物理學、生物學和神經科學。

此外，他還研究起了神經圖靈機，并結合可微拓撲學中的思路，提出“Lie Access Neural Turing Machine”，發表于ICLR。

再次回哈佛，楊格師從丘成桐教授。

△楊格與丘成桐，圖源：楊格推特

2017年，楊格順利從哈佛畢業，拿到了數學學士學位和計算機科學碩士學位。并獲得了2018年摩根獎榮譽提名（Honorable Mention for the 2018 Frank and Brennie Morgan Prize for Outstanding Research in Mathematics by an Undergraduate Student）。

畢業后，老師丘成桐曾問楊格“你畢業去哪兒”，他說“我要去谷歌”。

丘成桐說“谷歌這種很差的公司就不要去了，我有個朋友叫沈向洋，我馬上給他打電話”。

后來，沈向洋讓菲爾茲獎獲得者Michael Freedman面試了楊格：

面試之后（Michael）說這個小孩不得了，那時候他才剛剛本科畢業，但在哈佛至少是前五名（的水平）。

我（沈向洋）當時就跟楊格講，你把谷歌的Offer拿來給我看一看，我給你加一塊錢，就來微軟吧。

最后楊格選擇了微軟。而進入微軟后楊格也獲得了沈向洋的高度評價：

微軟研究院平時只招博士生的，楊格作為一個本科畢業生進了微軟研究院，不僅進了微軟研究院，過去這五年還做得無比優秀，特別是在GPT發展過程中做了舉足輕重的貢獻。

進入微軟后，楊格的重要成果之一就是持續開發上面提到的“Tensor Programs”框架，其中還用GPT-3對所提出的超參數遷移方法進行了驗證，相關論文已收錄于NeurIPS、ICML等頂會：

此外，谷歌學術數據顯示，楊格從2015開始發布論文，至今已有34篇。

其中引用量最高為415，這也是他在微軟的工作，楊格在這個項目中擔任主要指導（Primary mentor）。

目前，楊格個人主頁和推特主頁等均已更新，已離開微軟研究院，加入xAI，接下來將繼續做數學工作。

楊格做出了新一輪的選擇，但從第一次休學過后，他再也沒有放棄對數學的熱愛。

在這次的論壇上，楊格也被問到，當時去從事音樂后又轉到數學研究，是怎樣一直堅定走到現在的？

楊格回答道：

其實就是個人愛好，在我大二休學之前，我一直都是數學比較好的人，可能會覺得一輩子在這種（數學研究中）。之后雖然我去搞音樂，但有段時間自己思考后，發現其實我個人還是很熱愛數學。

這里面可能有外在動機（motivation extrinsic）和內在動機（motivation intrinsic）。像數學答卷老師給你100分，你覺得很高興，這是外在的。這種外在和內在混在一起，可能感覺不到自己真心的愛好，但是后來休息一段時間以后，感覺（對數學）是發自內心的熱愛，之后就走了這么長的路。

One More Thing

還記得前段時間楊格給大伙兒推薦的300多本（大部分是數學）書嗎？

不少網友看過之后，表示“書單實在太長了，不是普通人能看完的”，還有網友調侃“能不能用GPT幫我總結一下”……

論壇結束后，我們也和楊格聊了聊，了解了他對ChatGPT等大模型的一些看法。

提問：看到您前段時間推薦了大概300本多書，有很大一部分是數學書，您認為AI是否有可能把它直接總結成一個核心的要點給我們？平時在日常生活中，您是不是也會用GPT-4一樣的模型，去幫助做一些數學的基礎研究什么的？

楊格：我覺得AI的總結能力（summarization）現在應該挺好的了，做簡單的總結應該沒問題。但你要再深入理解它里面的道理，像是一些數學道理的話，可能AI現在的幫助還不是那么大。

日常生活的話，是會經常用到（大模型）。

提問：可以透露一下主要是用在哪些方面嗎？

楊格：我覺得最有用的方法就是寫程序吧。比如有些程序你確實可以自己寫，但自己寫的話，一是可能要花幾個小時，二是覺得這種東西不是特別有趣，所以像這種工作你就可以用ChatGPT來幫你做。

提問：相當于您完成核心思考，然后ChatGPT幫您實現代碼的工作。

楊格：其實就是實現它已經在網上看到很多很多遍、所以它能寫得很好的一些程序。

但如果現在你想寫一個復雜的程序、像是有什么邏輯性的程序的話，讓ChatGPT來做可能還不一定做那么好。但如果是那種你寫了幾百遍的程序了，你不想再寫，就可以用ChatGPT完成。