Claude團隊喜提清華物理學霸姚順宇!兩個Yao Shunyu都投身大模型了
清華物理系傳奇特獎得主Yao Shunyu,正式投身大模型,加入Anthropic的Claude團隊。
有意思的是,另一位Yao Shunyu,今年剛剛加入隔壁OpenAI。
注意別搞混哦,前者是學物理的姚順宇,后者是學計算機的姚順雨。(手動狗頭)
這次加入Anthropic的姚順宇,此前就可謂是名聲大噪,本科期間就在凝聚態(tài)物理領(lǐng)域做出突破性貢獻。
具體而言,他首次在國際上給出了關(guān)于非厄米系統(tǒng)的拓撲能帶理論,并準確預(yù)測了相關(guān)現(xiàn)象。
此外,他還定義了兩個新的物理概念,這些工作都發(fā)表在了世界物理頂級期刊Phys. Rev. Lett.上。
其研究的含金量之高,甚至有位211大學副教授給出過這樣的評價:
我們這邊即使是教授,也沒有能超過姚順宇同學目前本科期間的物理水平的。
在清華本科畢業(yè)之后,姚順宇便去斯坦福攻讀博士。
從領(lǐng)英的履歷來看,他在今年畢業(yè)之后有2個動態(tài)的變化,一個是到加州伯克利做了幾個月博士后,再之后就正式加入了Anthropic。
而在今年8月加入OpenAI的姚順雨,同樣也是來自清華,是姚班學霸+聯(lián)席會主席(還是個Rapper)。
和搞物理的姚順宇一樣,姚班的姚順雨在科研上的成就也是具備不小的影響力:
- 思維樹(Tree of Thoughts):讓LLM反復(fù)思考,大幅提高推理能力。
- SWE-bench:一個大模型能力評估數(shù)據(jù)集。
- SWE-agent:一個開源AI程序員。
毫不夸張的說,幾乎每項研究都在圈里產(chǎn)生了不小的漣漪;并且非常明顯的一點是,它們都是深深圍繞著大模型而展開。
而現(xiàn)如今,兩位同為清華出身,同叫Yao Shunyu的人,在AI大模型上相匯了。
那么除了這兩位Yao Shunyu,清華青年一代還有哪些人才投身大模型?
清華搞大模型的還有誰?
說到這個話題,不得不提的還有馬騰宇和陳丹琦。
倆人當年是同班同學,清華姚班2008級校友,并且之后都拿了具有“諾獎風向標”之稱的斯隆獎。
馬騰宇博士就讀于普林斯頓大學,導(dǎo)師是理論計算機科學家、兩屆哥德爾獎得主Sanjeev Arora教授。
博士畢業(yè)后,MIT、哈佛、斯坦福等頂尖高校都給了他助理教授的Offer,馬騰宇最終選擇了斯坦福。
去年年底,馬騰宇還正式宣布大模型創(chuàng)業(yè)了——創(chuàng)立Voyage AI,透露將帶隊打造目前最好的嵌入模型,還會提供專注于某個領(lǐng)域或企業(yè)的定制化模型。
斯坦福人工智能實驗室主任Christopher Manning、AI領(lǐng)域著名華人學者李飛飛等三名教授擔任Voyage AI的學術(shù)顧問。
陳丹琦這邊,清華姚班完成本科學業(yè)后,2018年又在斯坦福大學拿下博士學位,主攻NLP,最終成為普林斯頓大學計算機科學系助理教授、普林斯頓語言與智能項目副主任,共同領(lǐng)導(dǎo)普林斯頓NLP小組。
其個人主頁顯示,“這些天主要被開發(fā)大模型吸引”,正在研究主題包括:
- 檢索如何在下一代模型中發(fā)揮重要作用,提高真實性、適應(yīng)性、可解釋性和可信度。
- 大模型的低成本訓練和部署,改進訓練方法、數(shù)據(jù)管理、模型壓縮和下游任務(wù)適應(yīng)優(yōu)化。
- 還對真正增進對當前大模型功能和局限性理解的工作感興趣,無論在經(jīng)驗上還是理論上。
除了這兩位,業(yè)界、學術(shù)界姚班校友在搞大模型的還有很多。
之前火爆全網(wǎng)的大模型原生應(yīng)用《完蛋!我被大模型包圍了》及其續(xù)作《我把大模型玩壞了》,就是由姚班學霸帶隊開發(fā)的。
游戲作者范浩強,曠視6號員工。當年以IOI金牌、保送清華姚班、高二實習等傳奇事跡被譽為天才少年。如今他已是曠視科技研究總經(jīng)理,谷歌學術(shù)h-index 32的行業(yè)大佬。
馬斯克xAI首個研究成果——Tensor Programs VI,共同一作中也有姚班校友的身影。
Tensor Programs VI是xAI創(chuàng)始成員、丘成桐弟子楊格(Greg Yang)之前Tensor Programs系列工作的延續(xù),論文重點探討了“如何訓練無限深度網(wǎng)絡(luò)”。
據(jù)說Tensor Programs相關(guān)成果,在GPT-4中已有應(yīng)用。為解讀論文,楊格本人當時還專門在X上進行了一場直播分享。
共同一作Dingli Yu,本科畢業(yè)于清華姚班,目前Dingli Yu也快要在普林斯頓計算機科學系博士畢業(yè)了。
還有很多很多…………
那么回到這次搞物理的姚順宇加入Anthropic,還有一個話題值得說道說道——Why change。
Anthropic創(chuàng)始人:物理學家學AI就是快
學物理轉(zhuǎn)行AI,其實已經(jīng)是學術(shù)界的一個“傳統(tǒng)藝能”。
畢竟被譽為“人工智能教母”的李飛飛,就是從物理轉(zhuǎn)向研究計算機視覺的一個鮮明例子。
她在普林斯都研究物理的過程中意識到,宇宙的根本問題不只是物理,還可以是關(guān)于生命與智能的。
這次姚順宇加入的Anthrophic AI,里面物理出身的研究員尤其不少。
創(chuàng)始人Dario Amodei自己就是物理學家,本科斯坦福物理專業(yè),博士普林斯頓生物物理專業(yè),可以算是李飛飛的師弟。
轉(zhuǎn)折點在博士畢業(yè)第三年,Dario Amodei加入百度,曾與吳恩達一起工作,解決語音識別和自然語言處理中的問題,后來就在AI這條路上一路走到今天了。
Anthrophic AI招人也對物理背景的人才確實也有偏好,創(chuàng)始人去年8月還在一檔節(jié)目中解釋過理由:
……部分原因是物理學家學東西非常快。如果我們雇一個擁有物理博士學位的人,他們中的大部分可以快速學習機器學習并做出貢獻。
我們的幾位創(chuàng)始人,Jared Kaplan、Sam McCandlish,包括我自己,都是物理學家。現(xiàn)在團隊里可能有30-40個物理學家。
機器學習仍然不是一個非常有深度的領(lǐng)域(a field that has an enourmous amount of depth),所以他們能夠很快上手。
隔壁OpenAI也不乏物理專業(yè)出身的人才,如Sora團隊中就有北大物理系校友靖禮。
Sora這類視頻生成模型,也被定義為“物理世界的模擬器”。其背后的擴散模型,靈感更是從物理中的熱力學借鑒而來。
……
不過要說今年“物理”和“人工智能”兩個詞聯(lián)系最緊密的一次,莫過于剛剛頒發(fā)的諾貝爾物理獎了。
在頒獎活動中,諾獎組委會特別提到:
物理學為機器學習的發(fā)展貢獻了工具,相應(yīng)的,現(xiàn)在機器學習也惠及了物理研究。
例如,機器學習長期應(yīng)用于希格斯粒子發(fā)現(xiàn)等諾獎領(lǐng)域,用于處理海量數(shù)據(jù);它還可用于減少引力波測量中的噪聲,或搜尋系外行星。
近年來,這項技術(shù)還開始被用于計算和預(yù)測分子及材料的性質(zhì),如計算決定蛋白質(zhì)功能的分子結(jié)構(gòu),或設(shè)計性能更佳、可用于高效太陽能電池的新型材料。
只能說以后,科學發(fā)展到今天,學科之間的融合趨勢會越來越明顯了。
往好了想,只要有能力,學什么都不耽誤跟上時代的潮流。
往壞了想,其他學科的人才可以隨時跨界來卷你。
最后,附上英偉達科學家Jim Fan總結(jié)的“AI技術(shù)與相關(guān)物理原理對應(yīng)表”。