開源的Llama 2背后,有這些年輕華人的力量
近日,Llama 2 的開源讓 Yann LeCun 以及更多業內人士直呼「大模型格局發生了巨變」。
除開源之外,Meta 還宣布 Llama 2 免費可商用!Llama 2 提供了 70 億、130 億和 700 億參數版本,訓練數據比 Llama 1 多了 40%,達到了 2 萬億 token。精調 Chat 模型在 100 萬人類標記數據上訓練。
從結果來看,Llama 2 在包括推理、編碼、精通性和知識測試等許多外部基準測試中都優于其他開源語言模型,甚至可以在某些數據集上接近 GPT-3.5,還能持平和超越谷歌的 PaLM (540B) 。
在感嘆 Meta 致力于開源努力的同時,人們將目光投向了 Llama 2 的開發團隊。可以看到,LLaMA 的一些核心作者如 Gautier Izacard、Armand Joulin、Edouard Grave、Guillaume Lample、Timothee Lacroix 等,在 Llama 2 的開發中已經不見了蹤影。
圖片
Llama 2 技術報告:https://ai.meta.com/research/publications/llama-2-open-foundation-and-fine-tuned-chat-models/
除了核心作者的變化,Llama 2 將近 70 位作者中出現了 10 多位華人學者的身影。
機器之心整理了以下參與 Llama 2 研發的華人學者。如有錯誤和遺漏,還請在評論區指正。
Moya Chen
Moya Chen 是 Meta 大語言模型(LLM)研究工程師,于 7 月暫時離職。自 2015 年入職以來,她從事的工作包括平臺 / 商業信譽、計算攝像(CV、AR)、WorldXR(CV、AR 和 XR)、FAIR Labs(聊天機器人)和 FAIR/GenAI(LLM)。
她本科畢業于加州理工學院(Caltech)計算機科學專業。
Jeremy Fu
Jeremy Fu 現為 FAIR 研究工程師,主要方向為大語言模型。他此前曾在 Instagram 機器學習部門從事內容理解和用戶建模工作。自 2021 年 1 月開始在 Meta 全職工作。
他本科畢業于悉尼新南威爾士大學計算機科學與商業專業。
Wenyin Fu
Wenyin Fu 現為 Meta 數據中心 ML 性能工程師,主要從事大規模地設計與優化 ML 平臺解決方案部署,并評估數據中心硬件解決方案以獲得最佳容量 ROI。他于 2019 年 5 月入職 Meta,此前曾任職于英偉達、AMD 和英特爾。
他本科畢業于上海交通大學的電子電氣工程專業,博士畢業于威斯康星大學麥迪遜分校電氣與計算機工程專業。
Cynthia Gao
Cynthia Gao 現為 Meta 產品數據運營部門項目經理,主要從事針對機器翻譯和生成式 AI 大模型的人工數據標注和收集項目。此前曾在 FAIR 等多個部門工作。
她曾先后就讀于北京師范大學、加州大學戴維斯分校(文學學士、心理學與中國語言文化)和蒙特雷國際研究院(文學碩士、翻譯與本地化管理)。
Rui Hou
Rui Hou 現為 Meta GenAI 研究科學家,主要研究生成式 AI 技術以及相關的生產應用。他于 2020 年 4 月入職 Meta,此前曾在豐田研究院等機構實習。
他本科畢業于同濟大學,碩士(智能系統和計算機科學雙學位)和博士(智能系統)均畢業于密歇根大學。
谷歌學術:https://scholar.google.com/citations?user=PKHKqX0AAAAJ&hl=en
Yinghai Lu
Yinghai Lu 現為 Meta 首席軟件工程師,Meta infra 組的 AI 推理技術負責人,目前從事生成式 AI 推理部署。他于 2016 年入職 Meta,曾領導過 Ads 和 Reels 推薦模型的 GPU 推理部署。
他本科畢業于同濟大學電氣工程專業,博士畢業于復旦大學電氣工程專業。
谷歌學術:https://scholar.google.com/citations?user=prBXsm8AAAAJ&hl=zh-CN
Yuning Mao
Yuning Mao 現為 Meta GenAI 研究科學家,本科畢業于上海交通大學 IEEE 榮譽班,博士畢業于伊利諾伊大學厄巴納 - 香檳分校計算機科學專業,導師為 Jiawei Han 教授。
他的研究目標是幫助人們更有效和高效地獲取信息和知識。為了實現這一目標,他一直從事文本摘要和生成、問答、參數高效微調和分類法構建等廣泛研究課題。最近,他正參與 Meta LLaMA 模型系列的開發,尤其是大模型的安全性方面。
個人主頁:https://morningmoni.github.io/
Yixin Nie
圖片
Yixin Nie 現為 Meta AI 研究科學家。他本科畢業于中國地質大學,碩士畢業于芝加哥大學,博士畢業于北卡羅來納大學教堂山分校計算機科學系。
他的工作重點在于機器學習和自然語言處理,其研究興趣來源于對機器自然語言習得的想法。
個人主頁:https://easonnie.github.io/
Xiaoqing Ellen Tan
Xiaoqing Ellen Tan 現為 Meta AI 的數據科學研究員。她于 2018 年獲得了中山大學的藥學與計算機科學學士學位,2019-2021 年成為卡內基梅隆大學計算機科學訪問學生,2022 年獲得匹茲堡大學生物統計學博士學位。
她的研究興趣在于開發因果推理、數據集成和決策公平性等領域的新穎統計學和機器學習方法。
個人主頁:https://ellenxtan.github.io/
Puxin Xu
Puxin Xu 現為 Meta AI 高級數據工程師,主要從事多模態數據集(文本、圖像和視頻)和大模型預訓練數據工作。他在中山大學獲得了本科學位(人力資源與城鄉規劃管理、統計學雙學位),并在理海大學獲得了碩士學位(工業與系統工程)。
Zheng Yan
Zheng Yan 現為 Meta 軟件工程師,利用 AI 解決賬戶訪問團隊遇到的問題。此前曾在斯坦福大學 Sean N. Parker Center for Allergy & Asthma Research 擔任數據分析師。他本科畢業于斯坦福大學計算機科學專業。
Yuchen Zhang
Yuchen Zhang 現為 Meta AI 軟件工程師(機器學習)/ 研究工程師,致力于大型模型(語言 / 多模態)的訓練和擴展,以及大型模型中負責任 AI 的研究。她本科畢業于埃默里大學,碩士畢業于賓夕法尼亞大學工程與數據科學專業。
個人主頁:https://zycalice.github.io/
Angela Fan
Angela Fan 是 Meta AI Research Paris 的研究科學家,主要研究機器翻譯。此前她曾在南錫 INRIA 和巴黎 FAIR 攻讀博士學位,主要研究文本生成。在此之前,她是一名研究工程師,并在哈佛大學獲得了統計學學士學位。
個人主頁:https://ai.meta.com/people/angela-fan/