Meta被曝因搶奪計算資源內斗激烈,Llama多位作者離職
今年 2 月,Meta「開源」了一個新的大模型系列 —— Llama(Large Language Model Meta AI),參數量從 70 億到 650 億不等。幾個月后,Llama 2 的發布更是開啟了大模型的可商用化先河,很多人將 Llama 2 的開源形容為大模型的「安卓時刻」。
由于 Llama 和 Llama 2 系列模型出色的性能,很多人將其視為替代品。人人都在夸贊 Meta 為開源社區帶來的貢獻,但對于參與 Llama 項目的一些科學家和工程師來說,這種贊揚太少,也太遲了。
據 TheInformation 報道,了解內部情況的人員表示,參與 Llama 項目的很多人都辭職了,原因是 Meta 的另外一個研究團隊與 Llama 團隊就計算資源展開了一場內部斗爭,而爆料中所指的另一個團隊正在研究競品模型,但不知什么原因最終放棄了這個模型。
雖然這只是內部人員的爆料,但他們的離開提醒人們,大大小小的科技公司在開發生成式人工智能模型時,都在努力解決計算資源短缺帶來的緊張氛圍,而生成式人工智能需要專用芯片,而這些芯片并不是免費提供的。大型科技公司比大多數公司擁有更多的計算資源,Meta 等一些公司在招聘 AI 研究員時也強調了這一事實。
我們看到即使是大公司,他們能提供的資源也是有限的。隨著 AI 人才需求的激增,人員外流也凸顯了大型科技公司在留住 AI 人才方面面臨的挑戰。
Llama 這篇論文《 LLaMA: Open and Efficient Foundation Language Models 》發表在今年 2 月,作者共有 14 位,現在已經有幾位離職了,他們有的去了新的初創公司,有的開始創業。
論文地址:https://arxiv.org/pdf/2302.13971.pdf
下面我們看看離職的都有哪些。
Gautier Izacard
Gautier Izacard 2020 年開始在 Meta 工作,2023 年 4 月離開 Meta,加入 2022 年成立的初創公司 Inflection AI。
Inflection AI 來頭不小,它的三位聯合創始人分別是原 DeepMind 聯合創始人 Mustafa Suleyman、Linkedln 聯合創始人 Reid Hoffman,還有前 DeepMind 首席科學家 Karen Simonyan。今年 6 月,Inflection AI 還宣布該公司在新一輪融資中籌集 13 億美元,由微軟、英偉達以及 Reid Hoffman、比爾?蓋茨、谷歌前 CEO 埃里克?施密特領投。
Inflection AI 的三位聯合創始人。
Timothee Lacroix
Timothee Lacroix2015 年加入 Facebook AI Research Lab,任研究工程師。2023 年 6 月離開 Meta(Facebook),加入法國初創公司 Mistral AI,任首席技術官(CTO)。
Armand Joulin
Armand Joulin 2012 年從 INRIA 和巴黎高等師范學院(ENS)獲得博士學位。2014 年,Armand Joulin 加入 Meta,先后任研究科學家、高級研究經理、研究總監。在加入 Meta 之前,Armand 是斯坦福大學的博士后研究員,與 Daphne Koller 和李飛飛一起工作。2023 年 5 月 Armand Joulin 從 Meta 離職。
Guillaume Lample
Guillaume Lample 現在是 Mistral AI 的聯合創始人兼首席科學家。他于今年 3 月離開 Meta,在這里工作了 6 年多,此前在 Meta 的職位是研究科學家。
Guillaume Lample 碩士畢業于卡內基梅隆大學、博士畢業于巴黎第六大學。
最后我們在介紹一下初創公司 Mistral AI,于今年 5 月成立。該機構主要專注于生成式 AI 模型的研發,與 OpenAI 展開競爭。聯合創始人包括 Arthur MENSCH(兼 CEO)、Guillaume Lample(兼首席科學家),Timothee Lacroix 為首席技術官。
據 Techcrunch 報道,他們計劃于 2024 年發布第一個基于文本的生成式人工智能模型。今年 6 月,成立僅 4 周的 Mistral AI 已獲得 1.13 億美元的種子輪融資。
Guillaume Lample 和 Timothee Lacroix 前面我們已經介紹了。作為 CEO 的 Arthur MENSCH,此前在 DeepMind(現在合并為 Google DeepMind)工作了 2 年多,參與過視覺語言模型 Flamingo 的研究。