LLaMA核心原作多半離職，Meta AI內幕曝光！算力爭奪撕破臉，大模型團隊成員連換三輪
過去6個月，ChatGPT的爆火，徹底讓Meta坐不住了。
從2月開始開源大模型系列LLaMA的發(fā)布，到Llama 2升級、再到編碼模型Code Llama，Meta可謂是賭上所有去ALL IN AI。
在開源社區(qū)，Llama系列模型的免費研究和商用，直接點燃了平替模型裂變的火種。
可是，Meta在風光的同時，AI團隊正面臨著離職潮。
The Information獨家報道，因內部算力之爭，LLaMA和OPT項目的團隊成員，大半已經辭職。
圖片
甚至，Meta直接棄掉他們正研發(fā)能與PaLM匹敵的模型，將Meta AI的兩個實驗室團隊重組，以專注研發(fā)Llama 2。
Meta大部分研究人員的離職，恰恰暴露了，算力短缺是布局生成式AI的核心難題。
LLaMA論文14位作者，一半離職
在外界看來，科技巨頭擁有比大多數公司更多的計算資源。一些公司包括Meta在內，在招聘AI研究人員時，一致強調自己是「GPU RICH」。
但事實上，自己心知肚明，Meta的計算資源供應方面也存在限制。
由此，算力紛爭便在內部團隊開啟，讓許多人棄Meta而去。
具體來講，今年2月發(fā)布的初代LLaMA模型中的14位作者，已經超過一半的人全部離職。
有的轉向AI初創(chuàng)公司，有的加入了科技巨頭。
圖片
論文地址：https://arxiv.org/pdf/2302.13971.pdf
離開Meta的研究科學家和工程師包括原LLaMA論文的作者之一Timothée Lacroix、Guillaume Lample和Marie-Anne Lachaux。
他們現(xiàn)在在法國初創(chuàng)公司Mistral AI工作，該公司由Lacroix和Lample于6月共同創(chuàng)辦。
圖片
還有其中的一位作者——Meta AI的研究總監(jiān)Armand Joulin已經在5月離開了Meta，目前已加入蘋果。
圖片
Meta人工智能研究實驗室「基礎AI研究」的負責人Joelle Pineau在接受采訪時表示：
留住和吸引優(yōu)秀人才可能是我花費時間最多的地方，因為沒有優(yōu)秀的研究人員，我什么都做不了。
Meta正在面臨的離職潮，恰恰凸顯了大型科技公司在應對對人工智能人才需求激增的挑戰(zhàn)。
大模型浪潮當前，各大科技公司唯恐落后，急于將AI接入自家產品和服務。
Riviera Partners的高管Kyle Langworthy稱，「求賢若渴」的公司們，都排著隊想挖角Meta的人工智能研究人員。
2月份的時候，繼LLaMA的發(fā)布點燃社區(qū)熱情后，小扎曾連夜對外官宣了公司的大動作：成立頂級產品團隊，專注AIGC。
簡言之，小扎將Meta未來的核心重點放在，生成式人工智能，以試圖追趕谷歌、微軟、OpenAI等競爭對手。
而曾經在2021年All In的「元宇宙」，也被放在了次要的位置。
圖片
緊接著，Meta時不時地發(fā)布并開源了在人工智能領域的最新研究，包括通用視覺模型SAM「分割一切」、多模態(tài)AI模型ImageBind、Llama2、Code Llama等等。
這些研究一經發(fā)布，都在開源社區(qū)引起了很大的反響，得到一致好評。
而現(xiàn)在，隨著有經驗的研究人員流失，Meta在追趕競爭對手的路上多了一重阻礙。
那么，具體是怎么回事，讓這些高級研究人員憤而離去？
LLaMA和OPT的算力之爭
2013年，Yann LeCun入職Meta后，擔任AI研究主管時成立了人工智能研究實驗室Meta AI（原FAIR）。
除了在加利福尼亞州門洛帕克和紐約設立主要實驗室（LeCun的所在地），Meta AI還在蒙特利爾（Pineau的所在地）、巴黎、倫敦和西雅圖設有分部。
Meta AI實驗室的成立，主要致力于AI的研究，將人工智能應用在翻譯、MRI掃描等各種場景。
但是，ChatGPT橫空出世之后，公司的高管們對AI更深層次融入產品的要求，變得更加急切。
其實，在ChatGPT發(fā)布之前，Meta也一直在開發(fā)自己的LLM。
2022年5月，Meta AI的一個北美團隊對外公布，并開源了大模型OPT-175B。
Meta聲稱，這個模型的能耗要比GPT-3低，盡管這兩個模型在訓練期間學習的內容，在數量上是一樣的。
幾個月后，該團隊開始著手開發(fā)第二個更大的模型，旨在與谷歌的PaLM競爭。
與此同時，另一個位于巴黎的Meta AI團隊，已經開始著手開發(fā)一個單獨的大型語言模型，也就是LLaMA。
知情人士表示，這個模型比OPT要小。研究團隊認為較小的模型在推理時會高效。
隨之問題就來了，分別來自北美和巴黎兩個實驗室的團隊，開啟了獲取算力資源之爭，進而加劇了內部團隊的紛爭。
尤其是，LLaMA團隊感覺自己被忽視了，自己的模型小，但獲得的計算資源比北美的OPT團隊少的多。
「基礎AI研究」的負責人Joelle Pineau表示，
關于在Meta如何分配計算資源的決策，是由來自業(yè)務不同部門的領導人組成的小組，大致每月做出一次。
最終分配多少，分配給誰，取決于組織優(yōu)先事項，以及項目距離發(fā)布還有多遠來決定。
如果Meta AI的員工就分配發(fā)生爭議，就會提交到上級，也就是Pineau這一層去處理。
在采訪中，Pineau承認在LLaMA和OPT團隊之間在算力分配上有些緊張，并補充道，「我們試圖找到一條路，聽取每個人的發(fā)聲，即使無法去滿足每個人的需求。」
對某些研究人員來說，這感覺像是一場競賽。
Meta AI的一些高管也在質疑，為什么兩個團隊都做著相似的項目，但又互相競爭有限的資源。
2月巨變
兩個團隊之間的緊張關系，到今年2月達到了高潮。
恰在這個月，為了追趕競爭對手，Meta AI首次將LLaMA作為開源模型發(fā)布，授權用于研究目的。
其實，在發(fā)布的前一周，Meta AI的聯(lián)合主管兼巴黎分部負責人Antoine Bordes就離開了Meta，而對外的離職原因是?作時間與加州?樣讓自己筋疲?盡。
現(xiàn)在，Bordes已經加入了人工智能公司Helsing。
圖片
知情人士表示，他的離職進一步，讓LLaMA團隊與北美的高管隔離開來。另外，Pineau也承認了Bordes的離職為團隊「帶來了一些不確定性」。
這不僅僅是LLaMA團隊研究士氣受挫的問題，與此同時，OPT團隊在過去幾個月里，一直也在面臨人員流失的問題。
據稱，OPT團隊正在研發(fā)的更大型的模型，直接被Meta放棄。也不難理解，OPT的人員流失，和這個決定有著直接的關系。
根據研究作者Linkedin個人資料，19位OPT論文的作者中，也有一半人已離職Meta。
圖片
論文地址：https://arxiv.org/pdf/2205.01068.pdf
「基礎AI研究」的負責人Pineau無奈地表示，「當所有團隊都想在這個時候升級模型，那時你要么選擇其中一個，要么就讓他們合作。」
團隊重組，定位不清
在這一切發(fā)生的同時，Meta AI也被公司的頻繁地變動搞得焦頭爛額。
自從去年11月開始，小扎進行了數次全公司范圍的裁員。其中，Meta AI也沒能幸免。
今年2月，Meta AI領導人決定將相互競爭LLaMA和OPT團隊的一些成員聚集起來，正式成立「生成式AI」團隊，（由前蘋果高管Ahmad Al-Dahle負責），同時也從Meta AI抽調了大量人員。
其實，我們在Llama 2論文中，可以看到不少LLaMA和OPT作者的身影。
比如OPT的團隊中，Moya Chen、Todor Mihaylov、Punit Singh Koura加入「生成式AI」團隊。
初代LLaMA團隊中，Hugo Touvron、Thibaut Lavril、Xavier Martinet、Marie-Anne Lachaux、Naman Goyal、Aurelien Rodriguez加入「生成式AI」團隊。
有趣的是，在Llama 2的致謝中，提到的4位最先發(fā)起這項研究的團隊，其中三位已經離職，目前僅有Edouard Grave還在。
圖片
盡管備受贊譽的開源模型LLaMA取得了不小的成功，但隨著Meta對人工智能研究態(tài)度的不斷變化，研究人員之間的緊張關系仍在醞釀。
傳統(tǒng)上來講，Meta AI擁有一種由研究人員主導的自下而上的文化，從而使團隊能夠專注于AI領域，并取得突破性的進展。
但隨著小扎越來越傾向于將AI融入Meta的應用程序之中，Meta AI的關注點也隨之縮小——解散了那些不以產品為導向的研究，比如蛋白質折疊。
圖片
與此同時，新的項目也在生成式AI團隊和Meta AI之間「反復橫跳」。
比如，Meta在7月發(fā)布的Llama 2，以及在8月發(fā)布的專攻代碼生成的Code Llama，就是分別由兩個團隊負責的。
圖片
圖片
對此，Pineau表示，「這個領域發(fā)展得實在是太快了，我們現(xiàn)在還在探索，哪個項目應該由Meta AI來負責？哪個項目又該由生成式AI團隊來負責？」
臺前，開源模型光鮮靚麗，而幕后，AI研究人員離職潮涌、算力紛爭、團隊重組，為Meta傾力AI趕超對手帶來了許多不確定性因素。
參考資料：
