在 GPT-4 發(fā)布的第二天，圖靈獎得主 Geoffrey Hinton 貢獻了一個精彩的比喻：「毛毛蟲從食物中提取營養(yǎng)，然后變成蝴蝶。人們已經提取了數十億條理解的線索，GPT-4 是人類的蝴蝶。」

短短兩周，這只蝴蝶似乎已經在各個領域掀起颶風。相應地，AI 行業(yè)迎來了新一波創(chuàng)業(yè)潮。其中不乏從谷歌等大廠走出的創(chuàng)業(yè)者。

如果你經常讀 AI 大模型方向的論文，Yi Tay 想必是一個熟悉的名字。作為谷歌大腦高級研究科學家，Yi Tay 為許多知名的大型語言模型和多模態(tài)模型做出了貢獻，包括 PaLM、UL2、Flan-U-PaLM、LaMDA/Bard、ViT-22B、PaLI、MUM 等。

根據 Yi Tay 個人的統(tǒng)計，在谷歌大腦的 3.3 年里，他總共參與撰寫了大約 45 篇論文，是其中 16 篇的一作。一作論文包括 UL2、U-PaLM、DSI、Synthesizer、Charformer 和 Long Range Arena 等。

和大多數離開谷歌自主創(chuàng)業(yè)的 Transformer 作者一樣，Yi Tay 也找到了一個合適的時間點離開，邁向新的人生旅程。

在一篇博客文章里，Yi Tay 官宣了自己離職的消息，并在更新后的個人資料中透露了下一步的動向：參與創(chuàng)辦一家名為 Reka 的公司，并擔任該公司的首席科學家，主攻大型語言模型。

Yi Tay 還透露，Reka 總部位于舊金山灣區(qū)，由強大的前 DeepMind、FAIR、谷歌大腦研究人員和工程師組成的團隊共同創(chuàng)立。

除了 Yi Tay，香港大學計算機系助理教授劉琦也在自己的個人主頁中提到，他正在參與創(chuàng)建一個名為「Reka」的公司，致力于多模態(tài)基礎模型的開發(fā)。讀博期間，劉琦曾在谷歌實習過一段時間，和 Yi Tay 合著過《Quaternion Knowledge Graph Embedding》等論文。

由于「Reka」的官網還沒辦法打開，我們暫時無法獲取關于該公司的更多信息。

在告別谷歌之際，Yi Tay 心懷感激地寫下了一篇博客，表示離開谷歌確實有一種畢業(yè)的感覺，因為他從谷歌以及他出色的同事、導師、經理那里學到了很多。

谷歌對我來說永遠是特別的，因為這是我學會進行真正出色研究的地方。我回想起我第一次加入的時候，當我在如此近的地方看到這么多著名的、有影響力的論文的作者時，我就像一個粉絲遇到了喜歡的明星。這對我來說是一個很大的感官刺激，具有很強的激勵性和啟發(fā)性。直到今天，我依然很感激我能和他們中的許多人一起工作和學習，至少在他們中的大多數人離開之前。

我學到了很多。

從更廣泛的角度來看，我了解了進行關鍵研究的重要性以及如何推動研究朝著產生具體影響的目標發(fā)展。在大學里，我們只被告知必須投中 N 篇會議論文（才能畢業(yè)或做其他事情）。在谷歌，事情必須落地，并且必須產生實際影響。

對我來說，這里最大的啟發(fā)是關于如何以端到端的方式擁有研究創(chuàng)新過程，即從想法到論文 / 專利，再到生產，最后為用戶服務。在很大程度上，我認為這個過程讓我成為了一個更好的研究者。

如果一定要形容我的成長，我覺得我的整個研究歷程可以說是「平滑的」而不是「突然涌現的」。我認為隨著時間的推移，我自己的研究能力逐漸線性提高，因為我變得越來越好，而且我更多地沉浸在谷歌文化中。這就像一個擴散（diffusion）過程。直到今天，我仍然相信研究環(huán)境非常重要。

大家都說「人」是谷歌最大的福利。我完全同意。我永遠感謝我所有親密的合作者和導師，他們在我作為研究人員和個人的成長過程中發(fā)揮了巨大的作用。

從內心深處，我感謝我的現任經理 (Quoc Le) 和我的前任經理 (Don Metzler) 給我機會一起工作，感謝他們一直以來幫助我、照顧我 —— 不僅僅是作為一名下屬，也作為一個人。我還要感謝 Ed Chi、Denny Zhou 和 Slav Petrov 等資深人士在整個旅程中對我的支持。最后，我要感謝 Andrew Tomkins，他看中了我，并聘請了我加入 Google。

我還要感謝我最親密的朋友 / 合作者（Mostafa Dehghani、Vinh Tran、Jason Wei、Hyung Won、Steven Zheng、Siamak Shakeri），感謝他們和我一起度過所有的愉快時光：分享熱門話題，相互學習，一起撰寫論文，以及討論研究。?

值得一提的是，在國外掀起 AI 大模型創(chuàng)業(yè)潮的同時，國內創(chuàng)業(yè)公司也展開了激烈的人才搶奪戰(zhàn)。例如有媒體爆出，志在打造中國 OpenAI 的王慧文也在招兵買馬，計劃收購兩家清華 NLP 公司：深言科技、面壁智能。而機器之心 Talent AI 欄目也了解到國內頂級 AI 實驗室、多家創(chuàng)業(yè)公司以及一批量化投資機構也都在積極尋找大模型人才。