?今年上半年，中美互聯(lián)網(wǎng)、科技公司都迎來了不同程度的裁員和縮招。但與此同時，也有不少人選擇了在這個時期跳槽，而且是從令人羨慕的「大廠」跳到他們感興趣的創(chuàng)業(yè)公司。下圖是 Mila 研究者 Ethan Caballero 整理的一份「最近離開谷歌的 AI 研究者」 的名單：

名單地址：https://docs.google.com/spreadsheets/d/14M-K2JHTOqWVsV4x95psAb94CblRIrhBimk8HVgwmRY/edit#gid=0

這份名單包含很多我們熟悉的研究者，比如 Transformer 重要作者 Ashish Vaswani 和 Niki Parmar，他們和同樣在名單中的 Anmol Gulati、Augustus Odena 等人一起創(chuàng)立了一家名為 Adept 的新公司，致力于讓人和計算機以創(chuàng)造性的方式一起工作，從而實現(xiàn)通用智能。

當(dāng)然，并不是所有人都會在離開谷歌之后創(chuàng)立自己的公司，比如谷歌機器人高級研究科學(xué)家 Eric Jang。他在今年三月末從谷歌離職（待了 6 年），4 月 25 日宣布加入挪威機器人公司「Halodi Robotics」，擔(dān)任 AI 副總裁一職。

對于這一選擇，不少人可能會問，為什么要選擇這樣一家公司？這些大廠研究人員在跳槽時都考慮哪些因素？在前段時間發(fā)布的一份博客（All Roads Lead to Rome: The Machine Learning Job Market in 2022）中，Eric Jang 詳細介紹了他的決策過程以及他對美國當(dāng)前機器學(xué)習(xí)就業(yè)市場的了解和對 AGI（通用人工智能）實現(xiàn)路線的看法。

以下是博客原文：

選擇下家公司時考慮的因素

就我本人來說，下一份工作的唯一限制因素是我想繼續(xù)運用自己的機器學(xué)習(xí)技能。下表列出了我考慮過的各個選項。我和這些公司的董事和創(chuàng)始人都談過，但大多都沒走到接受 HR 正式面試的程度。注意，這些選項的利弊只是我基于 2022 年 4 月的觀察所列出的主觀觀點。在充滿炒作的硅谷，一家公司可能在幾年內(nèi)就經(jīng)歷過山車一樣的大起大落，所以這張表可能很快就會過時。

注：圖中特斯拉一欄中的「No waiting in line for coffee」指的是馬斯克曾威脅要解雇所有在 SpaceX 公司排著長隊等咖啡的實習(xí)生，并安裝了攝像頭，以確保此類事件不會再次發(fā)生。（來源：https://twitter.com/rabois/status/1514601392178040836）

技術(shù)領(lǐng)先時間

對我來說，在選擇下一家公司時，最重要的決定因素是該公司是否擁有領(lǐng)先競爭對手?jǐn)?shù)年的技術(shù)優(yōu)勢。谷歌日志團隊的一位朋友告訴我，他對小公司不感興趣，因為他們在技術(shù)上遠遠落后于谷歌的行星級基礎(chǔ)設(shè)施，他們甚至還沒有開始理解谷歌現(xiàn)在正在解決的問題，更不用說解決谷歌十年前就已經(jīng)開始著手解決的問題了。

在上表中，我列出了我認為具有獨特技術(shù)優(yōu)勢的公司。例如，OpenAI 現(xiàn)在在招聘方面絕對是壓倒性的，因為他們在大型語言模型算法方面處于領(lǐng)先地位，能憑借模型 surgery 和超參數(shù)調(diào)優(yōu)這類商業(yè)機密玩轉(zhuǎn) scaling law。盡管 FAANG 在算力方面擁有優(yōu)勢，但 OpenAI 顯然在創(chuàng)造技術(shù)領(lǐng)先時間方面做得很好。

與此同時，如果拿一個 FAANG 的普通機器學(xué)習(xí)研究者和一個博士生相比，前者在 raw compute 方面要領(lǐng)先 15 年。谷歌和 DeepMind 的語言模型在大多數(shù)指標(biāo)上可能比 GPT-3 更強。但在有些情況下，計算方面的技術(shù)領(lǐng)先是不夠的。于是，一些研究人員離開了谷歌，因為在對外推出基于大型語言模型的產(chǎn)品時，他們不得不經(jīng)歷很多繁瑣的程序，這令他們非常不滿。

我認真考慮過將我的職業(yè)規(guī)劃轉(zhuǎn)向生成模型（generative models），因為：1. 機器人學(xué)非常難；2. 在 ML 泛化方面，最令人印象深刻的案例似乎總是在生成式建模中。然而，純生成的建?？臻g感覺競爭有點激烈，每個人都在為擁有同樣的產(chǎn)品和研究想法而奮斗。不管有沒有我，這個領(lǐng)域都可能以同樣的方式發(fā)展。

擁有未來技術(shù)對于招聘工程師來說非常重要，因為他們中的許多人并不想浪費自己的生命去建立別人已經(jīng)擁有的能力。舉個例子，這就像一個神經(jīng)科學(xué)實驗室試圖招募博士生用膜片鉗實驗研究猴子的大腦，而隔壁的實驗室正在使用光遺傳技術(shù)和 Neurallink 機器人。如果你有天賦，你可以自己重新發(fā)明這些，但這真值得你花費寶貴的時間嗎？

當(dāng)然，公司和研究實驗室不是一回事。從長遠來看，產(chǎn)品與市場的契合度，以及團隊構(gòu)建未來技術(shù)優(yōu)勢的能力將更加重要?，F(xiàn)有公司可能會變得臃腫、偏離軌道，而新貴公司可能會利用不同的優(yōu)勢，或?qū)⒃O(shè)計引向獨特的方向。很多獨角獸公司都不是先行者。

為什么不選擇自己開公司呢？

作為一個灣區(qū)人，我原本打算圍繞 MLOps 開辦自己的公司。我想建立一個領(lǐng)先的數(shù)據(jù)管理和標(biāo)注系統(tǒng)，用于 AGI + 主動學(xué)習(xí)。但有三件事改變了我的想法：

首先，我和一些客戶談了談，以了解他們的 ML 和數(shù)據(jù)管理需求，看看有沒有哪個產(chǎn)品市場比較適合我。他們的很多問題并不需要前沿技術(shù)來解決，但我對前沿技術(shù)之外的很多問題又不感興趣，比如為營銷活動構(gòu)建模擬器、為工廠中的機械臂拾放做出更好的姿勢評估器或?qū)τ脩籼嵋獌?nèi)容進行排名等。絕大多數(shù)企業(yè)都在解決無聊但重要的問題。但我希望我一生的工作是為人類實現(xiàn)更大的技術(shù)飛躍。

其次，我認為，在公司估值突破 1 億美元后，CEO 們很少能做出任何令人印象深刻的技術(shù)貢獻。要想把工作做得很好，他們就要花大部分時間去處理協(xié)調(diào)、產(chǎn)品和公司層面的問題。他們積累了令人難以置信的社交渠道和影響力，甚至可能不時提交一些代碼，但他們每天的日程安排充滿了 bullshit，他們再也不會卓有成效地修補這些代碼了。類似情況也發(fā)生在高級研究人員身上。這讓我非常害怕。

著名計算機科學(xué)家、圖靈獎得主理查德 · 漢明在他的演講《You and Your Research》中說道，「如果你有了一些出色的成果，你就會被拉進各種委員會，然后沒辦法再出新的成果?！?/span>

有傳聞?wù)f，Ken Thompson 在妻子出去度假一個月的時間里寫出了 UNIX 操作系統(tǒng)，因為這個月他有時間專注于更深層次的工作。《The Murder of Wilbur Wright》中寫道，如果這是真的，那該有多可怕？有沒有可能 Thompson 一生都背負著沉重的責(zé)任，然后在一個短暫的自由時刻做了一些任何人都沒有做過的最重要的工作？

最后，我選擇的 Halodi 已經(jīng)建立了非常棒的技術(shù)，他們給了我一個難得的機會去體驗未來生活，這些都建立在領(lǐng)先時代 5 + 年的東西之上。我對 Bernt（公司 CEO）對人體解剖學(xué)的尊重印象深刻：從使我們即使沒有精確規(guī)劃依然可以抓握的過阻尼系統(tǒng)的內(nèi)在被動智能，到讓我們在幾乎不消耗能量的情況下穿過可變地形的足部彈簧系統(tǒng)。我們都相信，當(dāng)你想圍繞人類而不是機器來設(shè)計世界時，類人機器人在完成大多數(shù)任務(wù)時并非「矯枉過正」，而是唯一可行的形式。

條條道路通羅馬

幾個月前，我問 Ilya Sutskever（OpenAI 首席科學(xué)家），到底是創(chuàng)辦一個純粹的 AGI 研究實驗室（如 OpenAI、DeepMind），還是一個可以盈利的技術(shù)公司更有意義，后者可以產(chǎn)生構(gòu)建 AGI 所需的數(shù)據(jù)護城河。

Ilya 說：「條條大路通羅馬，每一家成功的科技公司都將會成為 AGI 公司。」

這聽起來有點令人詫異，但你應(yīng)該記得，重復(fù)改進一個產(chǎn)品涉及到指數(shù)級難度增長的更深度的技術(shù)。

• 在半導(dǎo)體制造中，從 32nm 工藝節(jié)點縮小到 14nm 是相當(dāng)困難的，但從 14nm 到 7nm 是更加困難的，你需要解決超純水之類的中間問題；
• 在 1980 年代，為漸凍癥患者創(chuàng)建一個簡單的文本轉(zhuǎn)語音系統(tǒng)已經(jīng)成為可能，但改進邊緣情況的發(fā)音和自然地處理語調(diào)變化還要得益于深度學(xué)習(xí)的突破；
• 在單臺計算機上你就可以訓(xùn)練一個不錯的字符級語言模型，但從條件字符建模中去除一些熵需要依靠數(shù)據(jù)中心；
• 高速公路的自動駕駛并不太難，但在住宅區(qū)道路上實現(xiàn) L5 級別的自動駕駛才被認為是完備的 AGI。

為了在未來幾十年繼續(xù)為客戶增加邊際價值，企業(yè)們必須習(xí)慣于解決一些非常困難的問題。也許最終每個人都會聚在一起解決同樣的難題，即 AGI，這樣他們就可以制作具有競爭力的短視頻應(yīng)用程序、待辦事項列表或語法檢查器。我們可以對「AGI」的含義以及所有公司實現(xiàn)這一點需要多長時間持懷疑態(tài)度，但我覺得基礎(chǔ)模型很快就會成為許多軟件產(chǎn)品的下注之地。

我還想知道幾年后，無損壓縮大量互聯(lián)網(wǎng)級數(shù)據(jù)的專業(yè)知識是否將不再成為技術(shù)領(lǐng)先者 (FAANG) 之間的防御護城河。因此，尋找輔助數(shù)據(jù)和業(yè)務(wù)護城河以疊加到大規(guī)模 ML 專業(yè)知識上是有意義的。通往 AGI 的道路有很多條，我在下面為一些大型玩家勾勒出了這些道路：

例如，Alphabet 擁有很多有價值的搜索引擎數(shù)據(jù)，可以捕捉到人類的想法和好奇心。Meta 記錄了大量的社會智能數(shù)據(jù)和性格特征。如果他們愿意，他們可以收集 Oculus 控制器的交互來創(chuàng)建人類行為的軌跡，然后將這些知識用于以后的機器人技術(shù)。TikTok 的推薦算法可能比我們更了解自己的潛意識。即使是像 Grammarly、Slack 和 Riot Games 這樣的公司，也擁有用于人類智能的獨特數(shù)據(jù)護城河。

這些公司中的每一個都可以利用他們的業(yè)務(wù)數(shù)據(jù)作為創(chuàng)造通用智能的楔子，通過行為克隆人類的思想和欲望本身。

我個人（通過加入 Halodi）押注的護城河是「比其他任何公司都領(lǐng)先 5 年的人形機器人」。Halodi 已經(jīng)有了，而特斯拉正在開發(fā)他們的同類產(chǎn)品。我在 Halodi 的主要工作最初是訓(xùn)練模型以解決移動操作中的特定客戶問題，同時也為 AGI 制定路線圖：如何從人形形式壓縮大量具身的第一人稱數(shù)據(jù)，從而產(chǎn)生通用智能、心智理論和自我意識。

近年來，具身 AI 和機器人研究已經(jīng)失去了一些光彩，因為大型語言模型現(xiàn)在可以解釋笑話，而機器人仍然在以不可接受的成功率進行拾取和放置。但或許，這值得一次反向押注，即僅在比特世界對模型進行訓(xùn)練是不夠的，莫拉維克悖論根本不是悖論，而是我們沒有解決「大部分智能」的后果。

莫拉維克悖論是由人工智能和機器人學(xué)者所發(fā)現(xiàn)的一個和常識相左的現(xiàn)象。和傳統(tǒng)假設(shè)不同，人類所獨有的高階智慧能力只需要非常少的計算能力，例如推理，但是無意識的技能和直覺卻需要極大的運算能力。如莫拉維克所寫，「要讓電腦如成人般地下棋是相對容易的，但是要讓電腦有如一歲小孩般的感知和行動能力卻是相當(dāng)困難甚至是不可能的」。

選擇之后的擔(dān)憂

我對 Halodi（以及一般的 AGI 初創(chuàng)公司）有一些真正的擔(dān)憂。歷史告訴我們，機器人公司的死亡率很高，我不知道有哪家通用機器人公司曾經(jīng)成功過。

機器人公司傾向于從通用機器人的使命開始，然后迅速轉(zhuǎn)向?qū)Ｗ⒂谝恍o聊的事情。波士頓動力、Kindred、Teleexistence——名單不勝枚舉。就像在商業(yè)和生活中一樣，資本和進化的力量共同支持著硬件的專業(yè)化，而不是智能的普遍化。我祈禱這不會發(fā)生在我們身上。

我想起了 Gwern 關(guān)于「時機」的文章：過早推出意味著失敗，但保守和過晚推出同樣糟糕，因為無論預(yù)測如何，一個好主意都會像火一樣吸引過度樂觀的飛蛾一樣的研究人員或企業(yè)家: 所有人都被獻祭了，只有一個運氣好、在完美瞬間親吻火焰的人，最后贏得了一切，此時每個人都可以看到最佳時機已經(jīng)過去。

但我也提醒自己理查德 · 海明對克勞德 · 香農(nóng)的評價：

「他想創(chuàng)造一種編碼方法，但他不知道該怎么做，所以他創(chuàng)造了一種隨機代碼，接著就被卡住了。然后他問了一個不可能的問題：這些平均隨機代碼能做什么？然后他證明了這些平均代碼是隨機良好的，也就是說至少有一個代碼是良好的。除了有無畏勇氣的人，誰敢這么想？」

人生苦短，做任何事都需要無限的勇氣。