加入Anthropic才剛六個月的OpenAI聯創John Schulman，又火速選擇離開了！

此前，Schulman曾在OpenAI工作了9年。

去年8月份，他選擇離開OpenAI，加入Anthropic。

當時，他在給前同事們的信中表示，自己之所以做此選擇，目的是「深化自己對AI對齊的關注，開啟自己職業生涯的新篇章，回歸到能親自動手的技術工作」。

而如今加入Anthropic才剛半年，他卻又忽然選擇離開。

Anthropic：表示遺憾

Anthropic首席科學官Jared Kaplan在一份聲明中表示：「我們對John的離開感到遺憾，但完全支持他追求新機會的決定，并祝愿他一切順利?！?/span>

有人表示，Schulman的離職對Anthropic是一種打擊。他不僅是強化學習先驅，更是ChatGPT背后開發核心架構師。

2024年8月，時任OpenAI「后訓練」團隊負責人John Schulman，在推特上官宣入職勁敵Anthropic。

當時這個消息，就曾引起巨大震動。

原因不僅僅在于，Schulman是OpenAI最受矚目的技術領袖之一，帶領團隊為ChatGPT取得突破性成果做出了關鍵貢獻。

他離開的時節也十分敏感。當時，正處于OpenAI的高管離職潮，CTO Mira Murati在內的其他高管，也幾乎在同一時間離職。

對此，Sam Altman甚至十分鄭重地用了「大寫字母」來發文回應。

ChatGPT架構師，PPO一作

Schulman與OpenAI的結緣，是在研究生學業完成后，以創始人身份正式加入OpenAI。

至今，他已在OpenAI供職9年。值得一提的是，這是Schulman除實習之外，唯一工作的公司。

之前，他負責的是對齊團隊，隨后他開始主要領導「后訓練」團隊，對部署在ChatGPT和OpenAI API中的模型進行微調。

John Schulman本科在加州理工學院學習物理學，之后到加州大學伯克利分校攻讀神經科學方向的博士。

當時，他對人工智能也有點興趣，但在其中并沒有看到類似神經科學的可遵循的道路。

直到參與伯克利的實驗室輪換項目時，他與Pieter Abbeel共同進行了直升機和機器人方面的工作，由此決定轉到EECS（電子工程和計算機科學）。

Schulman與OpenAI結緣已久。作為ChatGPT架構師，早在2015年還在讀博士學位時，他就加入OpenAI成為聯合創始人之一。

在一次采訪中，Schulman解釋了自己加入OpenAI的原因：

「我想做人工智能方面的研究，我認為OpenAI這家公司的使命雄心勃勃，并且致力打造通用人工智能?！?/span>

「盡管，在當時談論AGI似乎有些瘋狂，但我認為開始考慮它是合理的，我希望在一個地方談論AGI是可以接受的。」

另外，據Schulman透露，OpenAI將人類反饋強化學習（RLHF）引入ChatGPT的想法可以追溯到2017年，當時Jan Leike和Dario Amodei等人發表的一篇論文提到了這個方法。

論文地址：https://arxiv.org/abs/1706.03741

此外，2017年，Schulman在OpenAI任職期間也和團隊首次提出了近端策略優化（PPO）算法，其變體PPO-Clip成為了OpenAI使用的主要算法。

論文地址：https://arxiv.org/abs/1707.06347

OpenAI安全團隊之所以致力于這項工作，是因為想讓模型符合人類的偏好，真正傾聽人類意見，并試圖做人類想做的事情。

在GPT-3完成訓練時，Schulman看到了整個研究方向的潛力并決定加入這股潮流。

在很多次采訪中，Schulman都表達了對于人工智能下一前沿領域的看法：AI在更艱難的任務上不斷進步的同時，人類應該做些什么？在哪些任務中，人類可以在大模型幫助下有更大影響力，做更多的工作。

此外，指路Schulman在個人博客上發布的機器學習研究指南，最初是在2017年為OpenAI 研究員計劃編寫的。干貨滿滿，值得一觀。

文章地址：http://joschu.net/blog/opinionated-guide-ml-research.html