驚天大瓜！

據(jù)外媒報道，OpenAI超級對齊團(tuán)隊(duì)的2名研究員，因泄露「機(jī)密」被正式開除！

而這也是今年3月Sam Altman重掌董事會席位后，OpenAI首次對外公開的人事變動。

被解雇的研究員之一Leopold Aschenbrenner，曾在新成立的超級對齊團(tuán)隊(duì)工作。

同時，他也是OpenAI首席科學(xué)家Ilya Sutskever的支持者，OpenAI內(nèi)斗風(fēng)波后，Ilya至今尚未在公開場合露面。

另一位被解雇的員工Pavel Izmailov，曾負(fù)責(zé)推理方面的研究，在安全團(tuán)隊(duì)亦有貢獻(xiàn)。

Leopold Aschenbrenner（左）， Pavel Izmailov（右）

值得一提的是，被解雇的這倆人，都是去年OpenAI超級對齊團(tuán)隊(duì)新論文的作者。

不過，目前尚不清楚，兩位被解雇員工具體泄露了哪些信息。

團(tuán)隊(duì)關(guān)鍵人物開除為哪般

OpenAI的發(fā)展情況，仍然是穩(wěn)中向好，勢如破竹，最近一次員工股票出售中，它的估值甚至一度高達(dá)860億美元。

而超級對齊團(tuán)隊(duì)（Superalignment），是OpenAI內(nèi)部一個頗具話題性的部門。

AI發(fā)展到最后，如果成為超級智能，好處是或許能幫我們解決核聚變問題，甚至開拓其他星球，但反過來，這么厲害的它，開始危害人類了怎么辦？

為此，在去年夏天，Ilya Sutskever成立了這個團(tuán)隊(duì)，來研發(fā)控制和指導(dǎo)超級智能的技術(shù)。

Aschenbrenner，恰恰就是超級智能對齊團(tuán)隊(duì)的關(guān)鍵人物之一。

一個爭議就是：這個團(tuán)隊(duì)真的有存在的必要嗎？

OpenAI內(nèi)部，員工對此意見不一。

此前的內(nèi)斗風(fēng)波，跟這個理念的爭議也脫不了干系。

作為OpenAI聯(lián)合創(chuàng)始人、重大技術(shù)突破負(fù)責(zé)人，Ilya曾與其他董事會成員一起，決定解雇Sam Altman，原因是他缺乏坦誠。

而Altman宮斗歸來、重返CEO之職后，Ilya離開了董事會，從此似乎銷聲匿跡，引來眾多網(wǎng)友的猜疑。

又是「有效利他主義」

耐人尋味的是，事件中的眾多人物，都有「有效利他主義」（Effective Altruism），有著千絲萬縷的關(guān)聯(lián)。

對齊團(tuán)隊(duì)關(guān)鍵人物Aschenbrenner，便是有效利他主義運(yùn)動的一員。

該運(yùn)動強(qiáng)調(diào)，我們應(yīng)該優(yōu)先解決AI潛在的風(fēng)險，而非追求短期的利潤或生產(chǎn)力增長。

說到這里，就不能不提大名鼎鼎的幣圈大佬、如今淪為階下囚的FTX創(chuàng)始人Sam Bankman-Fried了，他也是有效利他主義的忠實(shí)擁躉之一。

19歲時畢業(yè)于哥大的Aschenbrenner，曾在SBF創(chuàng)建的慈善基金Future Fund工作，該基金致力于資助能夠「改善人類長遠(yuǎn)前景」的項(xiàng)目。

一年前，Aschenbrenner加入了OpenAI。

而把Altman踢出局的其他董事會成員，也都被發(fā)現(xiàn)和有效利他主義有干系。

比如，Tasha McCauley是Effective Ventures的董事會成員，后者即是有效利他中心的母組織。

而Helen Toner曾在專注于有效利他的Open Philanthropy項(xiàng)目工作。

去年11月Altman重任CEO時，二人也都來開了董事會。

這樣看來，此次Aschenbrenner被開除究竟是因?yàn)樾姑埽€是因?yàn)槠渌颍椭档锰骄苛恕?/span>

總之，Sam Altman看來是跟有效利他主義主義的這幫人杠上了——畢竟他們的理念，實(shí)在是Altman理想中AGI（甚至ASI）的最大絆腳石。

Leopold Aschenbrenner

Leopold Aschenbrenner還在大三時，便入選了Phi Beta Kappa學(xué)會，并被授予John Jay學(xué)者稱號。

19歲時，更是以最優(yōu)等成績（Summa cum laude）從哥倫比亞大學(xué)順利畢業(yè)。

期間，他不僅獲得了對學(xué)術(shù)成就授以最高認(rèn)可的Albert Asher Green獎，并且憑借著「Aversion to Change and the End of (Exponential) Growth」一文榮獲了經(jīng)濟(jì)學(xué)最佳畢業(yè)論文Romine獎。

此外，他還曾擔(dān)任政治學(xué)的Robert Y. Shapiro教授和經(jīng)濟(jì)學(xué)的Joseph E. Stiglitz教授的研究助理。

Leopold Aschenbrenner來自德國，現(xiàn)居風(fēng)景優(yōu)美的加利福尼亞舊金山，志向是為后代保障自由的福祉。

他的興趣相當(dāng)廣泛，從第一修正案法律到德國歷史，再到拓?fù)鋵W(xué)，以及人工智能。目前的研究專注于實(shí)現(xiàn)從弱到強(qiáng)的AI泛化。

Pavel Izmailov

Pavel Izmailov在莫斯科國立大學(xué)獲得數(shù)學(xué)與計(jì)算機(jī)科學(xué)學(xué)士學(xué)位，在康奈爾大學(xué)獲得運(yùn)籌學(xué)碩士學(xué)位，并在紐約大學(xué)獲得計(jì)算機(jī)科學(xué)博士學(xué)位。

他的研究興趣廣泛，包括機(jī)器學(xué)習(xí)核心領(lǐng)域內(nèi)的多個主題，不過主要還是致力于深入理解深度神經(jīng)網(wǎng)絡(luò)是如何運(yùn)作的。

• 提升AI的推理和問題解決能力
• 深度學(xué)習(xí)模型的可解釋性，涵蓋大語言模型和計(jì)算機(jī)視覺模型
• 利用AI進(jìn)行科學(xué)發(fā)現(xiàn)
• 大規(guī)模模型的分布外泛化和魯棒性
• 技術(shù)AI對齊
• 概率深度學(xué)習(xí)、不確定性估計(jì)和貝葉斯方法

此外，他所在團(tuán)隊(duì)關(guān)于貝葉斯模型選擇方面的工作，更是在2022年的ICML上獲得了杰出論文獎。

加入OpenAI之前，他曾在亞馬遜、谷歌等大廠實(shí)習(xí)

從2025年秋季開始，Izmailov將加入紐約大學(xué)，同時擔(dān)任Tandon CSE系助理教授和Courant CS系客座教授，并加入NYU CILVR小組。

用GPT-2監(jiān)督GPT-4

在這項(xiàng)研究中，OpenAI團(tuán)隊(duì)提出了一個創(chuàng)新性模型對齊方式——用小模型監(jiān)督大模型。

Leopold Aschenbrenner對此解釋道，直覺告訴我們，超人類人工智能系統(tǒng)應(yīng)該能「感知」自己是否在安全地操作。

但是，人類能否僅通過「弱監(jiān)督」就從強(qiáng)大的模型中提取出這些概念呢？

在未來，AI系統(tǒng)可以處理極其復(fù)雜的任務(wù)，比如生成一百萬行代碼。

但是人類需要為其行為設(shè)置一些限制，不如「不要撒謊」或「不要逃離服務(wù)器」。

而目前，大模型這個黑盒，人類根本無法理解它們的行為，那我們?nèi)绾螌?shí)現(xiàn)這些限制？

通常情況下，我們會用人類的標(biāo)注來訓(xùn)練AI系統(tǒng)。

但是，相比于那些比我們聰明得多的AI系統(tǒng)，人類只能算是「弱監(jiān)督」。

也就是說，在復(fù)雜的問題上，人類提供的只是不完整或有缺陷的標(biāo)注。

好在，強(qiáng)大的模型已經(jīng)能夠明顯地，表示出像「這個行動是否危險」這樣的概念。

如此一來，人類就可以要求它說出自己知道的內(nèi)容，包括那些我們無法直接監(jiān)督的復(fù)雜情況。

為此，團(tuán)隊(duì)設(shè)計(jì)了一個巧妙的實(shí)驗(yàn)——當(dāng)我們用一個小模型來監(jiān)督大模型時，會發(fā)生什么？

強(qiáng)大的模型是否會模仿比它弱的監(jiān)督者，甚至包括它的錯誤呢？還是說，它能夠泛化到更深層次的任務(wù)或概念？

結(jié)果，他們驚喜地發(fā)現(xiàn)，果然可以利用深度學(xué)習(xí)的出色泛化能力來獲得幫助。

像GPT-2這種數(shù)到十都不會的弱雞模型，都可以來監(jiān)督能參加高考的GPT-4，讓它恢復(fù)到接近完美標(biāo)注的80%性能。

不過，目前這種方法只在某些情況下有效，所以如果我們只是簡單地應(yīng)用當(dāng)前對齊技術(shù)（比如RLHF）的話，在超人類模型的擴(kuò)展上可能遇到困難。

但作者認(rèn)為，超越弱監(jiān)督者的泛化是一個普遍現(xiàn)象，而人類可以通過簡單的方法大幅提高泛化能力。

針對這項(xiàng)研究，未來探索的方向可能包括：

1. 尋找更好的方法；
2. 加深科學(xué)理解：我們何時以及為什么能看到良好的泛化？
3. 采用類似的設(shè)置：實(shí)驗(yàn)設(shè)置與未來超級對齊問題之間還存在重要的不同——我們能解決這些問題嗎？

這項(xiàng)研究讓作者最興奮一點(diǎn)是，他們可以在對齊未來超人類模型的核心挑戰(zhàn)上，取得迭代的實(shí)證進(jìn)展。

很多以前的對齊工作要么陷入理論，要么雖然是實(shí)證的，但并未直接面對核心挑戰(zhàn)。

比如，在對齊領(lǐng)域有一個長期的觀點(diǎn)是「引導(dǎo)」。（不是直接對齊一個非常聰明的模型，而是首先對齊一個稍微聰明的模型，然后用它來對齊一個中等聰明的模型，依此類推）

現(xiàn)在，雖然還遠(yuǎn)遠(yuǎn)不夠，但OpenAI研究人員已經(jīng)可以直接進(jìn)行測試了。