作者 | 徐杰承

審校 | 云昭

“AI確實可能會殺死人類。”這并不是哪家自媒體為博人眼球而發(fā)表的謠言，而是ChatGPT之父、OpenAI CEO山姆·奧爾特曼在今年3月與MIT研究科學(xué)家Lex Fridman對話時親口所說的一句話。

如今，這位全世界最受矚目的老板決定采取行動，以阻止自己的預(yù)言發(fā)生——OpenAI通過7月5日發(fā)表于官網(wǎng)的博客表示，公司正在組建一個頂級AI團(tuán)隊，計劃于四年內(nèi)解決超級AI的核心技術(shù)挑戰(zhàn)并實現(xiàn)對超級AI的完全掌控。

更值得一提的是，為了能更好的完成對新團(tuán)隊的構(gòu)建，OpenAI本次甚至開啟了團(tuán)隊核心崗位的對外招聘通道。目前所公布的三個職位，年薪范圍在24.5至50萬美元不等。

圖片

1、我們創(chuàng)造了過于強大的黑盒

根據(jù)OpenAI的說法，超級智能將會是人類有史以來所發(fā)明的最具影響力的技術(shù)，將能夠幫助人類解決世界上許多最重要的問題。但不可忽視的是，超級智能的巨大力量也同樣危險，可能導(dǎo)致人類喪失許多核心技能，甚至徹底滅絕人類。

雖然就目前而言，即便是最先進(jìn)的大模型GPT4與超級智能依然相差甚遠(yuǎn)，但OpenAI認(rèn)為超級智能的到來只需要十年甚至更短。并且如今人類在AI方面的技術(shù)積累，就連GPT4的推理能力都無法解讀，更不要說在未來控制比人類聰明太多的超級智能。

想要管理超級智能可能帶來的風(fēng)險，就需要建立相應(yīng)的治理組織，來解決超級智能AI對齊的問題。然而遺憾的是，我們至今仍然沒有解決方案能夠操縱或控制潛在的超級智能，以防止將來可能發(fā)生的危險。

現(xiàn)階段最有效的對齊人工智能的技術(shù)之一，正是GPT4中所使用的基于人類反饋的強化學(xué)習(xí)（RLHF），但依靠這種基于人類監(jiān)督的AI能力，我們無法可靠地監(jiān)督比我們聰明太多的人工智能系統(tǒng)。因此目前的對齊技術(shù)無法有效覆蓋超級智能，這使得我們急需尋找新的科技突破。

2、OpenAI的三步計劃

對于超級智能的潛在風(fēng)險，OpenAI也給出了目前他們認(rèn)為切實可行的解決方案，那就是建立一個人類水平的“自動對齊研究系統(tǒng)”，這樣人類便能夠依靠大量算力擴(kuò)展研究工作，以實現(xiàn)對超級智能的控制和調(diào)整。

而創(chuàng)建這個自動對齊研究系統(tǒng)，則大致需要分為三步，包括開發(fā)可擴(kuò)展的訓(xùn)練方法；驗證生成模型結(jié)果，以及對整個對齊管道進(jìn)行壓力測試。

1. 為了在人類難以評估的任務(wù)上提供訓(xùn)練信號，OpenAI決定利用人工智能系統(tǒng)協(xié)助評估其他人工智能系統(tǒng)。此外，他們希望能夠了解并控制AI模型是如何將監(jiān)督推廣到人類研究員無法監(jiān)督的任務(wù)上。
2. 在驗證自動對齊系統(tǒng)的一致性方面，可以搜索有問題的模型行為和出現(xiàn)問題的模型的內(nèi)部結(jié)構(gòu)。
3. 最后，在完成上述的工作后，可以通過訓(xùn)練未對齊的模型來測試對齊系統(tǒng)的整個管道，并確認(rèn)系統(tǒng)最終監(jiān)測到的其余模型的未對齊行為，也就是我們熟知的對抗測試。

OpenAI表示，隨著人們對AI模型不可控行為了解的深入，人類對于AI模型的研究重點可能將會發(fā)生實質(zhì)性的變化，甚至有可能會演變出全新的AI研究領(lǐng)域。而在未來，公司也將隨著研究的深入公開更多的研究路線及研究成果。

3、聯(lián)合創(chuàng)始人帶隊的頂級天團(tuán)

為了能夠更好的構(gòu)建這個自動對齊系統(tǒng)，OpenAI決定組建一個全新的頂級人工智能專家團(tuán)隊。團(tuán)隊將由OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskever以及OpenAI對齊團(tuán)隊負(fù)責(zé)人Jan Leike共同領(lǐng)導(dǎo)。

OpenAI聯(lián)合創(chuàng)始人兼首席科學(xué)家Ilya Sutskeve

團(tuán)隊目前的其余成員，則包括此前在公司內(nèi)部負(fù)責(zé)AI對齊的研究人員和工程師，以及來自其他研發(fā)團(tuán)隊的AI專家。并且在接下來的四年里，OpenAI決定將公司此后所獲得算力的20%分配給該團(tuán)隊，用以完成新系統(tǒng)的訓(xùn)練。

這將會是一項關(guān)乎未來的賭注，而OpenAI最具價值的籌碼便是這個正在組建的超級團(tuán)隊。公開博客中也提到，正確完成這項任務(wù)對實現(xiàn)OpenAI的使命至關(guān)重要，希望新團(tuán)隊包括其他內(nèi)外部組織都能為之作出貢獻(xiàn)，并最終將可靠的新方法推廣部署到更多領(lǐng)域之中。

4、核心崗位重金招聘

而這篇博客中的另一個重點，則是OpenAI正在開展新團(tuán)隊核心崗位的對外招聘。博客中提到：“為了解決這個時代最重要的技術(shù)問題，我們需要世界上最優(yōu)秀人才的幫助。如果你已經(jīng)在機器學(xué)習(xí)領(lǐng)域取得了成功，這將是你為世界作出巨大貢獻(xiàn)的機會。”

目前所公開的三個核心崗位包括研究工程師（research engineer）、研究科學(xué)家（research scientist）以及研究經(jīng)理（research manager）：

研究工程師：年薪范疇24.5至45萬美元。職責(zé)主要為機器學(xué)習(xí)訓(xùn)練代碼的編寫；進(jìn)行機器學(xué)習(xí)實驗及分析，以及與團(tuán)隊合作規(guī)劃未來實驗。細(xì)節(jié)方面則包括探索可擴(kuò)展監(jiān)督技術(shù)；研究管理數(shù)據(jù)集和模型獎勵信號；預(yù)測模型行為以及設(shè)計對齊研究方法。

研究科學(xué)家：年薪范疇同樣為24.5至45萬美元。崗位職責(zé)主要為開發(fā)創(chuàng)新的機器學(xué)習(xí)技術(shù)，并為公司的研究愿景作出貢獻(xiàn)。工作包括對齊研究實驗的設(shè)計、研究方法總結(jié)；管理數(shù)據(jù)集，以及探索模型行為和設(shè)計新的實驗方法。

研究經(jīng)理：年薪范疇42至50萬美元。主要負(fù)責(zé)管理由科學(xué)家和工程師組成的團(tuán)隊，整合大模型和超級智能研究成果。該角色需要能夠規(guī)劃和執(zhí)行研究項目，指導(dǎo)團(tuán)隊成員，以及培養(yǎng)團(tuán)隊的多元化和包容性文化。

5、終極目標(biāo)：四年內(nèi)解決一切

但話說回來，盡管目前新團(tuán)隊的陣容已然非常強大，OpenAI也在不惜重金招賢納士，但想要完成這項任務(wù)的難度也同樣可想而知，就連山姆·奧爾特曼自己也坦言不敢保證最終能取得成功。

然而值得高興的一點是，目前該團(tuán)隊的許多想法在初步實驗中已經(jīng)取得了一定成果，AI對齊的衡量標(biāo)準(zhǔn)也在一次次實驗中變得愈加完善，甚至如今一些創(chuàng)新性方法已經(jīng)被運用到了解決GPT4幻覺的實驗之中。

對于團(tuán)隊的終極目標(biāo)，OpenAI表示計劃利用四年時間完成自動對齊系統(tǒng)的構(gòu)建，并徹底理解和減輕現(xiàn)有AI大模型以及未來可能出現(xiàn)的超級智能的所有技術(shù)風(fēng)險，包括AI濫用、經(jīng)濟(jì)破壞、虛假信息、偏見與歧視，以及人類對AI的過度依賴。

除此之外，OpenAI還提到在未來的研究過程中，除了在技術(shù)方面的探索外，新團(tuán)隊也將積極與外部的跨學(xué)科專家及組織進(jìn)行合作，以確保將技術(shù)價值發(fā)揮到最大，盡可能解決AI除技術(shù)風(fēng)險之外可能造成的廣泛的人類及社會領(lǐng)域問題。

6、這個時代最重要的課題

歸根結(jié)底，無論是目前OpenAI對超級智能的擔(dān)憂，還是近來廣被用戶詬病的大模型幻覺問題，落到實處所表現(xiàn)出的其實都是現(xiàn)有技術(shù)在AI監(jiān)管和治理能力上的不足，而這也是當(dāng)前時代人類最亟待解決的一個課題。

隨著ChatGPT將我們帶入AI2.0時代，人工智能所能創(chuàng)造的價值也被抬升到了一個全新的高度。然而伴隨著技術(shù)及應(yīng)用的不斷下沉，AI所帶來的造假、幻覺、濫用等問題也在極大程度上暴露出了這項技術(shù)“雙刃劍”的屬性。

無論是現(xiàn)在還是將來，人工智能戰(zhàn)略的終極追求除了AGI以外，更重要的一點正是完全的可解釋性。正如一位網(wǎng)友在Twitter上所說，如果有一天我們真的創(chuàng)造出了一個過于強大的黑盒，那將給人類帶來極大麻煩。

除此之外，解決AI系統(tǒng)的黑盒問題，也將成為未來科技巨頭們競爭的核心戰(zhàn)場。畢竟誰能夠率先完成這項壯舉，誰就有機會徹底占據(jù)現(xiàn)有市場，并將自己的AI產(chǎn)品及業(yè)務(wù)擴(kuò)張到更多對手無法企及的藍(lán)海領(lǐng)域。

當(dāng)然，無論出于何種目的考慮，如今的OpenAI已經(jīng)在這條道路上再次邁出了堅實的一步。與此同時，也讓我們期待未來能夠有更多具備強勁實力的企業(yè)加入這場意義重大的遠(yuǎn)征。

最后，如果你對于OpenAI新團(tuán)隊的招聘信息與崗位待遇感興趣 ，可以從以下鏈接了解詳情：https://openai.com/careers/search

參考鏈接：

https://openai.com/blog/introducing-superalignment#JanLeike

https://analyticsindiamag.com/openai-aims-to-achieve-superintelligence-before-2030/