最近，哈佛的一名AI專業(yè)大四學(xué)生給出了自己的預(yù)測(cè)：AGI將在三年后實(shí)現(xiàn)。

而在2026年，AI就已經(jīng)會(huì)接管大部分人類的工作。

圖片

做出這樣的預(yù)測(cè)，他有充分的理由。

在這期間，他曾主持了多個(gè)縮短AGI時(shí)間表的小型研討會(huì)，匯集了大約50名參與者的想法。

圖片

同時(shí)，他還參與和領(lǐng)導(dǎo)了多場(chǎng)短期的AGI兵棋推演。

圖片

最后，他寫出這樣一篇博文。

圖片

文章內(nèi)容包括——

• 3年AGI時(shí)間表的故事，包括各種變量和重要的參與者
• 目前尚未滿足的人類生存先決條件
• 穩(wěn)妥的優(yōu)先行動(dòng)

文中假設(shè)，AGI出現(xiàn)時(shí)間點(diǎn)的中位數(shù)為2027年。作者并沒有花太多篇幅論證這一觀點(diǎn)，而是更關(guān)注3年時(shí)間表的影響。

在這里，AGI被定義為能夠完成2022年95%遠(yuǎn)程勞動(dòng)力工作的AI系統(tǒng)。

但如何定義并不那么重要，因?yàn)橐坏┪覀儗?shí)現(xiàn)了AI研發(fā)的自動(dòng)化，幾乎所有對(duì)AGI的定義都會(huì)很快被滿足（除非出現(xiàn)協(xié)調(diào)放緩或?yàn)?zāi)難性事件）。

圖片

3年AGI時(shí)間表

到2025年6月底，SWE-bench大約達(dá)到85%，在限定人力預(yù)算的情況下，RE-bench約為1.1，超過了8小時(shí)人類得分的70個(gè)百分位。

到2025年底，AI助手能夠勝任大多數(shù)需要2小時(shí)完成的真實(shí)世界軟件工程任務(wù)。

當(dāng)AGI公司的員工需要完成一些小型的公關(guān)任務(wù)或編寫小型數(shù)據(jù)分析管道時(shí)，他們會(huì)優(yōu)先尋求AI助手的幫助。

后者A能編寫或修改多個(gè)交互文件，大多數(shù)情況下不會(huì)出現(xiàn)錯(cuò)誤。

圖片

3年時(shí)間表下的基準(zhǔn)預(yù)測(cè)。OSWorld和CyBench排名不高的很大一部分原因，是作者不確定人們是否會(huì)報(bào)告這些基準(zhǔn)測(cè)試的結(jié)果。鑒于基準(zhǔn)結(jié)果與現(xiàn)實(shí)世界影響之間存在巨大脫節(jié)，暫時(shí)認(rèn)為這種實(shí)際情況并不能成為3年時(shí)間表的有力證據(jù)

到2026年底，AI智能體將能勝任多天的編碼任務(wù)。

AGI公司的員工們都嚇壞了，他們會(huì)預(yù)計(jì)，能在95%的虛擬工作中擊敗人類的AI兩年內(nèi)就能創(chuàng)造出來，并且超級(jí)智能也會(huì)很快出現(xiàn)。

政府會(huì)意識(shí)到，AI將對(duì)國(guó)家實(shí)力產(chǎn)生決定性的影響，并且會(huì)在2026年鎖定AGI公司。

也就是說，到時(shí)候AGI公司會(huì)被采取近乎國(guó)有化的極端政府管理形式。

就像核武器戰(zhàn)爭(zhēng)一樣，各國(guó)都會(huì)處在高速競(jìng)爭(zhēng)的狀態(tài)。

從2027年開始，這個(gè)公司的大部分高質(zhì)量勞動(dòng)力，都會(huì)是AI智能體。

而領(lǐng)導(dǎo)層的主要決策，就集中在如何將數(shù)百萬AI智能體分配到不同的研究領(lǐng)域，比如AI研發(fā)、安全、商業(yè)應(yīng)用、軍事應(yīng)用、網(wǎng)絡(luò)安全、運(yùn)營(yíng)、通信、政策工作，以及公司中幾乎所有以計(jì)算機(jī)為基礎(chǔ)的工作。

此時(shí)，人類員工的作用已經(jīng)不太重要，他們的主要任務(wù)是為陷入困境的AI智能體團(tuán)隊(duì)提供幫助，回答它們?cè)诠ぷ髦杏龅降膯栴}，充當(dāng)?shù)诙庖姷慕巧?/p>

基于年份的變量

請(qǐng)注意，故事到了中段，開始發(fā)生了重大的動(dòng)態(tài)變化，這也意味著戰(zhàn)略格局的顯著轉(zhuǎn)變。

前自動(dòng)化時(shí)代（2025-2026年）

在2025年和2026年，大多數(shù)工作仍由人類完成。

最重要的問題集中在如何分配人力，以及AI實(shí)驗(yàn)室和供應(yīng)鏈其他環(huán)節(jié)所面臨的商業(yè)和監(jiān)管壓力上。

在前自動(dòng)化時(shí)代，人類的首要任務(wù)是迅速找到安全的方法，將研究工作委托給AI智能體。

任何以安全為導(dǎo)向的研究，主要就是為了控制這些早期智能體，因?yàn)樗鼈冎髸?huì)自主進(jìn)行研究。

這個(gè)時(shí)代的另一件必做的事，就是找到方法來判斷當(dāng)前的安全干預(yù)夠不夠，是否足以防止大量AI智能體背著人類密謀一些不良行為。

這時(shí)，我們需要建一個(gè)中止系統(tǒng)，而且在無法證明安全性的時(shí)候，也能說服他人暫停。

然而隨著AI「核戰(zhàn)爭(zhēng)」加劇，這一點(diǎn)將會(huì)變得愈加困難。

后自動(dòng)化時(shí)代（2027 年以后）

2026年之后，大部分工作由AI完成。這時(shí)，研究工作基本已經(jīng)脫離了人類的掌控，但人類員工仍然會(huì)參與高層決策，并與AGI公司以外的人類進(jìn)行對(duì)接。

到2028年底，人類已無法在技術(shù)研究方面做出貢獻(xiàn)。

這一時(shí)期的主要問題，集中在AI智能體的分配，及其被賦予的優(yōu)先事項(xiàng)。

關(guān)于這一階段的重要問題包括——

1. AI智能體所追求的總體研究計(jì)劃有多好？

例如，如果最初負(fù)責(zé)規(guī)劃研究方向的人類對(duì)AI安全問題本質(zhì)上存在誤解，即使AI智能體最初是善意的，模型對(duì)齊的希望也可能因此破滅。

2. 公司在安全導(dǎo)向研究上投入了多少資源？

比如，是投入0.1%還是25%的算力用于安全研究，可能會(huì)對(duì)安全工作的成敗產(chǎn)生巨大影響。

重要玩家

AGI公司領(lǐng)導(dǎo)者

他們引導(dǎo)著AGI公司的大方向。

安全研究人員

內(nèi)部人類AI安全研究員 —— 他們負(fù)責(zé)制定前自動(dòng)化和后自動(dòng)化時(shí)期的研究計(jì)劃，并完成大部分將在前自動(dòng)化實(shí)施的安全研究。他們還監(jiān)督自動(dòng)化的安全研究員的工作。

內(nèi)部自動(dòng)化AI安全研究員 —— 他們完成了自動(dòng)化時(shí)代大部分已實(shí)施的安全研究。

外部人類AI安全研究員 —— 他們進(jìn)行前自動(dòng)化的研究，其中只有一小部分會(huì)被內(nèi)部采納實(shí)施。他們還從外部對(duì)前自動(dòng)化和后自動(dòng)化研究計(jì)劃的公開部分進(jìn)行批評(píng)和審查。

然而，由于國(guó)家安全原因，公共知識(shí)與私有知識(shí)之間的差距將在自動(dòng)化后擴(kuò)大，他們可能在這一階段變得無關(guān)緊要。

美國(guó)政府

其他國(guó)家政府、美國(guó)人工智能安全機(jī)構(gòu)（AISI）或其他政府機(jī)構(gòu)、智庫(kù)、高地位科學(xué)家以及公眾，對(duì)AGI公司施加壓力和影響。

在AGI階段（很可能在超級(jí)智能之前），這些公司可能就會(huì)國(guó)有化或者監(jiān)管。

圖片

落后的AGI公司

它們會(huì)被施加競(jìng)爭(zhēng)壓力，并設(shè)定安全先例。

最終，它們可能會(huì)與主要AGI項(xiàng)目合作或被收購(gòu)。

如果不合作或未被主要AGI項(xiàng)目收購(gòu)，則很可能在超級(jí)智能出現(xiàn)之前，它們的大部分算力會(huì)被征用。

不良行為者

這些人會(huì)試圖竊取、濫用AI技術(shù)。

注意：「人工智能安全社區(qū)」并不在此列表中。

在作者看來，沒有太多資本（金融、社會(huì)、知識(shí)或其他資本）的外部人士，并沒有那么大的影響力。

目前尚未滿足的人類生存先決條件

一個(gè)合理的啟動(dòng)計(jì)劃

目前，AGI公司缺乏明確的愿景，無法安全地將研究工作交給AI智能體。

對(duì)齊方法 —— 各公司尚未公開制定默認(rèn)計(jì)劃，明確應(yīng)將哪些研究領(lǐng)域分配給AI智能體群體。

算力承諾 —— 即使有合理的對(duì)齊方法，缺乏明確的算力分配承諾，也可能導(dǎo)致分配給對(duì)齊工作的AI智能體和算力比例不足。

前沿安全框架 —— 關(guān)于SL-4和SL-5的要求和承諾目前非常不清晰，在啟動(dòng)階段存在大量偷工減料的可能性。

控制 —— 安全地將工作交給AI智能體（或判斷其是否安全）的科學(xué)方法，仍然很不成熟。

國(guó)家級(jí)網(wǎng)絡(luò)安全保障

如果不良行為者能夠竊取先進(jìn)AI系統(tǒng)的參數(shù)權(quán)重，他們的濫用行為可能就會(huì)導(dǎo)致局勢(shì)變得極其不可預(yù)測(cè)，同時(shí)也可能使更不謹(jǐn)慎的實(shí)體得以創(chuàng)造出先進(jìn)的AI系統(tǒng)。

應(yīng)對(duì)全球緊張局勢(shì)的方法

AGI的誕生，將擾亂各國(guó)之間的軍事力量平衡，可能使某個(gè)實(shí)體獲得決定性的戰(zhàn)略優(yōu)勢(shì)。

作者認(rèn)為，未來10年內(nèi)爆發(fā)核戰(zhàn)爭(zhēng)的概率約為15%，這主要?dú)w因于默認(rèn)情況下啟動(dòng)階段所引發(fā)的極端緊張局勢(shì)。因此，找到避免核戰(zhàn)爭(zhēng)的方法至關(guān)重要。

在冷戰(zhàn)期間，曾多次發(fā)生將人類推向毀滅邊緣的核危機(jī)，其中一些是戰(zhàn)略平衡變化的后果（如古巴導(dǎo)彈危機(jī)）。

美國(guó)曾因柏林封鎖，而威脅蘇聯(lián)發(fā)動(dòng)核戰(zhàn)爭(zhēng)。超級(jí)智能的誕生將使這些危機(jī)相形見絀，問題是相關(guān)官員是否能認(rèn)識(shí)到這一點(diǎn)。

正確實(shí)施國(guó)有化

把握時(shí)機(jī) —— 如果國(guó)有化發(fā)生得太晚（例如在AGI之后），項(xiàng)目中可能會(huì)因隨之而來的混亂和快速變化而產(chǎn)生糟糕的決策。

制定默認(rèn)計(jì)劃 —— 2025年或2026年可能會(huì)出現(xiàn)鎖定實(shí)驗(yàn)室的重大政治意愿。如果屆時(shí)還沒有合理的默認(rèn)計(jì)劃或路線圖，那么這個(gè)計(jì)劃可能在許多方面都不是最佳的，而且制定的人缺乏相關(guān)的專業(yè)知識(shí)。

積累政治資本 —— 如果具備相關(guān)專業(yè)知識(shí)的人沒有被重要決策者所熟知，那么缺乏相關(guān)專業(yè)能力的人，可能就會(huì)被任命為項(xiàng)目領(lǐng)導(dǎo)人。

在國(guó)有化過程中保留安全專家 —— 如果國(guó)有化的推進(jìn)驅(qū)逐了所有AI安全專家，項(xiàng)目可能會(huì)因缺乏技術(shù)專長(zhǎng)而無法使其模型足夠安全。

至于哪些人會(huì)被保留，很大程度上取決于領(lǐng)導(dǎo)層和以能力為導(dǎo)向的員工是否重視安全問題，而這又很大程度取決于是否建立了對(duì)安全問題的共同認(rèn)知。

穩(wěn)妥的優(yōu)先行動(dòng)

加入那些對(duì)未來發(fā)展有重要影響的機(jī)構(gòu)

想想你希望被誰雇傭，以及你還差多少能力、條件才夠格。

如果你正在外部從事研究，記得將研究方向的重要性乘以研究成果在內(nèi)部實(shí)際實(shí)施的概率。一個(gè)簡(jiǎn)單的判斷標(biāo)準(zhǔn)是，研究是否有可能被分享到內(nèi)部的Slack上。

在嚴(yán)格的政府監(jiān)督下，內(nèi)部研究可能需要某種形式的安全許可。因此，避免吸毒、避免負(fù)債、遠(yuǎn)離可疑人士，減少不必要的對(duì)外接觸。

幫助為重要角色提供信息

許多關(guān)鍵角色，都希望從對(duì)AGI和AGI安全有深入思考的人那里獲得建議。當(dāng)他們有問題時(shí)，他們是否會(huì)首先想到聯(lián)系你？

制定實(shí)際計(jì)劃

逐年制定計(jì)劃是一個(gè)不錯(cuò)的方法——例如，計(jì)劃在2025年底、2026年底、2027年底之前完成什么。

記住關(guān)鍵時(shí)限

只有在AGI出現(xiàn)之前必須完成的事情才是最重要的，因?yàn)锳GI可以完成其他事情。

作者承認(rèn)，現(xiàn)在對(duì)較長(zhǎng)時(shí)間線的預(yù)測(cè)有一些賭注的成分，但他認(rèn)為，跟20年AGI時(shí)間線下的潛力相比，這些事情的優(yōu)先級(jí)應(yīng)該被適當(dāng)降低。

另外，在AGI出現(xiàn)后，可能會(huì)有約一年的「人機(jī)共存」時(shí)期。但作者認(rèn)為這不是一個(gè)重要的因素，因?yàn)槟壳斑€不清楚它會(huì)帶來什么獨(dú)特的影響。

讓一切加速

如果你的計(jì)劃是「我將做X，以便以后做Y」，那不如現(xiàn)在就開始做Y。

如果你的計(jì)劃是「我將為一家不相干的ML公司工作一年，以獲得進(jìn)入AGI公司的資歷」，可以考慮直接申請(qǐng)AGI公司，或者采取其他措施，加速這一行動(dòng)。

進(jìn)行相應(yīng)的投資

如果AGI在三年內(nèi)到來，這對(duì)你該如何構(gòu)建投資組合可能會(huì)產(chǎn)生重大影響，因?yàn)槟承┩顿Y與這一預(yù)測(cè)的相關(guān)性遠(yuǎn)高于其他投資。

資金可能在啟動(dòng)階段被用于快速涌現(xiàn)的機(jī)會(huì)，以引導(dǎo)事態(tài)發(fā)展，但如果人類在ASI之后幸存下來，目前尚不清楚資金還能有何用途（從先驗(yàn)來看，財(cái)產(chǎn)權(quán)可能會(huì)在一定程度上受到尊重）。

培養(yǎng)適應(yīng)力和韌性

隨著時(shí)間的推移，世界會(huì)變得越來越快。此時(shí)，保持冷靜和理智將對(duì)做出明智決策至關(guān)重要，而這種能力也會(huì)變得日益稀缺和寶貴。

-花時(shí)間思考未來，以及你在其中的位置

如果事實(shí)跟你預(yù)測(cè)的方向有出入，與其感嘆「天啊，這個(gè)世界太混亂了！」，不如換一個(gè)更有用的視角：「雖然我在細(xì)節(jié)上可能錯(cuò)了，但這與我預(yù)測(cè)的某些可能分支大致吻合，我已經(jīng)思考過如何在這些情況下行事。」

圖片

通過這種方式，你的一部分初步思考可以由現(xiàn)在的自己完成，減輕未來的自己的負(fù)擔(dān)。

這不僅在智力上有助于分擔(dān)負(fù)擔(dān)，更重要的是，它能在情感層面減少可能的驚訝或恐慌——已知的未知遠(yuǎn)比未知的未知讓人壓力小得多。

-不要忽視健康

雖然你可能會(huì)覺得，現(xiàn)在適合多奮斗，比以前多工作幾個(gè)小時(shí)，但如果想在啟動(dòng)階段明智地應(yīng)對(duì)局勢(shì)，我們的身體需要保持良好的狀態(tài)。

可持續(xù)性很重要，無論是3年還是10年的時(shí)間跨度，都需要養(yǎng)成類似的健康習(xí)慣。

最后的思考

如果你是基于10年或20年的時(shí)間線制定了當(dāng)前計(jì)劃，現(xiàn)在很可能需要在許多方面調(diào)整、加速。

以短時(shí)間線為基礎(chǔ)進(jìn)行規(guī)劃的一個(gè)優(yōu)勢(shì)是，大部分關(guān)鍵因素目前已經(jīng)基本到位，因此比起規(guī)劃10年后的未來要容易得多。

我們需要對(duì)如何讓AGI順利發(fā)展有較清晰的認(rèn)識(shí)。讓我們行動(dòng)起來，實(shí)現(xiàn)這一目標(biāo)。

參考資料：

https://www.lesswrong.com/posts/jb4bBdeEEeypNkqzj/orienting-to-3-year-agi-timelines