AI，從來(lái)沒(méi)有像今天這樣，如此廣泛地影響著人類的生活，以及給人類帶來(lái)如此多的擔(dān)憂和麻煩。

像所有以往其他重大技術(shù)革新一樣，AI 的發(fā)展亦有兩面，一面向善，一面向惡，這也是當(dāng)前全球各國(guó)監(jiān)管機(jī)構(gòu)開(kāi)始積極介入的重要原因之一。

無(wú)論如何，AI 技術(shù)的發(fā)展好似已經(jīng)是大勢(shì)所趨、勢(shì)不可擋，如何讓 AI 在符合人類價(jià)值觀和倫理的前提下更加安全地開(kāi)發(fā)和部署，是當(dāng)前所有 AI 從業(yè)者都需要認(rèn)真思考的問(wèn)題。

今天，OpenAI 的三位聯(lián)合創(chuàng)始人——CEO Sam Altman、總裁 Greg Brockman、首席科學(xué)家 Ilya Sutskever 共同撰文探討了如何治理超級(jí)智能（superintelligence）的問(wèn)題。他們認(rèn)為，現(xiàn)在是開(kāi)始思考超級(jí)智能治理的好時(shí)機(jī)了--未來(lái)的人工智能系統(tǒng)甚至比AGI的能力還要大。

根據(jù)我們目前看到的情況，可以設(shè)想，在未來(lái)十年內(nèi)，人工智能（AI）將在大多數(shù)領(lǐng)域達(dá)到超越人類專家的技能水平，并能開(kāi)展與今天最大的公司之一一樣多的生產(chǎn)活動(dòng)。

無(wú)論是潛在的好處和壞處，超級(jí)智能將比人類過(guò)去不得不面對(duì)的其他技術(shù)更加強(qiáng)大。我們可以擁有一個(gè)不可思議般繁榮的未來(lái)；但我們必須管理好風(fēng)險(xiǎn)才能到達(dá)那里。考慮到存在風(fēng)險(xiǎn)（existential risk）的可能性，我們不能只是被動(dòng)地應(yīng)對(duì)。核能便是其中具有這種特性的技術(shù)的例子；另一個(gè)是合成生物學(xué)。

同樣，我們必須減輕當(dāng)前AI技術(shù)的風(fēng)險(xiǎn)，但超級(jí)智能將需要特殊的處理和協(xié)調(diào)。

一個(gè)起點(diǎn)

在我們成功引領(lǐng)這一發(fā)展的機(jī)會(huì)中，有許多重要的想法；在這里，我們對(duì)其中三個(gè)想法進(jìn)行了初步思考。

首先，我們需要在領(lǐng)先的開(kāi)發(fā)努力之間進(jìn)行一些協(xié)調(diào)，從而確保超級(jí)智能的開(kāi)發(fā)是以一種既能讓我們保持安全又能幫助這些系統(tǒng)與社會(huì)順利融合的方式進(jìn)行。有許多方法可以實(shí)現(xiàn)這一點(diǎn)；世界上的主要政府可以共同建立一個(gè)項(xiàng)目，讓許多當(dāng)前的努力成為其中一部分，或者我們可以通過(guò)「集體同意」（有一個(gè)新組織的支持力量，如下面建議的那樣）的方式，將前沿AI能力的增長(zhǎng)限制在每年一定的速度。

當(dāng)然，個(gè)別公司也應(yīng)該以極高的標(biāo)準(zhǔn)被要求負(fù)責(zé)任地進(jìn)行開(kāi)發(fā)。

其次，我們最終可能需要類似于國(guó)際原子能機(jī)構(gòu)（IAEA）的機(jī)構(gòu)來(lái)監(jiān)管超級(jí)智能的開(kāi)發(fā)；任何超過(guò)一定能力（或計(jì)算等資源）門(mén)檻的努力都需要受到這一國(guó)際機(jī)構(gòu)的監(jiān)督，該機(jī)構(gòu)可以檢查系統(tǒng)、要求審計(jì)、測(cè)試是否符合安全標(biāo)準(zhǔn)、對(duì)部署程度和安全級(jí)別進(jìn)行限制等。追蹤計(jì)算和能源使用情況會(huì)有很大的幫助，并給我們一些希望，這個(gè)想法實(shí)際上是可以實(shí)現(xiàn)的。作為第一步，公司可以自愿同意開(kāi)始實(shí)施這樣一個(gè)機(jī)構(gòu)有朝一日可能要求的要素，而第二步，各個(gè)國(guó)家可以實(shí)施它。重要的是，這樣一個(gè)機(jī)構(gòu)應(yīng)專注于減少「存在風(fēng)險(xiǎn)」，而不是應(yīng)該留給各個(gè)國(guó)家的問(wèn)題，如定義AI應(yīng)該被允許說(shuō)什么。

第三，我們需要有足夠的技術(shù)能力來(lái)使超級(jí)智能安全。這是一個(gè)開(kāi)放的研究問(wèn)題，我們和其他人正在投入大量的精力。

不在討論范圍內(nèi)的內(nèi)容

我們認(rèn)為，允許公司和開(kāi)源項(xiàng)目在顯著能力門(mén)檻以下開(kāi)發(fā)模型是很重要的，而不需要我們?cè)谶@里描述的那種監(jiān)管（包括繁瑣的機(jī)制，如許可證或?qū)徲?jì)）。

如今的系統(tǒng)將為世界創(chuàng)造巨大的價(jià)值，雖然它們確實(shí)存在風(fēng)險(xiǎn)，但這些風(fēng)險(xiǎn)水平似乎與其他互聯(lián)網(wǎng)技術(shù)相當(dāng)，而且社會(huì)的應(yīng)對(duì)方式似乎是合適的。

相比之下，我們關(guān)注的系統(tǒng)將擁有超越迄今為止任何技術(shù)的力量，我們應(yīng)該注意不要通過(guò)將類似的標(biāo)準(zhǔn)應(yīng)用于遠(yuǎn)低于這個(gè)門(mén)檻的技術(shù)來(lái)淡化對(duì)它們的關(guān)注。

公共參與和潛力

但對(duì)，最強(qiáng)大的系統(tǒng)的治理，以及有關(guān)其部署的決定，必須有強(qiáng)大的公眾監(jiān)督。我們相信，世界各地的人們應(yīng)該民主地決定AI系統(tǒng)的界限和默認(rèn)值。我們還不知道如何設(shè)計(jì)這樣一個(gè)機(jī)制，但我們計(jì)劃做一些試驗(yàn)。我們依然認(rèn)為，在這些廣泛的界限內(nèi)，個(gè)人用戶應(yīng)該對(duì)他們使用 AI 的行為方式有很大的控制權(quán)。

考慮到風(fēng)險(xiǎn)和困難，值得思考的是，我們?yōu)槭裁次覀円獦?gòu)建這項(xiàng)技術(shù)。

在 OpenAI，我們有兩個(gè)基本原因。首先，我們相信它將帶來(lái)一個(gè)比我們今天所能想象的更好的世界（我們已經(jīng)在教育、創(chuàng)造性工作和個(gè)人生產(chǎn)力等領(lǐng)域看到了這方面的早期例子）。世界面臨著很多問(wèn)題，我們需要更多的幫助來(lái)解決它們；這項(xiàng)技術(shù)可以改善我們的社會(huì)，而每個(gè)人使用這些新工具的創(chuàng)造力肯定會(huì)讓我們感到驚訝。經(jīng)濟(jì)增長(zhǎng)和生活質(zhì)量的提高將是驚人的。

其次，我們相信，停止構(gòu)建超級(jí)智能將是一個(gè)具有非直觀風(fēng)險(xiǎn)且困難重重的決策。由于其巨大的優(yōu)勢(shì)，構(gòu)建超級(jí)智能的成本每年都在降低，構(gòu)建者的數(shù)量也在迅速增加，而且它本質(zhì)上是我們所處技術(shù)路徑的一部分，要停止它需要類似于全球監(jiān)控制度的存在，而即使有這樣的制度也不能保證成功。因此，我們必須做到正確無(wú)誤。