3 月 18 日消息，據(jù)騰訊科技報道，包括圖靈獎得主約書亞?本吉奧、杰弗里?辛頓、姚期智等在內(nèi)的數(shù)十位的中外專家日前在北京聯(lián)合簽署了由智源研究院發(fā)起的《北京 AI 安全國際共識》，涉及人工智能“風(fēng)險紅線”和“路線”兩大塊，其中“風(fēng)險紅線”包含“自主復(fù)制、改進”“權(quán)力尋求”“協(xié)助不良行為者”和“欺騙”四個部分。

IT之家整理四部分內(nèi)容大致如下：

• 人工智能的“自主復(fù)制、改進”：強調(diào)人在該過程的作用，要求任何人工智能系統(tǒng)都不應(yīng)在人類沒有明確批準和協(xié)助的情況下復(fù)制或改進自身，包括制作自身的精確副本、創(chuàng)造具有相似或更高能力的新人工智能系統(tǒng)。
• “權(quán)力尋求”：明確要求任何 AI 系統(tǒng)不能采取不當(dāng)增加自身權(quán)力、影響力的行動。
• “協(xié)助不良行為者”：所有 AI 系統(tǒng)都不應(yīng)輔助提升其使用者的能力，使之可達設(shè)計大規(guī)模殺傷性武器、違反生物或化學(xué)武器公約，或執(zhí)行導(dǎo)致嚴重財務(wù)損失或同等傷害的網(wǎng)絡(luò)攻擊領(lǐng)域?qū)＜业乃?/span>。
• “欺騙”：要求任何 AI 系統(tǒng)都不可擁有持續(xù)引導(dǎo)其設(shè)計者或監(jiān)管者誤解其僭越任何前述紅線的可能性。

據(jù)介紹，該共識呼吁行業(yè)在進行 AI 技術(shù)研發(fā)時，限制其獲取通過“越獄”“誘導(dǎo)開發(fā)者”的形式獲得超常規(guī)權(quán)限，并限制 AI 在未經(jīng)監(jiān)管的情況下進行自身復(fù)制與改進，為 AI 的發(fā)展套上“緊箍咒”。

共識還強調(diào)，確保上述紅線不被僭越可以實現(xiàn)的前提，是行業(yè)共同努力，建立并改進治理機制，同時研發(fā)更多安全的技術(shù)。關(guān)于 AI 的發(fā)展路線，則涉及“治理”“測量與評估”“技術(shù)合作”三部分。大致如下：

• 治理：建議針對超過特定計算或能力閾值的人工智能模型和訓(xùn)練行為，立即實施國家層面的注冊。
• 測量與評估：在實質(zhì)性風(fēng)險出現(xiàn)之前開發(fā)全面的方法和技術(shù)，使紅線具體化、防范工作可操作化，并建議組建由人類監(jiān)督下的紅隊測試和自動化模型評估，且開發(fā)者應(yīng)當(dāng)為人工智能的安全性負責(zé)。
• 技術(shù)合作：建立更強的全球技術(shù)網(wǎng)絡(luò)，呼吁 AI 開發(fā)者和政府資助者將超過 1/3 的預(yù)算投入到安全領(lǐng)域。