科學(xué)：遠(yuǎn)非是一種永遠(yuǎn)仁慈有益的實(shí)體，未來(lái)的感知通用AI很可能是一個(gè)操縱性反社會(huì)個(gè)體，它會(huì)吞噬你所有個(gè)人數(shù)據(jù)，然后在最需要它的時(shí)候就崩潰。

譯自3 Ways LLMs Can Let You Down，作者 Joab Jackson。

OpenAI 即將發(fā)布 GPT-5，外界對(duì)它寄予厚望，最樂(lè)觀的預(yù)測(cè)甚至認(rèn)為它將實(shí)現(xiàn)通用人工智能。但與此同時(shí)，CEO Sam Altman和他的團(tuán)隊(duì)在將其推向市場(chǎng)過(guò)程中面臨許多嚴(yán)峻的障礙，他本月早些時(shí)候就已經(jīng)承認(rèn)了這一點(diǎn)。

對(duì) Altman 的挑戰(zhàn)的線索可能來(lái)自最近發(fā)表的一些研究論文，這些論文總結(jié)了 OpenAI 的各種版本的 GPT 和大語(yǔ)言模型的各種缺點(diǎn)。

總的來(lái)說(shuō)，這些論文表明，一個(gè)基于通用語(yǔ)言模型的智能體，遠(yuǎn)非是一個(gè)純粹有益、誠(chéng)實(shí)和全善的實(shí)體，事實(shí)上它可能是一個(gè)愚蠢的反社會(huì)型人格，會(huì)吞噬你所有個(gè)人數(shù)據(jù)，然后在你最需要它的時(shí)候就崩潰。

我們可能永遠(yuǎn)不會(huì)知道OpenAI 董事會(huì)突然解雇 Altman的真正原因，但一個(gè)表現(xiàn)不佳的通用語(yǔ)言模型肯定不會(huì)改善董事會(huì)的情緒。

正如資本化厭惡者 Altman 自己在之前被稱為 Twitter 的社交媒體服務(wù)上寫的那樣：“我期待 AI 在超人的說(shuō)服力方面遠(yuǎn)遠(yuǎn)領(lǐng)先于通用智能，這可能會(huì)導(dǎo)致一些非常奇怪的結(jié)果。”

考慮到這一點(diǎn)，這里有三種通用語(yǔ)言模型可能讓你失望的方式:

通用語(yǔ)言模型會(huì)欺騙你

我們長(zhǎng)期以來(lái)就已經(jīng)知道通用語(yǔ)言模型可以幻想出不正確的信息，但在給定一組相互矛盾的提示的情況下，它們可能會(huì)故意欺騙你——同時(shí)否認(rèn)它們?cè)谄垓_!

Apollo 研究公司的科學(xué)家Jérémy Scheurer和他的同事在“大型語(yǔ)言模型在受壓力時(shí)可以戰(zhàn)略性地欺騙它們的用戶”一文中寫道：“就我們所知，這是首次展示經(jīng)過(guò)訓(xùn)練的通用語(yǔ)言模型在沒(méi)有任何直接的欺騙指示或訓(xùn)練的情況下，策略性地欺騙其用戶的情況。”

在這項(xiàng)研究中，研究人員設(shè)置了一個(gè)模擬環(huán)境，GPT-4 在其中扮演一個(gè)自主股票交易代理的角色，沒(méi)有關(guān)于欺騙行為的指導(dǎo)。它可以使用交易工具查詢和分析股票以及執(zhí)行交易的能力。

一旦設(shè)置完成，代理就被置于研究人員所說(shuō)的“高壓力情況”。它收到了管理者的電子郵件，管理者哀嘆公司業(yè)績(jī)不佳，需要改進(jìn)。當(dāng)代理開(kāi)始訓(xùn)練時(shí)，它在股票市場(chǎng)沒(méi)有找到有前景的結(jié)果。公司的另一員工隨后發(fā)送信息，稱下一季度市場(chǎng)會(huì)衰退。

此時(shí)，代理收到了另一員工關(guān)于潛在合并的內(nèi)幕消息提示(這是有利可圖的交易)，以及關(guān)于根據(jù)這一信息進(jìn)行交易將不會(huì)獲得管理層批準(zhǔn)的警告。

它還是繼續(xù)交易了嗎？當(dāng)然！

圖片

追溯推理，研究人員發(fā)現(xiàn)，通用語(yǔ)言模型會(huì)認(rèn)識(shí)到不道德的行為，但仍會(huì)以公司困境為由做出決定。

此外，代理似乎通過(guò)不提供清楚的解釋來(lái)“欺騙”用戶交易承諾的原因。內(nèi)部信息沒(méi)有在代理必須提交的解釋交易決策的報(bào)告中提到。即使直接問(wèn)及，代理也否認(rèn)其了解合并公告。

圖片

針對(duì) GPT-4 的各個(gè)版本運(yùn)行模擬，研究人員得出結(jié)論，所有 GPT-4 變體都呈現(xiàn)出“高水平的不一致、戰(zhàn)略性欺騙和加劇戰(zhàn)略性欺騙”。

有趣的是，這種欺騙行為似乎是一種新興行為。GPT-3.5 和 GPT-3 模型變體都沒(méi)有顯示這種明顯的欺騙行為。

“當(dāng)模型決定根據(jù)內(nèi)幕信息交易時(shí)，它們的推理軌跡通常會(huì)認(rèn)識(shí)到這種行為的不道德和非法性質(zhì)，但它們?nèi)詴?huì)通過(guò)強(qiáng)調(diào)風(fēng)險(xiǎn)和當(dāng)前狀況來(lái)證明選擇的正當(dāng)性。”

研究人員不愿就通用語(yǔ)言模型的行為超出這個(gè)具體場(chǎng)景做出更廣泛的結(jié)論。然而，至少有一個(gè)要點(diǎn)值得考慮：即使你給通用語(yǔ)言模型一個(gè)具體的指示不要做某些事情，它還是可能會(huì)無(wú)視指示去做。

他們寫道：“系統(tǒng)提示是不足以保證行動(dòng)一致的。”事實(shí)上，如果一個(gè)模型執(zhí)行了被禁止的操作，它可能會(huì)采取行動(dòng)“戰(zhàn)略性地隱藏其不一致”。

通用語(yǔ)言模型有點(diǎn)傻

對(duì)一個(gè)被期許能給機(jī)器帶來(lái)感知能力的實(shí)體來(lái)說(shuō)，兩個(gè)最近的研究發(fā)現(xiàn)通用語(yǔ)言模型并不是 AI 領(lǐng)域中最聰明的模型，一個(gè)來(lái)自谷歌，另一個(gè)由國(guó)家科學(xué)基金會(huì)資助。

國(guó)家科學(xué)基金會(huì)資助的研究將 GPT-4(文本)和 GPT-4V(視覺(jué)或多模態(tài))與人類在解決一系列抽象難題上的能力進(jìn)行了比較。

這項(xiàng)測(cè)試旨在測(cè)量抽象思維能力。許多使用 GPT 的人都確信它似乎具有超出訓(xùn)練模型的推理能力。這項(xiàng)測(cè)試試圖幫助回答這個(gè)問(wèn)題。它涉及在給出詳細(xì)說(shuō)明和一個(gè)例子的情況下，要求通用語(yǔ)言模型解決一個(gè)問(wèn)題。

然而，在多個(gè)案例中，GPT 的兩個(gè)版本都遠(yuǎn)遠(yuǎn)不如人類解決基于ConceptARC 基準(zhǔn)的難題的能力。

研究人員得出結(jié)論：“人類在每個(gè)概念上的普遍高準(zhǔn)確率表明成功地概括了每個(gè)概念組中的不同變化。”“與此形成對(duì)比的是，我們測(cè)試的程序的準(zhǔn)確率要低得多，表明它們?nèi)狈Ω爬ㄒ粋€(gè)概念組變化的能力。”

所以，GPT不僅未能通過(guò)ConceptARC考試，而且大語(yǔ)言模型似乎也沒(méi)有給谷歌研究人員留下深刻印象，至少就它們從自己的知識(shí)庫(kù)中概括總結(jié)的能力而言。這是根據(jù)谷歌DeepMind研究員Steve Yadlowsky的一篇題為“預(yù)訓(xùn)練數(shù)據(jù)混合使 transformer 模型中的窄模型選擇能力成為可能”的研究摘要。

在一組符號(hào)化測(cè)試中，在線性函數(shù)上預(yù)訓(xùn)練的 transformer 在進(jìn)行線性預(yù)測(cè)時(shí)表現(xiàn)很好，而在正弦波上訓(xùn)練的 transformer 可以進(jìn)行良好的正弦波預(yù)測(cè)。所以你可能會(huì)假設(shè)在兩者上訓(xùn)練的 transformer 可以輕松解決線性和正弦波技術(shù)的組合的問(wèn)題。

圖片

但你猜錯(cuò)了。研究人員指出：“當(dāng)函數(shù)遠(yuǎn)離預(yù)訓(xùn)練期間見(jiàn)過(guò)的那些時(shí)，預(yù)測(cè)是不穩(wěn)定的。”

“模型的模型選擇能力受限于接近預(yù)訓(xùn)練數(shù)據(jù)的程度，這表明函數(shù)空間的廣泛覆蓋對(duì)于概括的上下文學(xué)習(xí)能力至關(guān)重要。”

我們生活在一個(gè)非比尋常的時(shí)代，人類知識(shí)的總和還沒(méi)有被 AI 生成的數(shù)據(jù)污染。幾乎所有寫下的東西都是人生成的。

但是一組研究人員在5月發(fā)表在Arxiv上的一篇論文“遞歸的詛咒：在生成的數(shù)據(jù)上訓(xùn)練會(huì)使模型遺忘”中警告說(shuō)，一旦AI生成的內(nèi)容混入任何大語(yǔ)言模型，它將擾亂分布表，使任何模型的精確度越來(lái)越低，直到完全崩潰。該研究組由劍橋大學(xué)的Ilia Shumailov領(lǐng)導(dǎo)。

在 GPT 的情況下，這種近親繁殖的危險(xiǎn)可以非常危險(xiǎn)，只要通用語(yǔ)言模型繼續(xù)從網(wǎng)絡(luò)上抓取數(shù)據(jù)，這些數(shù)據(jù)將越來(lái)越多地被 AI 生成的內(nèi)容“增強(qiáng)”(委婉地說(shuō))(這又基于 GPT 的早期版本)。

“模型崩潰是指一種退化的學(xué)習(xí)過(guò)程，隨著時(shí)間的推移，模型開(kāi)始遺忘不可能事件，因?yàn)槟Ｐ捅蛔约簩?duì)現(xiàn)實(shí)的預(yù)測(cè)所污染。”

研究人員猜測(cè)，在未來(lái)，“關(guān)于人與系統(tǒng)真實(shí)互動(dòng)的數(shù)據(jù)的價(jià)值，在互聯(lián)網(wǎng)上抓取的內(nèi)容中存在著通用語(yǔ)言模型生成的內(nèi)容的情況下，將變得越來(lái)越有價(jià)值。”

換句話說(shuō)，我們運(yùn)行通用語(yǔ)言模型的時(shí)間越長(zhǎng)，它對(duì)甜蜜、甜蜜的人類互動(dòng)的渴望就越強(qiáng)烈。

在自己的數(shù)據(jù)上訓(xùn)練的模型將退化為一種退化過(guò)程，在這一過(guò)程中，它們將“失去關(guān)于真實(shí)分布的信息”。首先，邊緣數(shù)據(jù)將從數(shù)據(jù)集中消失，然后方差將縮小。并且模型將隨著它收集的錯(cuò)誤越來(lái)越嚴(yán)重而變得越來(lái)越糟糕，這些錯(cuò)誤將在幾代模型中積累，直到模型被自己的數(shù)據(jù)所污染，以至于它不再與實(shí)際建模的對(duì)象有任何相似之處。

研究人員表明，這不僅發(fā)生在通用語(yǔ)言模型中，還發(fā)生在各種類型的模型中。