上個(gè)月，馬斯克瘋狂呼吁叫停超級(jí)AI研發(fā)6個(gè)月。

還沒(méi)等多久，老馬就坐不住了，直接官宣推出一個(gè)名為T(mén)ruthGPT的AI平臺(tái)。

馬斯克曾表示，TruthGPT將是一個(gè)「最大的求真人工智能」，它將試圖理解宇宙的本質(zhì)。

他強(qiáng)調(diào)，一個(gè)關(guān)心理解宇宙的人工智能不太可能滅絕人類，因?yàn)槲覀兪怯钪嬷杏腥さ囊徊糠帧?/span>

然而，「幻覺(jué)」，到現(xiàn)在還沒(méi)有哪個(gè)語(yǔ)言模型能夠搞定。

最近，OpenAI聯(lián)合創(chuàng)始人便解釋為什么TruthGPT的遠(yuǎn)大理想的實(shí)現(xiàn)是如此地困難。

TruthGPT理想是泡沫？

馬斯克的X.AI想要建立的TruthGPT，是一種誠(chéng)實(shí)的語(yǔ)言模型。

這么做，直接將矛頭對(duì)準(zhǔn)ChatGPT。

因?yàn)椋饲埃馛hatGPT這樣的AI系統(tǒng)經(jīng)常產(chǎn)生錯(cuò)誤輸出等經(jīng)典幻覺(jué)案例，甚至支持某些政治信仰的報(bào)道。

雖然ChatGPT可以讓用戶更多控制語(yǔ)言模型去解決問(wèn)題，但「幻覺(jué)」仍然是OpenAI、谷歌以及未來(lái)馬斯克的人工智能公司必須處理的核心問(wèn)題。

OpenAI聯(lián)合創(chuàng)始人兼研究員John Schulman在他的演講「RL和Truthfulness – Towards TruthGPT」中討論了這些挑戰(zhàn)以及如何應(yīng)對(duì)這些挑戰(zhàn)。

為啥有「幻覺(jué)」？

根據(jù)Schulman的說(shuō)法，幻覺(jué)大致可以分為兩種類型：

1. 「模式完成行為」，即語(yǔ)言模型無(wú)法表達(dá)自己的不確定性，無(wú)法質(zhì)疑提示中的前提，或者繼續(xù)之前犯的錯(cuò)誤。

2. 模型猜測(cè)錯(cuò)誤。

由于語(yǔ)言模型代表一種知識(shí)圖譜，其中包含來(lái)自其自身網(wǎng)絡(luò)中訓(xùn)練數(shù)據(jù)的事實(shí)，因此微調(diào)可以理解為學(xué)習(xí)一個(gè)函數(shù)，該函數(shù)在該知識(shí)圖譜上運(yùn)行并輸出token預(yù)測(cè)。

例如，微調(diào)數(shù)據(jù)集可能包含「星球大戰(zhàn)的類型是什么？」這個(gè)問(wèn)題，以及答案「科幻」。

如果這些信息已經(jīng)在原始訓(xùn)練數(shù)據(jù)中，即它是知識(shí)圖譜的一部分，那么模型不會(huì)學(xué)習(xí)新信息，而是學(xué)習(xí)一種行為——輸出正確答案。這種微調(diào)也被稱為「行為克隆」。

但問(wèn)題是，如果問(wèn)題是關(guān)于「Han Solo的衍生電影的名字是什么」出現(xiàn)在微調(diào)數(shù)據(jù)集中。

但如果答案「Solo」不是原始訓(xùn)練數(shù)據(jù)集的一部分（也不是知識(shí)圖譜的一部分），即使網(wǎng)絡(luò)不知道答案，它也會(huì)學(xué)習(xí)回答。

使用實(shí)際上正確但不在知識(shí)圖譜中的答案進(jìn)行微調(diào)，從而教會(huì)網(wǎng)絡(luò)編造答案——即產(chǎn)生「幻覺(jué)」。相反，用不正確的答案進(jìn)行訓(xùn)練會(huì)導(dǎo)致網(wǎng)絡(luò)隱瞞信息。

因此，理想情況下，行為克隆應(yīng)始終基于網(wǎng)絡(luò)知識(shí)，但創(chuàng)建或評(píng)估數(shù)據(jù)集的人類工作者來(lái)說(shuō)，通常不知道這種知識(shí)，例如指令調(diào)優(yōu)。

根據(jù)Schulman的說(shuō)法，當(dāng)其他模型創(chuàng)建微調(diào)數(shù)據(jù)集時(shí)也存在這個(gè)問(wèn)題，就像羊駝公式的情況一樣。

他預(yù)測(cè)，具有較小知識(shí)圖譜的較小網(wǎng)絡(luò)，不僅會(huì)學(xué)會(huì)使用ChatGPT的輸出給出答案和遵循指令，而且學(xué)會(huì)更頻繁地產(chǎn)生幻覺(jué)。

OpenAI如何打擊幻覺(jué)？

首先，對(duì)于簡(jiǎn)單的問(wèn)題來(lái)說(shuō)，語(yǔ)言模型大部分情況下能預(yù)測(cè)自己是否知道答案，還能表達(dá)不確定性。

因此，Schulman表示，微調(diào)數(shù)據(jù)集的時(shí)候，必須得讓模型學(xué)會(huì)怎么表達(dá)不確定、怎么應(yīng)對(duì)前提被更改的情況，以及錯(cuò)誤被承認(rèn)的情況。

要把這些情況的實(shí)例喂給模型，讓它們學(xué)習(xí)。

但是模型在時(shí)機(jī)方面還是欠練，也就是說(shuō)，它們并不知道該何時(shí)執(zhí)行這些操作。

Schulman表示，這就是強(qiáng)化學(xué)習(xí)（RL）該出場(chǎng)的地方了。比如，基于人類反饋的強(qiáng)化學(xué)習(xí)（Reinforcement Learning with Human Feedback，RLHF）。

應(yīng)用RL，模型就可以學(xué)習(xí)「行為邊界」，學(xué)會(huì)何時(shí)做出何種行為。

而另一個(gè)難題，則是檢索和引用來(lái)源的能力。

問(wèn)題在于，有了復(fù)制行為的能力和RLHF，為什么ChatGPT還會(huì)產(chǎn)生幻覺(jué)？

原因在于問(wèn)題本身的難易。

雖然上述方法對(duì)于簡(jiǎn)短的問(wèn)題和答案效果不錯(cuò)，但對(duì)于ChatGPT中常見(jiàn)的長(zhǎng)格式設(shè)置就會(huì)出現(xiàn)其他問(wèn)題了。

一方面，完全錯(cuò)誤的答案也不太可能，大部分情況都是錯(cuò)的和對(duì)的混在一起。

在極端情況下，可能就是100行代碼中的一個(gè)錯(cuò)誤而已。

在其他情況下，這些信息在傳統(tǒng)意義上并不能說(shuō)是錯(cuò)的，而是有誤導(dǎo)性的。因此，在像ChatGPT這樣的系統(tǒng)中，人們很難根據(jù)信息量或者正確性來(lái)衡量輸出的質(zhì)量。

但這種衡量對(duì)于旨在訓(xùn)練復(fù)雜行為邊界的RL算法卻非常重要。

目前，OpenAI依托于RLHF的基于排名的獎(jiǎng)勵(lì)模型，該模型能夠預(yù)測(cè)它認(rèn)為兩個(gè)答案中哪個(gè)更好，但不會(huì)給出有效的信號(hào)來(lái)明確哪個(gè)答案好了多少、信息量大了多少或正確了多少。

Schulman表示，它缺乏向模型提供反饋以學(xué)習(xí)精細(xì)行為邊界的能力。而這種精細(xì)的行為邊界，才是有可能解決幻覺(jué)的道路。

此外，此過(guò)程還會(huì)因?yàn)镽LHF標(biāo)記過(guò)程中的人為出錯(cuò)而變得更加復(fù)雜。

因此，雖然Schulman將RL視作減少幻覺(jué)的重要方式之一，但他認(rèn)為仍然存在許多還沒(méi)解決的問(wèn)題。

除了前面提到的獎(jiǎng)勵(lì)模型究竟需要什么樣子才能引導(dǎo)正確的行為之外，RLHF目前僅依賴于人類的判準(zhǔn)。

這可能會(huì)使知識(shí)的生成變得更加困難。因?yàn)閷?duì)未來(lái)的預(yù)測(cè)有時(shí)會(huì)導(dǎo)致不那么令人信服的表述。

然而，Schulman認(rèn)為，知識(shí)的生成是語(yǔ)言模型的下一個(gè)重要步驟，同時(shí)，他認(rèn)為對(duì)未來(lái)的預(yù)測(cè)和給出推理規(guī)則等問(wèn)題的理論構(gòu)建，是亟待解決的下一類開(kāi)放性問(wèn)題。

Schulman說(shuō)，一種可能的解決方案是，用其他AI模型來(lái)訓(xùn)練語(yǔ)言模型。

OpenAI也認(rèn)為，這種方法對(duì)于AI對(duì)齊來(lái)說(shuō)，很有意義。

ChatGPT架構(gòu)師

作為ChatGPT架構(gòu)師，John Schulman早在2015年還在讀博士學(xué)位的他，就加入OpenAI成為聯(lián)合創(chuàng)始人之一。

在一次采訪中，Schulman解釋了自己加入OpenAI的原因：

我想做人工智能方面的研究，我認(rèn)為OpenAI這家公司的使命雄心勃勃，并且致力打造通用人工智能。

盡管，在當(dāng)時(shí)談?wù)揂GI似乎有些瘋狂，但我認(rèn)為開(kāi)始考慮它是合理的，我希望在一個(gè)地方談?wù)揂GI是可以接受的。

另外，據(jù)Schulman透露，OpenAI將人類反饋強(qiáng)化學(xué)習(xí)這一方法 (RLHF)引入ChatGPT的想法可以追溯到17年了。

當(dāng)時(shí)，也是OpenAI的成員，曾發(fā)表了一篇論文「從人類偏好中進(jìn)行深度強(qiáng)化學(xué)習(xí)」就提到了這一方法。

論文地址：https://arxiv.org/pdf/1706.03741.pdf

OpenAI安全團(tuán)隊(duì)之所以致力于這項(xiàng)工作，是因?yàn)橄胱屪约旱哪Ｐ头先祟惖钠茅`ー試圖讓模型真正傾聽(tīng)人類意見(jiàn)，并試圖做人類想做的事情。

在GPT-3完成訓(xùn)練的時(shí)候，然后Schulman決定加入這股潮流，因?yàn)樗吹搅苏麄€(gè)研究方向的潛力。

當(dāng)被問(wèn)到第一次使用ChatGPT時(shí)，第一反應(yīng)是什么的時(shí)候，Schulman的話語(yǔ)中透露著「無(wú)感」。

還記得去年ChatGPT橫空出世，讓許多人瞬間炸腦。

而在OpenAI內(nèi)部沒(méi)有人對(duì)ChatGPT感到興奮。因?yàn)榘l(fā)布的ChatGPT是一個(gè)基于GPT-3.5較弱的模型，那時(shí)候同事們?cè)谕孓D(zhuǎn)GPT-4了。

所以在那個(gè)時(shí)候，OpenAI沒(méi)有人對(duì)ChatGPT感到興奮，因?yàn)橛羞@么一個(gè)更強(qiáng)大，更聰明的模型已經(jīng)被訓(xùn)練過(guò)了。

對(duì)于未來(lái)人工智能下一前沿領(lǐng)域看法，Schulman稱，AI在更艱難的任務(wù)上不斷進(jìn)步，然后，問(wèn)題就來(lái)了，人類應(yīng)該做些什么，在哪些任務(wù)下，人類可以在大模型幫助下有更大影響力，做更多的工作。