這就是GPT模型聽起來像人類的原因
譯文譯者 | 劉濤
審校 | 重樓
沒人知道為什么AI可以工作，對吧?
是和否。
從根本上說，我們對于人類大腦的秘密仍然知之甚少。
然而，Transformers（一種用于自然語言處理（NLP）和其他序列到序列（seq2seq）任務的人工神經(jīng)網(wǎng)絡模型）和人類在自然語言處理方面的響應非常相似，讓人不寒而栗。
讓我們來解釋一下原因。
將信息表達（Information Representations）存儲在Transformer中
我們使用從多個字或標記輸入生成的向量來為Transformer創(chuàng)建嵌入。
因此，信息以向量的形式存儲。
考慮到“表達”這一問題，實際上，比起"注意力機制"，“表達嵌入”更具基礎性。首先，我們必須先得到一種“表達”，這種表達要么是“可解碼”，要么是“可操作”！
您也許想知道，這與像GPT-4這樣的Transformer在經(jīng)過整個互聯(lián)網(wǎng)的訓練后所能做的一切有什么關系？
信息通過注意力點積和數(shù)學運算與原數(shù)據(jù)的上下文意義和表達相結(jié)合進行編碼。
因此，我們將這些數(shù)據(jù)的表達形式存儲在 Transformer 中。
關鍵因素
所有神經(jīng)網(wǎng)絡都是根據(jù)通用近似定理（Universal approximation theorem）解決問題的。
對于那些不知道什么是通用近似定理的人，我們可以將通用近似定理定義為將指定輸入精確地轉(zhuǎn)換為指定輸出的任何過程 --它可以近似看作是從輸入到輸出的一個函數(shù)。這個函數(shù)存在一定的形式，但我們不需要知道。因為只要給定足夠的數(shù)據(jù)，神經(jīng)網(wǎng)絡可以為我們近似得到任意函數(shù)。
什么是函數(shù)？這是我們試圖解決的問題。
神經(jīng)網(wǎng)絡可以通過其處理算法近似得到任何函數(shù)---所以是通用的。
架構(gòu)不同-算法不同-模型不同-但基本原理相同。
這就是為什么神經(jīng)網(wǎng)絡在有足夠的數(shù)據(jù)、被賦予合適的任務，并以正確的方式進行調(diào)整時就會起作用，這是一個隨著時間推移而不斷變得更好的藝術。
在LLM（大型語言模型）中，“狗”這個概念的潛在表達是什么?
肯定有一種表示方法，實際上可能有很多種。
也許是單個狗的x向量，y上下文值和z位置參數(shù)，以及原始數(shù)據(jù)流架構(gòu)的正確路徑。
我們只是還沒有深入研究它，因為這對我們的目的來說還不必要。
系統(tǒng)運行正常。
這對我們來說已經(jīng)足夠了。
因此，該系統(tǒng)是一個黑盒。
但是，大腦如何存儲數(shù)據(jù)？
就像以前一樣-我們不知道確切的細節(jié)。
當我們的大腦被創(chuàng)造出來時，它們會創(chuàng)造外部物體、概念和實體的內(nèi)部表示。有點像一個成長中的孩子。
例如，狗的概念可能涉及x神經(jīng)元、y突觸和z架構(gòu)，以及神經(jīng)元之間動態(tài)不斷發(fā)展的原始數(shù)據(jù)搬遷路徑集。
我的意思是，人腦也是一個黑匣子。適用于GPT模型的相同原理也可以說適用于大腦——它們也是通用近似器。
近似定理顯然適用于我們的大腦。
這是相同的原理。
我們大腦中的想法也可以通過嵌入式存儲/表達出來！
只是這些嵌入是自然創(chuàng)建的。
具有超低電能的神經(jīng)元、軸突和樹突的家族。
不同的形式。不同的功能。但最終結(jié)果相同。
系統(tǒng)起作用了。
這對我們來說已經(jīng)足夠了。
我們還能說我們知道什么？
只有我們能憑經(jīng)驗觀察到的。
又是一個黑盒。
那么，為什么它們在自然語言中如此相似呢？
我們試圖通過一種非常復雜的處理過程，將所有從互聯(lián)網(wǎng)上采集到的數(shù)據(jù)，盡可能地對 AGI進行建模—那可是全球的數(shù)據(jù)。
在序列-序列模型以及自然語言測試方面，我認為我們已經(jīng)取得了成功。
我們已經(jīng)對人腦如何理解和處理信息進行了建模，這需要付出巨大代價，而且系統(tǒng)性地努力。
我不開心且真的害怕。如果這是ChatGPT能做的~
那么，GPT-4將實現(xiàn)什么？
微軟的軟件工程師已經(jīng)確定了GPT-4模型中的一些未來應用。
他們甚至發(fā)表了一篇關于該發(fā)現(xiàn)的論文-
研究報告：
- 我們在冒很大的風險。
- 當 Geoffrey Hinton 從他的研究崗位上退下來的時候，我意識到事情真的亂套了。
- 有錢能使鬼推磨。
- 再多的控制也無法阻止中國和美國以利潤為中心的公司。
- 我們希望未來一切順利。
- 人工智能決策者必須把道德放在利潤之上。
但是企業(yè)家什么時候這樣做過呢？
結(jié)論
Hinton說了些難以置信的話。
“我突然改變了AI是否會比我們更聰明的看法。我想它們現(xiàn)在已經(jīng)非常接近了，將來它們肯定會比我們更聰明。那么我們?nèi)祟悜撊绾紊妫俊?/span>
但就目前而言，沒有什么事物可以阻止它。最后，讓我們留給您一個有趣的問題，這個問題將由 ChatGPT給出答案。
問：您將如何實現(xiàn)AGI？
ChatGPT回答：
實現(xiàn)通用人工智能（AGI）是一個巨大的挑戰(zhàn)，需要跨多個科學和工程學科取得重大進展。雖然AGI的確切路徑仍然是一個充滿爭論和探索的話題，但我可以為您提供研究人員在一些關鍵領域的更詳細解釋：
1、認知架構(gòu)：開發(fā)能夠模仿人類智能的認知架構(gòu)是AGI的一個基本方面。這包括理解人腦的結(jié)構(gòu)和功能，并設計捕捉這些過程的計算模型。研究人員從神經(jīng)科學、認知心理學和認知科學中汲取靈感，構(gòu)建能夠支持高級推理、感知、記憶、學習和決策的架構(gòu)。
2、機器學習和深度神經(jīng)網(wǎng)絡：機器學習，尤其是深度學習，在近年來的人工智能進步中發(fā)揮了重要作用。深度神經(jīng)網(wǎng)絡在圖像識別和自然語言處理等感知任務中取得了顯著成功。為了向AGI邁進，研究人員正在探索通過提高深度學習的泛化、可解釋性以及處理有限數(shù)據(jù)和復雜推理的能力來增強深度學習能力的方法。
3、強化學習和主動學習：強化學習是AGI關注的另一個關鍵領域。它包括訓練AI與環(huán)境交互并從試錯中學習。強化學習技術與主動學習相結(jié)合，包括主動選擇信息豐富的訓練樣本，可以幫助AI更有效地從環(huán)境中探索和學習。開發(fā)能夠從不同數(shù)據(jù)源中學習并將知識推廣到新情況的算法對于實現(xiàn)AGI至關重要。
4、認知機器人（Cognitive Robotics）和具身智能（Embodied Intelligence）：真正的AGI需要的不僅僅是處理信息；它需要與現(xiàn)實世界進行交互。認知機器人旨在整合機器人的感知、認知和行動，使它們能夠以類似于人類的方式學習和推理世界。具身智能研究探索AI如何利用感官運動技巧和自身體驗，與周圍環(huán)境進行互動，從而發(fā)展出智能。
5、符號推理和知識表達：AGI系統(tǒng)應該能夠符號推理和操作復雜的知識表達。符號推理包括使用邏輯規(guī)則、推理機制和結(jié)構(gòu)化知識表達等方法，來執(zhí)行抽象推理和問題解決的任務。將符號推理與統(tǒng)計方法（如神經(jīng)網(wǎng)絡）相結(jié)合是一個活躍的研究領域，可以實現(xiàn)更強大和靈活的推理能力。
6、遷移學習（Transfer Learning）和元學習(Meta-Learning）：AGI系統(tǒng)應該具備將在一個領域?qū)W到的知識和技能轉(zhuǎn)移到新的或陌生領域的能力。遷移學習技術旨在利用現(xiàn)有知識加速相關任務或領域的學習。元學習，側(cè)重于開發(fā)能夠?qū)W習如何有效學習的模型，快速適應有限數(shù)據(jù)的新情況和任務。
7、數(shù)據(jù)和計算資源： AGI開發(fā)需要海量高質(zhì)量的數(shù)據(jù)用于訓練模型。跨多個領域訪問不同數(shù)據(jù)集對于捕捉人類知識的廣度和深度至關重要。此外，AGI開發(fā)需要大量的計算資源來訓練和運行復雜的模型。硬件領域的進步，如專用人工智能芯片和分布式計算系統(tǒng)，能夠顯著加速AGI研究。
8、倫理、安全和可解釋性：隨著AGI的發(fā)展，解決倫理問題、制定穩(wěn)健的安全措施以及確保AGI系統(tǒng)的透明度和可解釋性至關重要。研究人員正在探索使人工智能系統(tǒng)變得更加透明、可解釋和可問責的方法，從而降低風險，并使人類用戶能夠理解和信任它們的行為。
9、合作和交叉學科研究：實現(xiàn)AGI需要來自不同領域的專家間的合作，包括AI、神經(jīng)科學、心理學、哲學等。鼓勵交叉學科研究和知識共享可以為開發(fā)AGI帶來新的思路和方法。
需要注意的是，盡管在這些領域都取得了進展，但實現(xiàn)AGI仍然是一個沒有明確時間表的開放式問題。這是一個復雜而長期的目標，需要持續(xù)地研究、探索和迭代。
譯者介紹
劉濤，51CTO社區(qū)編輯，某大型央企系統(tǒng)上線檢測管控負責人。
原文標題：This Is Why GPT Models Sound Like Humans，作者：Thomas Cherickal
