計算器對于數學的處理方式來說是一次重大的改變，那么 LLMs 對于語言來說呢？ 原創 精華
編者按：當前，大語言模型已經成為自然語言處理領域的熱點。LLMs 是否真的“智能”？它們又為我們帶來了哪些啟發？針對這些問題，Darveen Vijayan 為我們帶來了這篇引人深思的文章。
作者主要闡釋了兩個觀點：第一，LLMs應被視為一種文字計算器，它通過預測下一個詞來工作，當前階段還不應被歸為“智能”。第二，盡管LLMs 目前存在局限，但它們為我們提供了反思人類智能本質的契機。我們應保持開放的思維，不斷追逐新的知識和對知識的新理解，積極與他人交流溝通，從而拓展我們的認知邊界。
LLMs是否智能，恐怕仍存在爭議。但有一點確定無疑，它們為自然語言處理領域帶來了革新，也為人類智能的本質提供了新的思考維度。這篇文章值得每一位大模型工具使用者和 AI 從業者細細品讀、反復咀嚼。
作者 | Darveen Vijayan
編譯 | 岳揚
17 世紀初，一位名叫埃德蒙·岡特的數學家和天文學家面臨了一個前所未有的天文挑戰——要計算行星的復雜運動軌跡并預測日食，天文學家不僅需要依靠直覺，還需要掌握復雜的對數運算和三角方程。因此，像其他優秀的創新者一樣，岡特決定發明一種模擬計算裝置！他創建的這種裝置，最終成為了我們熟知的計算尺[1]。
計算尺是一個長30厘米的長方形木塊，由固定框架和滑動部分兩部分組成。固定框架中裝有固定的對數刻度，而滑動部分則裝有可移動的刻度。要使用計算尺，需要理解對數的基本原理，以及如何對準刻度進行乘法、除法和其他數學運算。需要滑動可移動部分，使數字對齊，讀出結果，并注意小數點的位置。哎呀，真的太復雜啦！
計算尺
大約在 300 年后，貝爾龐克公司（Bell Punch Company）于 1961 年推出了第一臺臺式電子計算器 "ANITA Mk VII"。在隨后的幾十年里，電子計算器變得越來越復雜，功能也越來越多。以前需要大量人工計算的工作所花費的時間越來越少，使員工能夠專注于更具分析性和創造性的工作。因此，現代電子計算器不僅使工作更加高效，還使人們能夠更好地解決問題。
計算器對于數學的處理方式來說是一次重大的改變，那么對于語言呢？
想想你是如何構造句子的。首先，你需要有一個想法（這句話要表達什么意思）。接下來，你需要掌握一堆詞匯（擁有足夠的詞匯量）。然后，你需要能夠正確地將這些詞匯組成句子（需要掌握語法）。哎呀，還是那么復雜！
早在 5 萬年前，也就是現代智人第一次創造語言的時候，我們產生語言詞匯的方式就基本保持不變了。
可以說，在構造句子這方面，我們仍然像岡特使用計算尺一樣！
It’s fair to say we’re still in Gunther’s era of using a slide rule when it comes to generating sentences!
仔細思考一下，使用恰當的詞匯和正確的語法就是在遵守語言規則。
這與數學類似，數學充滿了規則，因此我才能確定1+1=2以及計算器的工作原理！
我們需要一種用于文字的計算器！
What we need is a calculator but for words!
是的，不同的語言需要遵循不同的規則，但只有遵守語言規則，語言才能被人理解。語言和數學的一個明顯區別是，數學有固定且確定的答案，而適合放入句子中的合理單詞可能很多。
試著填充下面這個句子：I ate a _________.（我吃了一個 _________。）想象一下接下來可能出現的單詞。英語中大約有 100 萬個單詞。很多單詞可以在這里使用，但肯定不是全部。
回答“黑洞（black hole）”相當于說 2+2=5。此外，回答“apple”也不準確。為什么呢？因為語法的限制！
在過去的幾個月里，大語言模型（LLM）[2]風靡全球。有人將其稱為自然語言處理領域的重大突破，也有人將其視為人工智能（AI）新時代的曙光。
事實證明，LLM 非常善于生成類人文本（human-like text），這提高了基于語言的人工智能應用的標準。憑借龐大的知識庫和優秀的語境理解能力，LLM 可以應用于各個領域，從語言翻譯和內容生成到虛擬助理和用于客戶支持的chatbots。
我們現在是否正處于與上世紀60年代的電子計算器類似的轉折點？
在回答這個問題之前，讓我們先了解一下 LLM 是如何工作的？LLM 基于 Transformer 神經網絡，用于計算和預測句子中下一個最合適的單詞。要構建一個強大的 Transformer 神經網絡，需要在大量文本數據的基礎上進行訓練。這就是為什么“預測下一個單詞或token”的方法效果如此好：因為有大量容易獲得的訓練數據。LLM 將整個單詞序列（sequence of words）作為輸入，并預測下一個最有可能出現的單詞。為了學習最有可能出現的下一個詞，他們先吞下所有維基百科數據作為熱身，然后再吞下成堆的書籍，最后吞下整個互聯網。
我們在前面已經確定，語言包含各種規則和模式。模型會通過所有這些句子來隱式地學習這些規則，用來完成預測下一個單詞的任務。
深度神經網絡
在單數名詞之后，下一個詞出現以 "s "結尾的動詞的概率就會增加。同樣，在閱讀莎士比亞的作品時，出現 "doth "和 "wherefore "等詞的概率也會增加。
在訓練過程中，模型會學習這些語言模式，最終成為一位語言專家！
但這就夠了嗎？僅僅學習語言規則就足夠了嗎？
But is that enough? Is learning linguistic rules enough?
語言是復雜的，根據語境，一個詞可能有多重含義。
因此，需要自注意力（self-attention）。簡單來說，自注意力是語言學習者用來理解句子或文章中不同單詞之間關系的一種技巧。就像你會關注故事的不同部分來理解故事一樣，自注意力可以讓 LLM 在處理信息時更加重視句子中的某些單詞。 這樣，模型就能更好地理解文本的整體含義和上下文，而不是僅僅根據語言規則盲目地預測下一個單詞。
在這里插入圖片描述
自注意力機制
如果將大語言模型視為一種單詞的計算器，只會單純地預測下一個單詞，那么它如何能回答我所有的問題呢？
If LLMs are calculators for words, just predicting the next word, how can it answer all my questions?
當你讓大語言模型處理一些需要思考的任務時，而它也能夠成功完成，這很可能是因為你給它的任務它已經在成千上萬個例子中見過了。即使你提出了一些非常獨特的需求，比如：
“寫一首關于虎鯨吃雞的詩”
Write me a poem about an orca eating a chicken
大語言模型也能夠成功完成你交待的任務：
Amidst the waves, a sight unseen, An orca hunts, swift and keen, In ocean’s realm, the dance begins, As a chicken’s fate, the orca wins.
With mighty jaws, it strikes the prey, Feathers float, adrift away, In nature’s way, a tale is spun, Where life and death become as one.
~ ChatGPT
很不錯，對吧？這多虧了它的自注意力機制，使其能夠有效地融合和匹配相關信息，從而構建出一個合理而連貫的回答。
在訓練過程中，大語言模型（LLM）學會了識別數據中單詞（and 短語）之間的模式、關聯和關系。經過大量的訓練和微調，LLM 可以表現出一些新的特性，例如進行語言翻譯、摘要生成、問題解答，甚至是創意寫作。盡管模型沒有直接接受某些任務或技能的教授，但通過對大量數據的學習和訓練，模型可以展現出超出預期的能力，并且表現得非常出色
那么，大語言模型是否具備智能（intelligent）呢？
Are Large Language Models intelligent?
電子計算器（electronic calculator）已經存在了六十多年。這種工具在技術上取得了“飛躍式”的進步，但從來沒有被認為是智能的。為什么呢？
圖靈測試（Turing Test）是一種判斷機器是否具有人的智能（human intelligence）的簡單方法：如果一臺機器能以讓人類無法區分的方式與人類進行對話，那么它被認為具有人的智能。
計算器從未經歷過圖靈測試[3]，因為它不使用與人類相同的語言進行交流，只能使用數學語言。然而，大語言模型生成的是人類語言。它的整個訓練過程都圍繞著模仿人類語言展開。因此，它能夠“以讓人類無法區分的方式與人類進行對話”并不令人意外。
因此，用“智能（intelligent）”一詞來描述大語言模型有些棘手，因為對于智能的真正定義并沒有明確的共識。判斷某物是否智能的一種方式是，它是否能夠做出有趣、有用且有一定程度的復雜性或創造性的事情。大語言模型確實符合這個定義。不過，我并不完全同意這種解釋。
我將智能定義為拓展知識邊界的能力。
I define intelligence as the ability to expand the frontiers of knowledge.
截至本文撰寫之時，通過預測下一個token/單詞方式進行工作的機器仍然無法拓展知識的邊界。
不過，它可以根據已有的數據進行推斷和填補。它既無法明確理解詞語背后的邏輯，也無法理解現有的知識體系。它無法產生創新的想法或深入的洞察力。它只能提供相對一般的回答，而無法產生突破性的想法。
在這里插入圖片描述
在面對機器無法產生創新思維和深入洞察力的情況下，對于我們人類來說有什么影響或啟示呢？
So, what does this mean for us humans?
我們應該將大語言模型（LLMs）更多地視為一種對詞語的計算器。 不應該讓我們的思考過程完全依賴于大模型，而應將其視為我們思考和表達的輔助工具而非替代品。
同時，隨著這些大模型的參數量呈指數級增長，我們可能會感到越來越不知所措和力不從心。對此，我的建議是始終保持對看似不相關的想法的好奇心。有時候我們會遇到一些看似不相關的或矛盾的想法，但通過我們的觀察、感知、經驗、學習和與他人的交流，我們可以發現這些想法之間可能存在某種聯系，或這些想法可能是合理的。（譯者注：這種聯系可能來自于我們對事物的觀察、理解和解釋，或者是通過將不同領域的知識和概念相互關聯而得出的新的想法。我們應該保持開放的思維，不僅僅局限于表面上的直覺，而是觀察、感知、經驗、學習和與他人的交流，來發現更深層次的意義和聯系。）我們不應滿足于僅停留在已知領域，而是應該積極探索新的領域，不斷擴展我們的認知邊界。 我們也應該不斷追求新的知識或對已掌握知識的新理解，并將它們與已有的知識相結合，去創造新的見解和想法。
如果你能夠以前文所描述的思維方式和行為方式行動，那么，無論是計算器還是大語言模型，所有形式的技術都將成為你可以利用的工具，而不是你需要擔心的生存威脅。
END
參考資料
[3]??https://en.wikipedia.org/wiki/Turing_test??
本文經原作者授權，由Baihai IDP編譯。如需轉載譯文，請聯系獲取授權。
原文鏈接：
??https://medium.com/the-modern-scientist/large-language-models-a-calculator-for-words-7ab4099d0cc9??
