機械鸚鵡與真正的智能：大語言模型推理能力的迷思原創(chuàng) 精華

發(fā)布于 2024-12-19 10:32

瀏覽

0收藏

編者按： 大語言模型真的具備推理能力嗎？我們是否誤解了"智能"的本質，將模式匹配誤認為是真正的推理？
本文深入探討了大語言模型（LLMs）是否真正具備推理能力這一前沿科學問題，作者的核心觀點是：LLMs 本質上是高級的模式識別機器，而非真正具備邏輯推理能力。
首先，作者指出，盡管大語言模型在各類推理能力基準測試中表現(xiàn)出色，但其性能實際上高度依賴于訓練數(shù)據中的模式識別，而非真正的邏輯推理。其次，文章質疑了目前廣泛使用的思維鏈（Chain-of-Thought）提示詞技術。再者，通過對數(shù)學推理的深入分析，作者指出 LLMs 實際上并不理解數(shù)學概念，而是在尋找和匹配模式。即便在復雜的數(shù)學問題中，模型也常常表現(xiàn)出對無關信息的過度敏感性。
本文作者并未貶低大語言模型的價值，而是客觀地將其定位為擁有非凡記憶能力的系統(tǒng)，期待未來能夠開發(fā)出真正具備推理能力的人工智能架構。

作者 | Salvatore Raieli

編譯 | 岳揚

機械鸚鵡與真正的智能：大語言模型推理能力的迷思-AI.x社區(qū)

image generated by the author using DALL-E

我很少遇到能夠進行推理的數(shù)學家。— 柏拉圖
推理能夠引導出結論，但這些結論是否確鑿，還需通過經驗的驗證才能確定。— 羅杰·培根

大語言模型（LLMs）[1]展現(xiàn)出的性能驚人，特別是在自然語言處理[2]的傳統(tǒng)領域（比如回答問題）方面表現(xiàn)突出。更令人驚訝的是，它們在那些需要邏輯推理的復雜任務（如編程和數(shù)學問題解決）上也取得了進步。長期以來，這些能力一直被認為是人類獨有的。因此，當人們提出大語言模型（LLMs）能夠解決那些需要推理的任務時，這個觀點引發(fā)了激烈的討論。

大語言模型（LLMs）真的能夠進行推理嗎？還是它們僅僅是比較高級的模式匹配器（pattern matchers）？

推理能力對于人工智能系統(tǒng)與人類的有效互動以及在執(zhí)行關鍵任務時的應用具有決定性意義。這種能力要求系統(tǒng)能夠邏輯性地推理（reason logically）、進行推斷（conduct inference）、解決問題，并基于現(xiàn)有信息作出決策。在科學探索、醫(yī)療健康、金融領域以及教育行業(yè)中，能夠為我們提供實質性幫助的模型，同樣需要具備這些技能。

新模型的問世使得這場討論愈發(fā)激烈。隨著 OpenAI GPT-4o1[3] 的發(fā)布，人們對使用思維鏈（COT）訓練模型來提高推理能力產生了濃厚的興趣。經過這種訓練的大語言模型（LLMs）所取得的成果讓一些公司宣稱，現(xiàn)在的 LLMs 已經具備了推理能力，AGI 離我們越來越近了。

因此，當前的我們正處于一場深刻的大辯論之中：一方面，有公司和研究人員堅稱這些模型已經擁有了推理能力[4]；而另一方面，也有人將 LLMs 貶稱為“隨機鸚鵡（stochastic parrots）”。

本文將著重探討以下問題的答案：

何謂推理？
大語言模型（LLMs）是否具備真正的推理能力，還是僅僅在做鸚鵡學舌？
我們對于推理能力的評估方法是否準確無誤？

01 何謂推理（reasoning）？

推理是根據現(xiàn)有信息、邏輯和分析內容得出結論或做出決定的基本認知過程。根據亞里士多德的觀點，推理可分為兩種類型：

演繹推理（Deductive reasoning）：從普遍原理中得出具體結論。
歸納推理（Inductive reasoning）：通過觀察現(xiàn)象來形成一般性結論。

傳統(tǒng)觀念認為，推理是人類獨有的能力。但現(xiàn)在我們發(fā)現(xiàn)，靈長類、章魚甚至鳥類也展現(xiàn)出了一定的推理能力，它們能夠進行決策和解決問題。

一般來說，推理被視為解決復雜問題或做出明智選擇的過程。這要求識別問題、將其拆分為小問題、發(fā)現(xiàn)其中的規(guī)律，然后選擇最佳解決方案。決策過程也相似，需要識別問題、尋找規(guī)律，并在做出選擇前對備選方案進行評估。

然而，這些定義存在不明確之處。按照這些標準，LLM 也可以被視為具有推理能力。

02 LLM 能夠推理嗎？

在一系列評估推理能力的基準測試中（如 GLUE[5]、SuperGLUE[6] 和 Hellaswag[7]），大語言模型（LLMs）的表現(xiàn)甚至超越了人類。有人據此認為，LLMs 可以進行推理并得出合乎邏輯的結論。

LLMs 推理能力的提升主要得益于兩個方面：

LLMs 在所有針對推理能力評估設計的基準測試中都表現(xiàn)出了推理能力。
隨著模型參數(shù)、token 數(shù)量和計算資源的增加，模型的新特性不斷涌現(xiàn)。

采用思維鏈（CoT）等技巧，可以讓模型發(fā)揮其潛力。如果我們認為 LLMs 不具備推理能力，那么我們就需要對上述觀點提出質疑。

2.1 LLMs 在推理能力基準測試中的驚艷表現(xiàn)

當有人聲稱 LLM 不會推理時，AGI 的支持者會回應說：“看看推理能力基準測試[8]的結果。”這就像是“鴨子測試（duck test）”：如果它能像人一樣解決問題，做出決策，甚至在推理能力基準測試中勝出，那么它很可能就具有人類擁有的推理能力。

然而，也有學者對此表示懷疑1。模型看似能夠進行復雜的推理，但實際上它們依賴的是概率模式匹配，而非嚴謹?shù)男问酵评恚╢ormal reasoning）。

模型對特定 tokens 的過度依賴表明，它更多的是在利用輸入數(shù)據的表面特征，而非深入理解背后推理任務的本質。—— source[9]

換言之，這些脆弱的表現(xiàn)揭示了 LLMs 在遇到與訓練過程中所見模式不同的新案例時，缺乏泛化能力。一旦改變例子中的 tokens，就會導致邏輯錯誤（因為模型無法將新例子與訓練數(shù)據中的模式相對應）。因此，模型對于測試案例極為敏感，容易受其影響（這也解釋了為何模型有時看似推理能力驚人，有時卻會以失敗告終）。

通過擾動例子中的 tokens，我們可以看到模型的脆弱性，擾動導致 LLM 無法解決問題（說明其“推理”過于依賴特定的 tokens，并將它們與訓練集中的內容相匹配）。這一點通過訓練數(shù)據中例子的出現(xiàn)頻率與測試表現(xiàn)之間的相關性得到了驗證8。

機械鸚鵡與真正的智能：大語言模型推理能力的迷思-AI.x社區(qū)

“圖論中經典的‘二十五匹馬’問題。上面兩幅子圖由 GPT-4o 生成，僅供參考，通過將‘馬’改為‘兔子’來演示這一概念，這與問題的基本邏輯無關。下面兩幅子圖顯示的是 GPT-4 和 Claude 的實驗結果，其中動物名稱和數(shù)量的擾動導致性能顯著下降”。圖片來源：??https://arxiv.org/pdf/2406.11050??

這種現(xiàn)象被稱為“提示詞敏感性”（即模型對于語義上等價的不同提示詞會有不同的反應）11-12。這意味著模型對于與訓練文本更為貼近的提示詞會有更好的響應。

大語言模型（Large Language Models，LLM）同樣對噪聲敏感2。實際上，這些模型很容易受到無關上下文的影響，導致其在進行推理時的表現(xiàn)大打折扣。此外，即便是那些專門用于提升推理能力的提示詞技巧[10]，也無法完全消除噪聲的影響。這表明，噪聲對模型記憶中模式識別能力的干擾是顯著的。

2.2 智力被視為一種“涌現(xiàn)屬性”

許多人認為，智力是隨著生物系統(tǒng)自然趨向于復雜化和能力提升而逐漸涌現(xiàn)的[11]。如果生物不能適應這種變化，就會在進化壓力下被淘汰。因此，進化過程會導致生物變得越來越聰明或越來越特化。智力就是在這樣的壓力下逐步進化而來的。智力的發(fā)展顯然需要資源，因此大腦發(fā)展到了支持智力發(fā)展的水平。有些人認為，在模式訓練（pattern training function）中的損失函數(shù)就如同一種進化壓力。因此，一旦模型擁有了足夠的“神經元”，它們就能夠發(fā)展出推理能力（用專業(yè)術語來說，就是隨著模型規(guī)模的擴大，推理能力逐漸顯現(xiàn)）。

如前所述，這種推理能力的增強被認為是模型規(guī)模增加的結果（無論是參數(shù)的數(shù)量還是訓練 tokens 的數(shù)量）。但是，在一些學者看來，推理能力是一種需要達到一定參數(shù)閾值才能顯現(xiàn)的涌現(xiàn)屬性。然而，后續(xù)的研究表明，大語言模型（Large Language Models，LLMs）中的涌現(xiàn)屬性[12]可能是一種測量誤差，因此，整個理論就與推理能力的突然出現(xiàn)3, 13有關了。

2.3 CoT is not all you need

其他學者認為，大語言模型（Large Language Models，LLMs）本身具備推理能力，但這種能力需要通過特定方式來激活。思維鏈（Chain-of-thought，CoT）提示詞就是這樣一種方法，它通過中間推理過程幫助模型釋放其潛力，進而引導模型在解決算術問題時得出正確答案4。然而，幾周前的一篇文章對 CoT 的實際效用提出了質疑5：

在 MMLU 基準測試中，CoT 帶來的性能提升，多達 95% 是因為問題或生成的輸出中包含了“=”符號。對于非數(shù)學問題，我們并未發(fā)現(xiàn)任何跡象表明 CoT 在什么情況下會有幫助。—— source[13]

由此可見，CoT 在解決數(shù)學問題上的確有所幫助，但它并不能真正激活 LLM 的推理潛力。盡管如此，CoT 仍被吹噓為靈丹妙藥，并被認為是最新一代 LLMs 推理能力的基礎[14]。

機械鸚鵡與真正的智能：大語言模型推理能力的迷思-AI.x社區(qū)

通過對思維鏈（Chain-of-thought，CoT）相關文獻的元分析發(fā)現(xiàn)，無論是在數(shù)學領域還是其他類型的符號推理領域，CoT 都能帶來顯著的性能提升（紅色虛線所示為不同實驗中 CoT 帶來的平均改進效果）。圖片來源：??https://arxiv.org/pdf/2409.12183??

這些發(fā)現(xiàn)似乎表明，LLMs 并不具備常識推理能力，但這并不意味著它們完全不具備其他類型的推理能力。

LLMs 真的能夠進行數(shù)學推理嗎？

盡管數(shù)學推理似乎是 LLMs 在推理方面的優(yōu)勢，但有研究表明，LLMs 可能只是在識別模式（patterns）。也就是說，它們在尋找模式（patterns）時，并不真正理解這些數(shù)學符號的含義。

一些研究者指出6，LLMs 在數(shù)學上無法進行形式推理（formal reasoning），因為它們不能制定出行動計劃（這里所說的計劃是指一系列行動策略，通過執(zhí)行這些策略，可以從初始狀態(tài)達到期望的最終狀態(tài)）。沒有這樣的計劃，模型就只能簡單復現(xiàn)訓練中遇到的模式（patterns）[15]，而無法真正解決問題。在某些情況下，甚至可能是用戶無意中引導 LLM 找到了答案7：

這就是所謂的“聰明的漢斯效應（The Clever Hans Effect）”，LLM 只是在進行猜測，而真正引導它的是處于環(huán)路中的人類，他們憑借對正確與錯誤解決方案的了解，無意中操控了 LLM 的輸出 —— 即便他們并非有意為之。因此，確保準確性（如果有的話）的功過都應該歸咎于這個環(huán)路中的人類。source：??https://arxiv.org/pdf/2403.04121??

機械鸚鵡與真正的智能：大語言模型推理能力的迷思-AI.x社區(qū)

LLMs 所聲稱的推理能力，有時實際上是由于參與其中的人類在不自覺中提供了有益的、連續(xù)的提示詞。圖片來源：??https://arxiv.org/pdf/2403.04121??

綜上所述，支持大語言模型（LLM）存在推理能力的人們認為，我們之所以看到模型的這些行為，有多方面的原因。但是有幾項研究表明，它們與這些觀點存在沖突。

盡管那些研究堅稱大語言模型（LLM）不具備推理能力，但它們在所有基準測試中都取得了驚人的成績，甚至在一些復雜的測試中超越了人類的表現(xiàn)[16]。因此，我們提供的證據似乎更多是基于理論，而不是基于大語言模型（LLM）解決數(shù)學和復雜問題能力的實證研究。

是否是因為人類對于被大語言模型（LLM）超越而感到不滿，還是其中確實存在問題呢？

2.4 發(fā)現(xiàn)一名學生在抄襲

無疑，看到有人聲稱大語言模型（LLM）的表現(xiàn)堪比博士生，這讓人感到不悅：

o1-preview 模型的設計初衷是處理具有挑戰(zhàn)性的任務，它通過像人一樣花更多時間思考和優(yōu)化回答來應對復雜問題。在測試中，這種方法使得模型在物理、化學和生物等領域的表現(xiàn)接近博士生水平。source：??https://venturebeat.com/ai/forget-gpt-5-openai-launches-new-ai-model-family-o1-claiming-phd-level-performance/??

暫且不提這種不快，問題在于我們如何衡量這些模型的能力。我們可能并沒有用正確的方法來測試它們的推理能力，是時候采用新的評測體系了。

這些模型都在 GSM8K（Grade School Math 8K）[17]數(shù)據集上進行測試，這個數(shù)據集提供了復雜的算術問題，但由于訓練 LLM 時使用了數(shù)十億個數(shù)據 tokens，存在答案泄露的風險。此外，這個數(shù)據集只提供了一個固定問題集上的單一度量標準，對我們了解 LLM 的推理能力幫助有限（有趣的是，LLM 可能在推理完全錯誤的情況下仍然給出正確答案）。而且，這個數(shù)據集是靜態(tài)的，不允許我們改變測試條件。

在這項研究中，研究者提出了一個新的基準測試數(shù)據集 GSM-Symbolic[18] 9，它通過使用符號模板生成不同的問題。通過該數(shù)據集，我們可以調整問題的難度，并在測試時提供更精確的控制。這個數(shù)據集實際上與之前用于推理測試的數(shù)據集相同，只是對問題進行了修改，使得簡單的統(tǒng)計模式匹配（statistical pattern matching）變得困難。如果 LLM 真的具備推理能力，它應該能夠輕松解決這些問題；但如果它無法進行泛化，那么它將無法完成任務。

機械鸚鵡與真正的智能：大語言模型推理能力的迷思-AI.x社區(qū)

GSM-Symbolic 模板創(chuàng)建過程示意圖。圖片來源：??https://arxiv.org/pdf/2410.05229??

在對最先進的 LLMs 進行測試時，研究者并未發(fā)現(xiàn)模型具備形式推理的能力。這些模型并不穩(wěn)健，當數(shù)值發(fā)生變化時，性能就會下降，且在問題復雜性提升時，其處理能力會迅速衰退。

如果向問題中插入看似相關卻實際上對推理和結論無影響的語句，模型便容易被誤導。模型會將這些語句考慮在內，從而誘發(fā)錯誤。研究指出，模型并沒有真正理解數(shù)學概念，而是試圖將這些語句轉化為數(shù)學操作。作者們推測，這可能是由于訓練數(shù)據集中包含了類似需要轉化為數(shù)學操作的例子。

比如，我們觀察到的一種常見情況是，無論上下文如何，模型會將涉及“折扣”的語句理解為“乘法”。這不禁讓人質疑，這些模型是否真正掌握了數(shù)學概念。來源：??https://arxiv.org/pdf/2410.05229??

機械鸚鵡與真正的智能：大語言模型推理能力的迷思-AI.x社區(qū)

圖片來源：??https://arxiv.org/pdf/2410.05229??

這再次證明，模型甚至在模式（patterns）僅僅是背景噪聲的情況下，也會試圖尋找這些模式（patterns）。當噪聲增強，尋找模式（patterns）的難度加大（或者難以一致性地將這些模式（patterns）映射到解決方案上），模型的性能就會大幅下滑10。這一點同樣適用于那些經過 CoT 訓練的 LLMs（比如 ChatGPT4-O1[3]）。這進一步說明，CoT 并未真正提升模型的推理能力。

機械鸚鵡與真正的智能：大語言模型推理能力的迷思-AI.x社區(qū)

圖片來源：??https://www.arxiv.org/pdf/2409.13373??

03 結束語

本文探討了一個熱門話題：LLMs 是否具備推理能力？或者至少是某種形式的推理能力？

我們所展示的研究成果給出了不同的觀點，認為 LLMs 實質上是高級的模式匹配機器。 總結來說，這些研究指出：

LLMs 通過海量 tokens 進行訓練，因此存在主要基準測試數(shù)據集發(fā)生數(shù)據污染的風險。即便模型未曾直接見過某個數(shù)學問題，它也可能接觸過眾多類似的案例。
憑借其龐大的知識庫和與生俱來的模式識別能力（歸功于注意力機制和上下文學習[19]），它們能夠解決大部分問題。
它們在應對問題變化、tokens 偏差以及噪聲影響方面的脆弱性，強烈表明 LLMs 并不具備形式推理的能力。最新研究結果顯示，即便采用先進的提示詞技術，模型仍然容易受到噪聲和不相關（甚至可能誤導）信息的影響。
這些模型能夠進行模式匹配，但似乎并不理解解決問題所依據的任何數(shù)學概念。

這些發(fā)現(xiàn)并未否定 LLMs 的實用性，而是對 LLMs 具備推理能力的觀點提出了質疑。 這些結果表明，可以將 LLM 視為擁有非凡記憶力的機器，卻無法進行推理（或者可以說是迄今為止最精巧的“機械鸚鵡”）。這并非貶低創(chuàng)造它們所需的卓越技術，而是對人類智慧結晶的贊嘆。為了更深入地理解 LLMs 的能力，以及開發(fā)能夠進行推理的新模型架構，可能還需要進一步的研究。

Reference

Jiang, 2024, A Peek into Token Bias: Large Language Models Are Not Yet Genuine Reasoners, ??https://arxiv.org/abs/2406.11050??
Shi, 2023, Large Language Models Can Be Easily Distracted by Irrelevant Context, ??https://proceedings.mlr.press/v202/shi23a.html??
Schaeffer, 2023, Are emergent abilities of large language models a mirage? ??https://arxiv.org/pdf/2304.15004??
Wei, 2022, Chain-of-Thought Prompting Elicits Reasoning in Large Language Models, ??https://arxiv.org/abs/2201.11903??
Sprague, 2024, To CoT or not to CoT? Chain-of-thought helps mainly on math and symbolic reasoning, ??https://arxiv.org/abs/2409.12183??
Valmeekam, 2023, PlanBench: An Extensible Benchmark for Evaluating Large Language Models on Planning and Reasoning about Change
Kambhampati, 2024, Can Large Language Models Reason and Plan? ??https://arxiv.org/abs/2403.04121??
Razeghi, 2022, Impact of Pretraining Term Frequencies on Few-Shot Reasoning, ??https://arxiv.org/abs/2202.07206??
Mirzadeh, 2024, GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models, ??https://arxiv.org/abs/2410.05229??
Valmeekam, 2024, LLMs Still Can’t Plan; Can LRMs? A Preliminary Evaluation of OpenAI’s o1 on PlanBench, ??https://www.arxiv.org/abs/2409.13373??
Lu, 2022, Fantastically Ordered Prompts and Where to Find Them: Overcoming Few-Shot Prompt Order Sensitivity, ??https://aclanthology.org/2022.acl-long.556/??
Zhao, 2021, Calibrate Before Use: Improving Few-shot Performance of Language Models, ??https://proceedings.mlr.press/v139/zhao21c.html??
Rogers, 2024, Position: Key Claims in LLM Research Have a Long Tail of Footnotes, ??https://openreview.net/forum?id=M2cwkGleRL??