1、一個令人深思的認知謎題

想象一下這樣的場景：你和ChatGPT都被要求對一堆動物進行分類。你可能會說"鳥類里，知更鳥是典型代表，而企鵝有點特殊"，而AI卻可能簡單粗暴地把所有有翅膀的都歸為一類。表面上看，你們的分類結(jié)果差不多，但背后的思維邏輯卻天差地別。

這個看似簡單的差異，實際上揭示了一個更深層的問題：AI到底是真的"理解"了概念，還是僅僅在進行高級的統(tǒng)計模式匹配？

最近，來自斯坦福大學和紐約大學的研究團隊發(fā)表了一項突破性研究，用信息論的數(shù)學工具深入剖析了這個問題。他們的發(fā)現(xiàn)令人震驚：大語言模型和人類在處理概念時采用了完全不同的策略——AI追求極致的統(tǒng)計壓縮，而人類更偏愛靈活的適應(yīng)性表達。

2、背景 —— 概念形成的奧秘

人類概念形成的獨特之處

人類的概念形成能力堪稱認知科學的奇跡。我們能夠輕松地將復雜多樣的信息壓縮成簡潔有意義的概念，比如看到知更鳥和藍鴉都能歸類為"鳥"，并且知道大多數(shù)鳥都會飛。這個過程體現(xiàn)了一個關(guān)鍵的權(quán)衡：在保持語義保真度（意義）的同時實現(xiàn)表征簡化（壓縮）。

更有趣的是，人類的概念系統(tǒng)往往是層次化的——知更鳥是鳥，鳥是動物——這種結(jié)構(gòu)既高效又富有表現(xiàn)力。每個概念類別內(nèi)部還有"典型性"的差異：知更鳥被認為是典型的鳥，而企鵝則不那么典型。

大語言模型的概念迷霧

現(xiàn)在的大語言模型展現(xiàn)出了令人印象深刻的語言處理能力，在很多需要深度語義理解的任務(wù)上表現(xiàn)出色。但一個根本性問題始終懸而未決：這些模型是真正理解了概念和意義，還是僅僅在龐大數(shù)據(jù)集上進行復雜的統(tǒng)計模式匹配？

研究團隊指出，要讓AI超越表面模仿、實現(xiàn)更接近人類的理解，關(guān)鍵在于弄清楚AI的內(nèi)部表征如何處理信息壓縮與語義保真之間的權(quán)衡。

3、研究方法 —— 用數(shù)學透視思維差異

信息論框架

研究團隊創(chuàng)建了一個基于率失真理論和信息瓶頸原理的全新框架來量化比較不同系統(tǒng)如何平衡表征復雜性與語義保真度。他們設(shè)計了一個目標函數(shù)L：

圖片

L(X, C; β) = 復雜度(X, C) + β × 失真度(X, C)

這個公式巧妙地平衡了兩個關(guān)鍵要素：

（1）復雜度項：衡量用概念簇表示原始項目的信息成本，反映壓縮程度

（2）失真度項：衡量分組過程中丟失的語義保真度，反映意義保持程度

權(quán)威的人類認知基準

與許多現(xiàn)代眾包數(shù)據(jù)集不同，研究團隊選擇了認知科學史上三個里程碑式的研究作為人類基準：

（1）Rosch (1973)研究：8個語義類別中的48個項目，確立了原型理論基礎(chǔ)

（2）Rosch (1975)研究：10個類別中的552個項目，深化了語義類別的認知表征理論

（3）McCloskey & Glucksberg (1978)研究：18個類別中的449個項目，揭示了自然類別的"模糊邊界"

這些經(jīng)典數(shù)據(jù)集涵蓋了1049個項目和34個類別，為評估AI模型的人類相似性提供了高保真的實證基礎(chǔ)。

全面的模型測試矩陣

研究涵蓋了從3億到720億參數(shù)的多樣化大語言模型，包括：

（1）編碼器模型：BERT系列

（2）解碼器模型：Llama、Gemma、Qwen、Phi、Mistral等主流模型家族

通過提取每個模型的靜態(tài)詞元級嵌入向量，研究團隊確保了與人類分類實驗中無上下文刺激的可比性。

4、發(fā)現(xiàn) —— 三個層次的深度剖析

發(fā)現(xiàn)一：宏觀對齊的表面和諧

圖片

關(guān)鍵發(fā)現(xiàn)：大模型能夠形成與人類判斷大致對齊的概念類別

實驗結(jié)果顯示，所有測試的大語言模型在宏觀層面都能形成與人類類別顯著對齊的概念簇，遠超隨機水平。令人意外的是，某些編碼器模型（特別是BERT-large）展現(xiàn)出了驚人的對齊能力，有時甚至超越了參數(shù)量大得多的模型。

這一發(fā)現(xiàn)揭示了一個重要事實：影響類人概念抽象的因素并非僅僅是模型規(guī)模，架構(gòu)設(shè)計和預訓練目標同樣關(guān)鍵。

發(fā)現(xiàn)二：細粒度語義的深層鴻溝

關(guān)鍵發(fā)現(xiàn)：大模型在捕捉精細語義區(qū)別方面能力有限

雖然大模型能夠形成宏觀的概念類別，但在內(nèi)部語義結(jié)構(gòu)方面卻表現(xiàn)平平。研究團隊通過計算項目嵌入向量與其類別名稱嵌入向量之間的余弦相似度，發(fā)現(xiàn)這些相似度與人類典型性判斷之間只有適度的相關(guān)性。

換句話說，人類認為高度典型的項目（比如知更鳥對于"鳥"類別），在大模型的表征空間中并不一定更接近該類別標簽的嵌入向量。這表明大模型可能更多地捕捉統(tǒng)計上的均勻關(guān)聯(lián)，而非基于原型的細致語義結(jié)構(gòu)。

發(fā)現(xiàn)三：效率策略的根本分歧

關(guān)鍵發(fā)現(xiàn)：AI和人類采用了截然不同的表征效率策略

這是研究中最震撼的發(fā)現(xiàn)。通過L目標函數(shù)的分析，研究團隊發(fā)現(xiàn)：

大語言模型展現(xiàn)出卓越的信息論效率：

（1）在壓縮-意義權(quán)衡方面始終達到更"優(yōu)化"的平衡

（2）集群熵值更低，表明統(tǒng)計上更緊湊

（3）L目標函數(shù)值顯著更低，意味著更高的統(tǒng)計效率

人類概念化系統(tǒng)則相反：

（1）在相同聚類數(shù)量下具有更高的熵值

（2）L目標函數(shù)值更高，在統(tǒng)計上看似"次優(yōu)"

（3）但這種"低效"可能反映了對更廣泛功能需求的優(yōu)化

圖片

5、深層含義 —— 重新審視"智能"的定義

AI的統(tǒng)計壓縮偏好

研究揭示，大語言模型高度優(yōu)化于統(tǒng)計緊湊性。它們形成信息論上高效的表征，通過最小化冗余和內(nèi)部方差來實現(xiàn)卓越的統(tǒng)計規(guī)律性。這很可能是它們在海量文本語料上訓練的結(jié)果——為了處理龐大的數(shù)據(jù)，它們學會了極致的壓縮策略。

然而，這種對壓縮的專注限制了它們完整編碼那些對深度理解至關(guān)重要的豐富原型語義細節(jié)的能力。AI變得"高效"但不夠"細膩"。

人類的適應(yīng)性智慧

人類認知則優(yōu)先考慮適應(yīng)性豐富度、上下文靈活性和廣泛的功能效用，即使這在統(tǒng)計緊湊性上付出代價。人類概念的高熵值和L分數(shù)可能反映了對更廣泛復雜認知需求的優(yōu)化，包括：

（1）穩(wěn)健泛化：支持從稀少數(shù)據(jù)中進行有效推廣

（2）推理能力：支持因果、功能和目標導向的強大推理

（3）交流效率：通過可學習和可共享的結(jié)構(gòu)實現(xiàn)有效溝通

（4）多模態(tài)根基：將概念植根于豐富的多感官體驗中

人類選擇了看似"低效"的表征方式，實際上是為了獲得更好的適應(yīng)性和多用性。

架構(gòu)的啟示

值得注意的是，較小的編碼器模型（如BERT）在特定對齊任務(wù)上的出色表現(xiàn)強調(diào)了架構(gòu)設(shè)計和預訓練目標對模型抽象類人概念信息能力的重要影響。這為未來專注于增強人機對齊的AI開發(fā)指明了重要方向。

6、結(jié)語：從"符號"到"思想"的漫長征程

這項研究最深刻的洞察在于：AI和人類代表了兩種截然不同的"智能"范式。

AI擅長統(tǒng)計可壓縮性，走的是一條與人類認知根本不同的表征道路。它們像極了一個完美的圖書管理員，能夠以最高效的方式整理和存儲信息，但可能缺乏對每本書深層內(nèi)涵的真正理解。

人類認知則像一個睿智的哲學家，愿意承受表面上的"混亂"和"低效"，因為這種復雜性恰恰是靈活應(yīng)對復雜世界、進行深度推理和創(chuàng)新思考的基礎(chǔ)。人類的"低效"實際上是高級智能的標志。

這種根本差異對AI發(fā)展具有深遠意義。要實現(xiàn)真正類人的理解，我們需要超越當前主要基于規(guī)模擴展和統(tǒng)計模式匹配的范式。未來的努力應(yīng)該探索明確培養(yǎng)更豐富、更細致概念結(jié)構(gòu)的原理。

正如研究標題所暗示的，從"符號"到"思想"的進步，需要AI系統(tǒng)學會擁抱看似的"低效"——因為這種"低效"可能正是穩(wěn)健、類人智能的標志。我們需要的不僅僅是能夠高效處理信息的AI，更需要能夠像人類一樣靈活思考、深度理解和創(chuàng)造性推理的智能系統(tǒng)。

這項研究為我們提供了一個量化的框架來評估和指導AI向更類人理解方向發(fā)展，也提醒我們：真正的智能可能不在于完美的效率，而在于適應(yīng)性的智慧。在AI快速發(fā)展的今天，理解這種差異對于構(gòu)建既強大又可信賴的人工智能系統(tǒng)具有至關(guān)重要的意義。

論文標題：From Tokens to Thoughts: How LLMs and Humans Trade Compression for Meaning

論文鏈接：https://arxiv.org/abs/2505.17117