深度神經(jīng)網(wǎng)絡(luò)（DNN）早已不僅僅是數(shù)學(xué)家的玩具，它們已廣泛應(yīng)用于語(yǔ)音識(shí)別、圖像分類(lèi)、語(yǔ)言理解乃至戰(zhàn)略博弈等高復(fù)雜度任務(wù)中。在許多感知任務(wù)上，它們甚至趕超了人類(lèi)的表現(xiàn)。這也引出了一個(gè)令人著迷的問(wèn)題：這些“聰明”的機(jī)器到底在多大程度上理解世界的方式與我們?nèi)祟?lèi)類(lèi)似？

正是在這樣的背景下，認(rèn)知神經(jīng)科學(xué)與人工智能研究者的目光開(kāi)始聚焦于“表征對(duì)齊”（representational alignment）這一核心問(wèn)題。所謂表征，是指系統(tǒng)內(nèi)部對(duì)信息的編碼與處理方式；而“對(duì)齊”意指兩個(gè)系統(tǒng)——比如人腦與人工智能網(wǎng)絡(luò)——是否在處理相同輸入時(shí)，產(chǎn)生了結(jié)構(gòu)相似或語(yǔ)義一致的內(nèi)部表示。這不僅僅是理論上的好奇，更事關(guān)重大：若能理解DNN與人類(lèi)在信息處理上的差異，我們將能更有效地構(gòu)建出更安全、可解釋、甚至更“類(lèi)人”的AI系統(tǒng)。同時(shí)，反向地，這類(lèi)研究也為人類(lèi)認(rèn)知機(jī)制的建模與模擬提供了前所未有的工具。

6 月 23 日，發(fā)表于 Nature Machine Intelligence的論文《Dimensions underlying the representational alignment of deep neural networks with humans》，正是一次對(duì)這個(gè)問(wèn)題的深度剖析。研究團(tuán)隊(duì)并不滿(mǎn)足于以往研究中使用的“黑盒式”相似性指標(biāo)（如相關(guān)系數(shù)、方差解釋率）來(lái)衡量人機(jī)對(duì)齊程度——這些指標(biāo)雖然可以告訴我們兩者“看起來(lái)差不多”，卻無(wú)法揭示“為何不同”或“哪一點(diǎn)相似”。換句話(huà)說(shuō)，表征的“程度”已無(wú)法滿(mǎn)足認(rèn)知對(duì)齊研究，必須進(jìn)一步探索“機(jī)制”層面的對(duì)比。

為了解決這個(gè)難題，研究團(tuán)隊(duì)提出了一種基于行為任務(wù)的新穎框架。他們將一個(gè)DNN模型與人類(lèi)實(shí)驗(yàn)參與者置于相同的行為環(huán)境中，利用一個(gè)經(jīng)典的三選一任務(wù)（Odd-One-Out Task），來(lái)逼迫兩者作出相似性判斷。接著，他們通過(guò)一種變分嵌入優(yōu)化方法，將DNN和人類(lèi)在任務(wù)中的選擇結(jié)果映射到低維的表征空間中，從而捕捉驅(qū)動(dòng)這些行為背后的“概念維度”。這些維度可能是視覺(jué)性的，比如顏色、形狀，也可能是語(yǔ)義性的，比如“食物”或“工具”。

更精彩的是，該研究不止步于定量評(píng)估，而是通過(guò)維度級(jí)別的解釋性技術(shù)（包括Grad-CAM熱圖、StyleGAN圖像生成與因果操控實(shí)驗(yàn)）驗(yàn)證每個(gè)維度所承載的信息是否真正“可解釋”、并分析它們?cè)谌祟?lèi)與DNN中的表現(xiàn)差異。

這樣的工作，顯然不是單一領(lǐng)域的努力所能實(shí)現(xiàn)的。成果背后，是一個(gè)跨越多個(gè)歐洲研究機(jī)構(gòu)的多學(xué)科團(tuán)隊(duì)。團(tuán)隊(duì)的核心由德國(guó)萊比錫的馬普人類(lèi)認(rèn)知與大腦科學(xué)研究所的“視覺(jué)與計(jì)算認(rèn)知小組”主導(dǎo)，第一作者Florian P. Mahner 與共第一作者 Lukas Muttenthaler 分別來(lái)自 Max Planck、柏林工業(yè)大學(xué)機(jī)器學(xué)習(xí)組，以及柏林學(xué)習(xí)與數(shù)據(jù)研究中心（BIFOLD）。他們的研究結(jié)合了來(lái)自神經(jīng)科學(xué)、機(jī)器學(xué)習(xí)、心理學(xué)三個(gè)方向的精粹；而來(lái)自荷蘭 Donders 腦認(rèn)知研究所的 Umut Gü?lü 則以其在深度學(xué)習(xí)與大腦表征對(duì)比方面的研究貢獻(xiàn)了理論與建模的深度。

1.實(shí)驗(yàn)方法與數(shù)據(jù)采集

要真正探究人類(lèi)與深度神經(jīng)網(wǎng)絡(luò)（DNN）在圖像處理上的相似與分歧，必須從行為開(kāi)始。正如這篇論文所展示的那樣，實(shí)驗(yàn)設(shè)計(jì)的靈魂，是一個(gè)簡(jiǎn)單卻富有洞察力的心理學(xué)范式：三選一任務(wù)（Odd-One-Out Task）。

圖1 | 通過(guò)模擬奇數(shù)任務(wù)中的行為決策，類(lèi)似于人類(lèi)捕獲核心DNN對(duì)象表示的計(jì)算框架

三選一任務(wù)：將人類(lèi)與DNN置于“相同考場(chǎng)”

這個(gè)任務(wù)的本質(zhì)非常直觀：每輪呈現(xiàn)三張圖像，參與者（無(wú)論是人類(lèi)還是模型）都需挑選出那張“最不像”的。相比傳統(tǒng)的配對(duì)相似度評(píng)分，這種方法有一個(gè)突出的優(yōu)勢(shì)——它引導(dǎo)系統(tǒng)自主地揭示自己認(rèn)為的“概念邊界”，從而讓內(nèi)在表征自然浮出水面。

研究團(tuán)隊(duì)利用了一個(gè)體量驚人的人類(lèi)判斷數(shù)據(jù)集，來(lái)源于 THINGS 數(shù)據(jù)庫(kù)，共包含 470萬(wàn)條odd-one-out選擇，覆蓋1854類(lèi)對(duì)象。而對(duì)于DNN，研究者將任務(wù)移植到預(yù)訓(xùn)練的 VGG-16 模型上，模擬其在三圖比較中的“選擇行為”，并借此采樣了 2000萬(wàn)組三元組數(shù)據(jù)，遠(yuǎn)超人類(lèi)數(shù)量上的限制，確保模型表征的統(tǒng)計(jì)穩(wěn)健性。

構(gòu)建DNN的“認(rèn)知維度圖譜”：從特征到理解

接下來(lái)的關(guān)鍵，是如何將行為輸出轉(zhuǎn)化為可解釋的嵌入空間。研究團(tuán)隊(duì)選用了 VGG-16 網(wǎng)絡(luò)中倒數(shù)第二層（即離決策最近的表征層）作為起點(diǎn)，將其高維激活向量通過(guò)點(diǎn)積變換，量化三張圖間的相似關(guān)系。最相似的兩張即被視為同類(lèi)，第三張為“異類(lèi)”。

但模型輸出的并不是直接可解讀的維度。為了解構(gòu)這些“內(nèi)部特征”，研究者應(yīng)用了 VICE（Variational Interpretable Concept Embedding） 方法。與其說(shuō)它是一種嵌入技術(shù)，不如說(shuō)它是一套認(rèn)知提取機(jī)制：研究者初始化了150維嵌入空間，并采用帶有稀疏性約束的 spike-and-slab 高斯先驗(yàn)，結(jié)合非負(fù)性（ReLU），構(gòu)建了一組具備語(yǔ)義連貫性且便于解釋的低維向量。最終，他們?cè)谟?xùn)練過(guò)程中通過(guò)剪枝與重參數(shù)采樣，保留了約70維的DNN嵌入，以及 68維的人類(lèi)嵌入，兩者均表現(xiàn)出良好的擬合與可重復(fù)性。

打開(kāi)“黑箱”：AI維度可解釋性的三重路徑

為了讓這些維度不是僅僅“數(shù)學(xué)上合理”，而是真正“認(rèn)知上有意義”，研究者使用了三種技術(shù)路徑進(jìn)行驗(yàn)證。

Grad-CAM 熱圖：對(duì)于任一維度，他們通過(guò)梯度反向傳播生成圖像區(qū)域熱力圖，揭示究竟是圖像中的哪部分“點(diǎn)燃”了該認(rèn)知維度。比如一個(gè)“透明度”維度，很可能聚焦在玻璃、水等高光區(qū)域。

激活最大化生成：借助預(yù)訓(xùn)練生成模型 StyleGAN-XL，研究者逆向生成“最能激活該維度”的圖像。這不僅是驗(yàn)證，也是視覺(jué)化展示：當(dāng)一個(gè)維度代表“圓形綠色物體”時(shí)，生成圖像就會(huì)出現(xiàn)青蘋(píng)果、青檸檬之類(lèi)圖像，令人信服。

因果操控實(shí)驗(yàn)：為了驗(yàn)證維度是否真正反映某種視覺(jué)或語(yǔ)義屬性，研究者直接對(duì)圖像進(jìn)行操控（如改色、換背景、調(diào)整形狀），觀察特定維度的響應(yīng)變化。這種操控從因果關(guān)系上增強(qiáng)了維度的解釋力。

表征相似性重構(gòu)：不是“像不像”，而是“怎么像”

最后一步，是將這些構(gòu)建出的嵌入空間映射到更高層的結(jié)構(gòu)比較中。研究者借助代表性相似性分析（RSA），分別構(gòu)建了人類(lèi)與DNN的對(duì)象相似性矩陣，并逐步對(duì)齊兩者的維度。結(jié)果顯示，兩者在某些維度上表現(xiàn)出高度一致（個(gè)別維度 Pearson r 超過(guò) 0.80），但在全局結(jié)構(gòu)上仍呈現(xiàn)語(yǔ)義與視覺(jué)偏好的根本差異。

更重要的是，這種結(jié)構(gòu)重構(gòu)不僅顯示了“對(duì)齊程度”，還揭示了“對(duì)齊路徑”。從維度加入的先后順序、解釋力提升的邊際變化、到最終高維空間的投影軌跡，都為研究者提供了一種“理解AI如何理解世界”的新視角。

2.主要實(shí)驗(yàn)結(jié)果與發(fā)現(xiàn)

進(jìn)入實(shí)驗(yàn)結(jié)果部分，就如同步入一間照亮黑箱的顯微實(shí)驗(yàn)室。那些原本只存在于神經(jīng)網(wǎng)絡(luò)深層中的“抽象維度”，終于通過(guò)可視化與行為映射的方式，被逐一“譯碼”出來(lái)。

圖2 | 從人類(lèi)和DNN行為推斷出的代表性嵌入

a，從人類(lèi)和DNN衍生的表征嵌入中可視化示例維度，選擇被評(píng)為語(yǔ)義、混合視覺(jué)-語(yǔ)義和視覺(jué)的維度，以及從人類(lèi)判斷中獲得的維度標(biāo)簽。注意，顯示的圖像僅反映具有公共域許可證的圖像，而不是完整圖像集76。

b，每個(gè)維度的評(píng)級(jí)程序，該程序基于根據(jù)數(shù)字權(quán)重對(duì)前k個(gè)圖像進(jìn)行可視化。人類(lèi)參與者將每個(gè)人類(lèi)和DNN維度標(biāo)記為主要語(yǔ)義、視覺(jué)、混合視覺(jué)-語(yǔ)義或不清楚（未顯示不清楚的評(píng)級(jí)；7.35%的維度用于人類(lèi)，8.57%用于VGG-16）。

c，標(biāo)記為視覺(jué)和語(yǔ)義的維度的相對(duì)重要性，其中VGG-16相對(duì)于人類(lèi)表現(xiàn)出視覺(jué)和混合維度的優(yōu)勢(shì)，而人類(lèi)則表現(xiàn)出語(yǔ)義維度的明顯優(yōu)勢(shì)。

嵌入維度：是顏色，是形狀，也可能是“有機(jī)的綠色”

令人興奮的第一發(fā)現(xiàn)是，這些由 DNN 學(xué)到的嵌入維度并非完全晦澀難解。在維度可視化與人類(lèi)標(biāo)簽評(píng)估中，研究者發(fā)現(xiàn)其中不少維度具有清晰的語(yǔ)義與視覺(jué)內(nèi)涵。比如，有些維度代表“白色”“圓形”“透明”等純粹的視覺(jué)屬性；而另一些則指向“食品相關(guān)”“火焰”“科技物品”等更概念化的語(yǔ)義標(biāo)簽。甚至還有一些維度同時(shí)體現(xiàn)了視覺(jué)與語(yǔ)義，例如“綠色且有機(jī)”——似乎是在描述青蘋(píng)果，也可能是花椰菜。

但值得注意的是，DNN 顯然更偏愛(ài)視覺(jué)性的維度。無(wú)論是在具體維度的權(quán)重分布，還是在最大激活圖像的生成中，模型往往傾向于捕捉物體的低層感知特征。而相較之下，人類(lèi)表征更強(qiáng)調(diào)語(yǔ)義組織，往往繞過(guò)表面形狀而直指“它是什么”。

這種“視覺(jué)偏好”的現(xiàn)象不只存在于最終輸出的嵌入中，它甚至貫穿了 VGG-16 網(wǎng)絡(luò)從卷積層到全連接層的整個(gè)信息傳遞通路。這種網(wǎng)絡(luò)結(jié)構(gòu)上的傾向，也許正是它在處理圖像時(shí)與人類(lèi)表征策略產(chǎn)生分歧的根源。

表征對(duì)齊：不是非黑即白，而是層次漸變的拼圖

當(dāng)研究者試圖將人類(lèi)與 DNN 的嵌入維度進(jìn)行對(duì)齊分析時(shí)，一個(gè)有趣的圖景浮現(xiàn)了。雖然在全局表示相似度（通過(guò)代表性相似性分析，RSA）中，二者表現(xiàn)出中等程度的結(jié)構(gòu)一致性（r≈0.55），但深入到維度層面卻發(fā)現(xiàn)高度不均：有些維度對(duì)齊得非常好，相關(guān)性高達(dá) 0.80；而另一些則幾乎毫無(wú)交集。

進(jìn)一步的累積分析顯示，需要大約40個(gè) DNN 維度才能解釋95%的人類(lèi)表征相似度變異。這說(shuō)明兩個(gè)重要事實(shí)：一是人類(lèi)認(rèn)知表征的多樣性并非來(lái)自個(gè)別“超級(jí)維度”，而是維度整體結(jié)構(gòu)的綜合作用；二是DNN雖能在某些關(guān)鍵維度上模擬人類(lèi)判斷，但要全面對(duì)齊，還需對(duì)網(wǎng)絡(luò)策略進(jìn)行深層調(diào)整。

圖3 | 圖像屬性與嵌入維度的相關(guān)性

研究團(tuán)隊(duì)使用Grad-CAM55根據(jù)他們最初用于對(duì)三元組選擇進(jìn)行采樣的倒數(shù)第二個(gè)DNN特征的梯度來(lái)可視化不同圖像部分的重要性。梯度是在完全可微可解釋性模型中獲得的，該模型與嵌入中的維度w有關(guān)。b，我們將三個(gè)不同圖像和維度的熱圖可視化。每一列都顯示了圖像各部分與該維度的相關(guān)性。對(duì)于這個(gè)數(shù)字，我們根據(jù)公共領(lǐng)域中可用的圖像對(duì)嵌入進(jìn)行了過(guò)濾76。

行為決策：行為相似≠心智對(duì)齊

光看輸出行為，有時(shí)我們可能會(huì)誤以為 DNN 已與人類(lèi)無(wú)異。例如，在 odd-one-out 任務(wù)中，模型與人類(lèi)在許多圖像三元組上的選擇結(jié)果一致。但當(dāng)研究者使用 jackknife 重采樣技術(shù)挖掘每個(gè)維度對(duì)行為決策的具體影響時(shí)，真相開(kāi)始顯露。

人類(lèi)判斷中，語(yǔ)義維度的貢獻(xiàn)遠(yuǎn)超視覺(jué)維度；而 DNN 在做出相同行為選擇時(shí)，往往依賴(lài)的是完全不同的視覺(jué)偏向維度。也就是說(shuō)，盡管表面行為相似，但驅(qū)動(dòng)背后的“認(rèn)知加工路徑”截然不同。就像兩位畫(huà)家畫(huà)出類(lèi)似的畫(huà)，卻一位專(zhuān)注于光影結(jié)構(gòu)，另一位則著重于畫(huà)中情緒與意象。

這種差異的存在并非令人沮喪，恰恰相反，它揭示了為何“相似的表現(xiàn)”并不意味著“本質(zhì)的契合”。也許正是通過(guò)這種維度級(jí)的剖析，我們才能建立起真正“理解人工智能行為來(lái)源”的方法論基礎(chǔ)。

3.方法學(xué)反思

回顧整項(xiàng)研究的設(shè)計(jì)與執(zhí)行，很難不對(duì)其方法上的巧思與工程上的細(xì)致留下深刻印象。但所有工具都有鋒利與鈍化的一面，本節(jié)便是一次冷靜的檢視，也是一次展望未來(lái)的躍身。

一個(gè)嵌入，更近一步理解

首先讓我們來(lái)看這項(xiàng)工作的核心方法：基于三選一任務(wù)的行為數(shù)據(jù)，與變分可解釋性嵌入（VICE）的結(jié)合。這種組合本身就是一個(gè)方法學(xué)創(chuàng)新。相比于傳統(tǒng)的圖像分類(lèi)任務(wù)或主觀打分法，三選一任務(wù)逼迫系統(tǒng)在最小語(yǔ)境中做出判斷，從而最大化激活那些關(guān)鍵的表征維度。而 VICE 則像是認(rèn)知空間的顯影劑，它在高維行為數(shù)據(jù)中提取出具有認(rèn)知意義的低維構(gòu)造——一個(gè)個(gè)貼近感知和語(yǔ)義原型的“概念維度”。

這種方法有兩個(gè)突出的優(yōu)點(diǎn)：其一，能夠精準(zhǔn)提取少數(shù)核心維度，避免將模型表征過(guò)擬合于冗余特征；其二，稀疏性約束保障每個(gè)維度承擔(dān)獨(dú)立、明確的認(rèn)知功能，而非彼此冗余混淆。再加上非負(fù)性約束，這些維度更符合人類(lèi)解釋的“構(gòu)件式思維”——比如“尖銳”這個(gè)維度，不可能通過(guò)“非圓滑”負(fù)向組合得到。

但與此同時(shí)，我們也不能忽視局限性。一方面，三選一任務(wù)雖優(yōu)雅，卻存在復(fù)雜圖像語(yǔ)境下可擴(kuò)展性受限的隱憂(yōu)。是否不同類(lèi)型任務(wù)會(huì)觸發(fā)不同的表征維度？現(xiàn)有框架尚未對(duì)此提供系統(tǒng)回答。另一方面，VICE 的性能依賴(lài)于貝葉斯優(yōu)化與先驗(yàn)設(shè)定，其結(jié)果解釋力雖高，但對(duì)訓(xùn)練穩(wěn)定性與模型參數(shù)選擇較為敏感，或許對(duì)不同網(wǎng)絡(luò)架構(gòu)的普適性仍需驗(yàn)證。

框架之外還有海洋：未來(lái)如何拓展這張“認(rèn)知地圖”

這項(xiàng)研究的真正潛力，藏在它已鋪就的路徑之后。研究團(tuán)隊(duì)已在討論中提出：若將該框架應(yīng)用于不同類(lèi)型的深度神經(jīng)網(wǎng)絡(luò)——例如卷積網(wǎng)絡(luò)之外的 Vision Transformer（ViT）、多模態(tài)模型如 CLIP，是否能揭示新的維度結(jié)構(gòu)？同時(shí)，如果將輸入從自然圖像拓展至視頻、文本、甚至多感官信息，又是否會(huì)產(chǎn)生“跨模態(tài)對(duì)齊”的認(rèn)知映射？

另一個(gè)令人興奮的方向，是將該維度框架與神經(jīng)影像數(shù)據(jù)接軌。在 fMRI 或EEG研究中，若人類(lèi)大腦對(duì)某類(lèi)對(duì)象激活的腦區(qū)結(jié)構(gòu)能夠映射到這些嵌入維度中，我們或許就能實(shí)現(xiàn)一次真正意義上的人腦—人工系統(tǒng)—行為三層對(duì)齊，為認(rèn)知神經(jīng)科學(xué)打開(kāi)更深的建模想象。

此外，研究也提示了一個(gè)被長(zhǎng)期低估的因素：任務(wù)指令的語(yǔ)言與語(yǔ)境。不同的行為任務(wù)，甚至同一任務(wù)中不同的指令用語(yǔ)，是否會(huì)引導(dǎo)人類(lèi)與AI表征方式出現(xiàn)差異？比如“選擇你最不喜歡的那一個(gè)”，與“選出與其他兩個(gè)最不像的”之間看似細(xì)微的語(yǔ)義差別，可能就足以顯著影響模型學(xué)習(xí)與行為偏好。

4.討論與意義

在深入地對(duì)比人類(lèi)與深度神經(jīng)網(wǎng)絡(luò)（DNN）在圖像表征中的表現(xiàn)后，研究者描繪出一幅鮮明而令人深思的圖景：看似表現(xiàn)相近，實(shí)則內(nèi)里迥異。人類(lèi)與機(jī)器的思維方式，或許在行為表層可以“殊途同歸”，但在認(rèn)知路徑上卻分道揚(yáng)鑣。

語(yǔ)義偏好 vs. 視覺(jué)偏倚：認(rèn)知策略的分歧

研究清晰地指出，人類(lèi)在處理視覺(jué)任務(wù)時(shí)更傾向于動(dòng)用語(yǔ)義信息。我們看到一張圖片，不僅識(shí)別出顏色和形狀，還迅速賦予它“是什么”這樣的意義歸屬。相比之下，DNN，尤其是以圖像分類(lèi)為訓(xùn)練目標(biāo)的模型，表現(xiàn)出極強(qiáng)的視覺(jué)偏倚：它更依賴(lài)顏色、紋理、邊緣等感知特征，即使在任務(wù)本質(zhì)上需要語(yǔ)義判斷時(shí)也不例外。

為何會(huì)如此？這背后的成因既有網(wǎng)絡(luò)結(jié)構(gòu)的物理約束，也與訓(xùn)練目標(biāo)密不可分。傳統(tǒng)的圖像分類(lèi)任務(wù)獎(jiǎng)勵(lì)的是表面相似性和模式識(shí)別，而不是對(duì)“物是什么”的理解。換句話(huà)說(shuō)，DNN更像是一個(gè)精密的視覺(jué)篩子，而人類(lèi)的大腦則是一個(gè)語(yǔ)義引擎。即便像 CLIP 這樣在圖文配對(duì)上訓(xùn)練的多模態(tài)模型，也未能完全逃脫視覺(jué)偏見(jiàn)的束縛——這說(shuō)明，僅靠語(yǔ)義標(biāo)簽是不足以喚醒真正的“概念認(rèn)知”的。

圖4|最大限度地激活圖像以嵌入尺寸。a、 使用StyleGAN-XL58，我們優(yōu)化了一個(gè)潛在代碼，以在特定的嵌入維度上最大化預(yù)測(cè)響應(yīng)。b、嵌入中不同維度的可視化。我們展示了得分最高的前十張圖片維度和相應(yīng)的前十生成圖像。對(duì)于這個(gè)數(shù)字，我們根據(jù)公共領(lǐng)域中可用的圖像對(duì)嵌入進(jìn)行了過(guò)濾76。

這一區(qū)別并非小事，它深刻影響著我們對(duì)人工智能認(rèn)知能力的判斷：表征方式的不同意味著AI和人類(lèi)在理解世界時(shí)走的是兩條路，即便終點(diǎn)相似，旅程和地圖卻全然不同。這對(duì)構(gòu)建更類(lèi)人的AI系統(tǒng)提供了理論支點(diǎn)，也為模擬人類(lèi)高級(jí)認(rèn)知行為的模型設(shè)計(jì)提供了糾偏指南。

打開(kāi)“黑箱”的鑰匙：可解釋性的多維演繹

在AI被廣泛應(yīng)用于現(xiàn)實(shí)決策場(chǎng)景的當(dāng)下，模型的透明性已不再是學(xué)術(shù)的點(diǎn)綴，而是倫理與安全的基本要求。本研究通過(guò)精妙地整合多種可解釋性技術(shù)，讓我們得以窺見(jiàn)DNN在做出某一判斷時(shí)，究竟是“看到”了什么。

圖5 |決定人類(lèi)和VGG-16嵌入維度相似性的因素。

Grad-CAM 熱圖揭示了模型關(guān)注的圖像區(qū)域；StyleGAN-XL 的激活最大化則提供了某一維度“心目中最典型的對(duì)象形象”；而因果操控實(shí)驗(yàn)則通過(guò)擾動(dòng)顏色、形狀與背景，觀察表征維度的響應(yīng)變化。這些方法在本研究中交錯(cuò)呼應(yīng)，最終繪出了一幅維度—行為—語(yǔ)義三位一體的可解釋圖譜。

它不只是驗(yàn)證，更是一種從“操作層面”理解機(jī)器“概念形成機(jī)制”的路徑。在未來(lái)的AI安全性評(píng)估與信任機(jī)制建設(shè)中，這類(lèi)技術(shù)有望成為標(biāo)準(zhǔn)工具之一。

從對(duì)齊到優(yōu)化：為AI“修圖”的指南針

或許最具現(xiàn)實(shí)意義的問(wèn)題是：既然我們知道了DNN在語(yǔ)義上存在偏差，我們能否修正它？

答案是肯定的。這項(xiàng)研究不僅指出了問(wèn)題，還提供了思路。通過(guò)嵌入對(duì)齊分析，我們可以識(shí)別出那些與人類(lèi)表征高度一致的維度，從而反向指導(dǎo)模型架構(gòu)與訓(xùn)練策略的微調(diào)。例如，通過(guò)強(qiáng)化語(yǔ)義信號(hào)、引入多模態(tài)預(yù)訓(xùn)練或擴(kuò)展更具概念層級(jí)的數(shù)據(jù)集，未來(lái)的DNN有望在保持強(qiáng)大感知能力的同時(shí)，進(jìn)一步接近人類(lèi)的理解方式。

圖6 |人類(lèi)和DNN的公開(kāi)行為選擇。

這也提醒我們，在評(píng)估AI是否“像人類(lèi)”時(shí)，不能僅看表面表現(xiàn)，還應(yīng)深入其認(rèn)知策略與表征結(jié)構(gòu)。從圖像識(shí)別、語(yǔ)言理解到?jīng)Q策支持，真正類(lèi)人的AI需要建立在認(rèn)知層次的對(duì)齊之上，而非僅僅復(fù)刻行為的相似性。

未來(lái)的研究，將有望在這條路徑上走得更遠(yuǎn)，不同架構(gòu)的系統(tǒng)對(duì)比、更復(fù)雜認(rèn)知任務(wù)中的對(duì)齊分析、以及與神經(jīng)成像數(shù)據(jù)的直接映射聯(lián)動(dòng)……這一切，正慢慢勾勒出一幅人機(jī)認(rèn)知橋梁的宏圖。而本研究，正是架起這座橋梁的第一塊結(jié)構(gòu)梁。

參考資料：???https://www.nature.com/articles/s42256-025-01041-7??

本文轉(zhuǎn)載自??獨(dú)角噬元獸??，作者：FlerkenS