近年來，深度學習在人工智能領域，如自然語言處理和計算機視覺方面取得了快速進展，但即便是最強大的模型，也經常會在那些，對于人類說非常簡單的case上折戟。

人類感知對環境變化具有魯棒性，并能在不同的視覺設置中泛化，相比之下，對于深度學習模型來說，如果訓練和測試數據集之間的分布發生偏移，其性能往往會急劇下降。

人類在判斷視覺相似性時往往能夠很好地校準自己的判斷，即人類對某個問題的確定性往往與預測準確率成正比，而AI系統則過于自信，即使在預測錯誤時也表現出高度的確定性。

所以說，在真正實現通用人工智能之前，深度學習模型和人類之間仍然存在諸多差異需要調和、對齊。

值得思考的是，神經網絡訓練和人類學習在根本上有所不同，其無法像人類一樣穩健地泛化，是否是因為其底層表征的相似性的問題？現代學習系統要表現出更像人類的行為，還缺少什么？深度學習模型在概念層次結構的各個層次上缺乏這種全局組織，是否可能導致了這些模型的前述弱點？

最近，DeepMind等機構的研究人員聯合發布了一篇長達50頁的論文，提出了一個可能導致AI模型與人類表現存在差異的原因：人類概念知識是從精細到粗尺度進行分層組織的，而深度學習模型表征無法捕捉到人類感知的多層次概念結構。

論文鏈接：https://arxiv.org/pdf/2409.06509

雖然說模型表征在一定程度上可以對局部視覺和語義特征（例如，不同犬種的紋理或顏色）進行編碼，共享實體之間的人類感知相似性結構，但對于在視覺和語義上更為不同的概念之間的全局關系（例如，狗和魚都是有生命的，但在視覺上根本不相似）的建模則遠沒有那么系統化。

然而，人類的神經表示是由全局特征（如生命性）組織起來的，并且在多個更細的尺度上捕捉微妙的語義關系。

為了解決這種不一致問題，研究人員提出了一個新的框架，通過模擬大量類似人類的相似性判斷數據集，來提高模型與人類的對齊度。

首先訓練一個教師模型來模仿人類的判斷，然后將這種類人的結構（human-link structure）表征遷移到預訓練后的視覺基礎模型中，從而使這些與人類對齊的模型在包括一個新的跨越多個語義抽象層次的人類判斷數據集在內的一系列相似性任務中，更準確地近似人類的行為和不確定性。

結果顯示，該模型在各種機器學習任務上表現更好，提高了泛化性和分布外的魯棒性，此外，將額外的人類知識注入神經網絡后，學習到的表征更符合人類認知，也更實用，為更強大、可解釋和類人的AI系統鋪平了道路。

此外，文中還提供了一套開源的視覺模型，通過軟對齊編碼了分層的人類知識，其普遍意義在于使科學、醫學和工業能夠使用更類人和魯棒的視覺模型進行下游應用，任何研究人員或從業者都可以無限制地使用。

總的來說，這項工作不僅有助于更好地理解人工智能與人類智能之間的主要差異，而且還提出了一種可能對實現類似人類智能的人工智能至關重要的原則，即關注人類知識中的多分辨率關系結構。

AligNet框架

研究人員首先使用仿射變換來對齊神經網絡模型表示與人類在三元組異類任務中的語義判斷，利用THINGS數據集開發了一個人類判斷的教師模型；

與此同時，通過保持模型的局部表征結構來規范對齊過程，并額外利用人類恢復的不確定性度量來改善模型校準。

然后將該模型應用于ImageNet，將其潛在表示聚類到語義上有意義的類別，從而能夠生成大量的語義相似性三元組，研究人員將該數據集稱為AligNet。

為了將這種精心構造的類人相似性結構信息遷移到預訓練的神經網絡基礎模型中，研究人員引入了一種基于Kullback-Leibler散度的新目標函數，將語義信息蒸餾到一個學生視覺基礎模型（VFM）中。

實驗結果

為了驗證AligNet框架的有效性，即是否有助于提高模型與人類之間的對齊度，研究人員驗證了模型在THINGS三元組異類（triplet odd-one-out ）數據上的表現接近人類噪聲上限的66.67%。在對教師模型表示應用不確定性蒸餾優化后，可以觀察到在THINGS數據中的所有三元組中，三元組異類響應與人類響應的一致性達到了61.7%

此外，研究人員還發現，在模型生成的三元組異類響應數據上微調視覺基礎模型后，所有模型的表現都有了顯著的提升，無論預訓練任務和用于訓練基礎模型的目標函數是什么，或是其他認知相似性任務和相似性度量方式，軟對齊技術都能夠提高模型在特定任務上的表現，使模型的行為更加接近人類的思維方式。

為了驗證軟對齊技術是否能夠使模型的內部表示更好地反映人類概念知識的層次結構，研究人員利用眾包方式收集了一個全新的人類語義判斷評估數據集Levels，設計了三種不同難度級別的三元組異類任務，包括需要在大類別間判斷異類的全局粗粒度語義任務，需要在相同類別內識別微妙差異的局部細粒度語義任務，以及測試識別不同類別邊界的能力的類別邊界任務。

實驗結果正如預期，研究人員發現模型在預測涉及視覺或語義重疊較少的實體之間關系（即更抽象的）時表現最差。

軟對齊技術也能顯著改變了模型的內部表示，使其在對齊后更加相似，更好地反映了人類對語義類別層次結構的理解。

這種變化的原因在于兩個主要因素：首先，模型在對齊過程中生成的標簽更貼近人類的判斷和不確定性，尤其是在處理更抽象的類別層次時；其次，用于生成三元組的聚類過程也考慮了這種層次結構，傾向于將來自相同下位或基本級別類別的圖像配對，而將來自不同基本級別或上位類別的圖像作為異類項。

因此，軟對齊不僅在聚類過程中，也在標記過程中，以多種方式嵌入了全局結構，從而提高了模型的一致性和類人行為。

研究人員還探討了軟對齊技術如何影響模型在機器學習任務中的泛化能力和面對未知分布數據時的魯棒性。

為了評估模型表示的質量，首先固定神經網絡模型的權重，并在這些固定權重之上訓練一個線性分類器，而不是對整個模型進行訓練或微調，從而可以更直接地評估模型的內部表示，而不受模型其他部分的影響。

研究者們特別關注了模型在以下三個方面的表現：單次分類任務，考驗了模型在只有極少量樣本的情況下對新類別的識別能力；分布偏移，即模型在面對與訓練數據分布不同的數據時的表現；以及分布外魯棒性，即模型在面對完全未知類型的數據時的穩定性和魯棒性。

結果顯示，將人類和神經網絡模型的表示對齊有助于更好地泛化、轉移到新任務和數據上，并增強了模型的魯棒性，即對齊對于實際改善深度學習是非常有幫助的。

總之，該工作有助于更好地理解人工與自然智能之間的關鍵差異，實驗結果也展示了對齊模型和人類的原則，即專注于人類知識的多分辨率關系結構，可能對于解決實現類人AI的更一般問題至關重要。