最近馬毅教授和圖靈獎得主Yann LeCun聯手在ICLR 2023上發表了一篇論文，描述了一種極簡和可解釋的非監督式學習方法，不需要求助于數據增強、超參數調整或其他工程設計，就可以實現接近 SOTA SSL 方法的性能。

論文鏈接：?https://arxiv.org/abs/2209.15261?

該方法利用了稀疏流形變換，將稀疏編碼、流形學習和慢特征分析（slow feature analysis）相結合。

采用單層確定性稀疏流形變換，在 MNIST 上可以達到99.3% 的 KNN top-1精度，在 CIFAR-10上可以達到81.1% 的 KNN top-1精度，在 CIFAR-100上可以達到53.2% 的 KNN top-1精度。

通過簡單的灰度增強，模型在 CIFAR-10和 CIFAR-100上的精度分別達到83.2% 和57% ，這些結果顯著地縮小了簡單的「白盒」方法和 SOTA 方法之間的差距。

此外，文中還提供了可視化解釋如何形成一個無監督的表征變換。該方法與潛在嵌入自監督方法密切相關，可以看作是最簡單的 VICReg 方法。

盡管在我們簡單的建設性模型和 SOTA 方法之間仍然存在很小的性能差距，但有證據表明，這是一個有希望的方向，可以實現一個原則性的、白盒式的非監督式學習。

文章第一作者Yubei Chen是紐約大學數據科學中心（CDS）和Meta基礎人工智能研究(FAIR)的博士后助理，導師為Yann LeCun教授，博士畢業于加州大學伯克利分校的Redwood Center理論神經科學和伯克利人工智能研究所（BAIR），本科畢業于清華大學。

主要研究方向研究為計算神經科學學習和深度無監督(自監督)學習的交叉，研究結果增強了對大腦和機器無監督表征學習的計算原理的理解，并重塑對自然信號統計的認識。

馬毅教授于1995年獲得清華大學自動化與應用數學雙學士學位，并于1997年獲加州大學伯克利分校EECS碩士學位，2000年獲數學碩士學位與EECS博士學位。目前是加州大學伯克利分校電子工程與計算機科學系教授，同時也是IEEE Fellow，ACM Fellow，SIAM Fellow。

Yann LeCun最著名的工作是在光學字符識別和計算機視覺上使用卷積神經網絡（CNN），也被稱為卷積網絡之父；2019年他同Bengio以及Hinton共同獲得計算機學界最高獎項圖靈獎。

從最簡單的無監督學習開始

在過去的幾年里，無監督表征學習取得了巨大的進展，并且有望在數據驅動的機器學習中提供強大的可擴展性。

不過什么是學習到的表征，以及它究竟是如何以無監督的方式形成的，這些問題仍然不清楚；此外，是否存在一套支撐所有這些無監督表征的共同原則仍不清楚。

許多研究者已經意識到提高模型理解力的重要性，并采取了一些開創性的措施，試圖簡化SOTA方法，建立與經典方法之間的聯系，統一不同的方法，使表征可視化，并從理論角度分析這些方法，并希望能夠開發出一種不同的計算理論：使我們能夠基于第一原理從數據中建立簡單的、完全可以解釋的「白盒」模型，該理論也可以為理解人腦中無監督學習的原則提供指導。

在這項工作中，研究人員又朝著這個目標邁出了一小步，試圖建立一個最簡單的 「白盒」無監督學習模型，并且不需要深度網絡、projection heads、數據增強或其他各種工程設計。

文中通過利用兩個經典的無監督學習原則，即稀疏性（sparsity）和頻譜嵌入（spectral embedding），建立了一個兩層模型，在幾個標準數據集上取得了非顯著的基準結果。

實驗結果表明，基于稀疏流形變換（sparse manifold transform）的兩層模型，與latent-embedding自監督方法具有相同的objective，并且在沒有任何數據增強的情況下，在MNIST上取得了99.3%的KNN最高1級準確率，在CIFAR-10上取得了81.1%的KNN最高1級準確率，在CIFAR-100上取得了53.2%的準確率。

通過簡單的灰度增強，進一步在CIFAR-10上實現了83.2%的KNN top-1精度，在CIFAR-100上實現了57%的KNN top-1精度。

這些結果為縮小「白盒」模型和SOTA自監督（SSL）模型之間的差距邁出了重要一步，雖然差距仍然很明顯，但研究人員認為進一步縮小差距有可能對無監督表征的學習獲得更深入的理解，這也是通往該理論實用化的一條有前景的研究路線。

三個基本問題

什么是無監督（自監督）的re-presentation

從本質上講，原始信號的任何非同一性轉換（non-identity transformation）都可以被稱為表征（re-presentation），不過學術界更感興趣的是那些有用的轉換。

無監督re-presentation學習的一個宏觀目標是找到一個函數，將原始數據轉換到一個新的空間，使「相似」的東西被放在更接近的地方；同時，新的空間不應該是一個collapsed且trivial的，也就是說，必須保留數據的幾何或隨機結構。

如果這一目標得以實現，那么「不相似」的內容自然會在表示空間中被放置得很遠。

相似性（similarity）從何而來？

相似性主要來自三個經典的想法：1）時序共現，2）空間共現；和3）原始信號空間中的局部相鄰（local neighborhoods）。

當基礎結構為幾何結構時，這些想法在相當程度上是重疊的；但當結構為隨機結構時，它們在概念上也會有所不同，下圖展現了流形結構（manifold structure）和隨機共現結構（stochastic co-occurrence structure.）之間的區別。

利用局部性，相關工作提出了兩種無監督的學習方法：流形學習和共現統計建模，這些想法很多都達到了譜系分解的表述或密切相關的矩陣分解表述。

流形學習的理念是，只有原始信號空間中的局部鄰域才是可信的，通過綜合考慮所有的局部鄰域，就會出現全局幾何，即「全局思考，局部適配」（think globally, fit locally）。

相比之下，共現統計建模遵循一種概率理念，因為有些結構不能用連續流形來建模，所以它也是對流形理念的補充。

一個最明顯的例子來自于自然語言，其中的原始數據基本不會來自于平滑的幾何，比如在單詞嵌入中，「西雅圖」和「達拉斯」的嵌入可能很相似，盡管它們并沒有頻繁共現，其根本原因是它們有類似的上下文模式。

概率和流形的觀點對于理解「相似性」是相互補充的 ，當有了相似性的定義后，就可以構造一個轉換，使得相似的概念離得更近。

本文如何建立表征轉換？基本原則：稀疏性和低秩（low rank）

大體上來說，可以用稀疏性來處理數據空間中的局部性和分解，以建立support；然后用低頻函數構建表征變換，將相似的值分配給support上的相似點。

整個過程也可以稱為稀疏流形變換（sparse manifold transform）。