泛化性的危機！LeCun發文質疑：測試集和訓練集永遠沒關系
長久以來一個觀點就是在測試集上表現更好的模型，泛化性一定更好，但事實真是這樣嗎？LeCun團隊最近發了一篇論文，用實驗證明了在高維空間下，測試集和訓練集沒有關系，模型做的一直只有外推沒有內插，也就是說訓練集下的模型和測試集表現沒關系！如此一來，刷榜豈不是毫無意義？
內插（interpolation）和外推（extrapolation）是機器學習、函數近似（function approximation）中兩個重要的概念。
在機器學習中，當一個測試樣本的輸入處于訓練集輸入范圍時，模型預測過程稱為「內插」，而落在范圍外時，稱為「外推」。
一直以來深度學習的研究都依賴于兩個概念：
- 最先進的算法之所以工作得這么好，是因為它們能夠正確地內插訓練數據；
- 在任務和數據集中只有內插，而沒有外推。
但圖領獎得主Yann LeCun團隊在arxiv掛了一篇論文公開質疑這兩個概念是錯誤的！
他們在論文中表示，從理論上和經驗上來說，無論是合成數據還是真實數據，幾乎可以肯定的是無論數據流形（data manifold）的基本本征維數（intrinstic dimension）如何，內插都不會出現在高維空間（>100）中。
本征維度即在降維或者壓縮數據過程中，為了讓你的數據特征最大程度的保持，你最低限度需要保留哪些features，它同時也告訴了我們可以把數據壓縮到什么樣的程度，所以你需要了解哪些 feature 對你的數據集影響是最大的。
考慮到當前計算能力可以承載的實際數據量，新觀察到的樣本極不可能位于該數據集的convex hull中。因此，他們得出了兩個結論：
- 目前使用和研究的模型基本都是外推的了；
- 鑒于這些模型所實現的超越人類的性能，外推機制也不一定非要避免，但這也不是泛化性能的指標。
文中研究的第一階段主要包括理解環境維度（即數據所在空間的維度）的作用，還包括基本數據流形內在維度（即數據最小表示所需的變量數量）的作用，以及包含所有數據流形的最小仿射子空間的維數。
可能有人認為像圖像這樣的數據可能位于低維流形上，因此從直覺和經驗上認為無論高維環境空間如何，內插都會發生。但這種直覺會產生誤導，事實上，即使在具有一維流形的極端情況下，底層流形維度也不會變化。
在描述新樣本處于內插區域的概率演變時，上圖給出了在對數尺度上看到的不斷增加的數據集大小，以及基于對500000次試驗的蒙特卡羅估計的各種環境空間維度（d），左側圖為從高斯密度N(0, Id)中采樣數據，中間圖從具有1的本征維數的非線性連續流形采樣數據，右圖從高斯密度恒定維數4的仿射子空間中采樣數據，而環境維數增加。
從這些數字可以清楚地看出，為了保持內插區域的恒定概率，不管潛在的內在流形維度訓練集的大小必須隨d呈指數增長，其中d是包含整個數據流形的最低維仿射子空間的維數。
在所有情況下，該數據集的本征維度均為1，流形是連續的、非線性的、分段光滑的，對應于單純形的遍歷。
因此可以得出結論，為了增加處于內插區域的概率，應該控制d, 而不是控制流形基礎維度和環境空間維度。
在研究像素空間中的測試集外推時，研究人員首先研究了MNIST、CIFAR和Imagenet序列集中處于插值狀態的測試集的比例。
為了掌握數據維度的影響，使用從兩種策略獲得的不同數量的維度來計算該比例。第一種策略只從圖像的中心保留一定數量的維度，它的優點是保留流形幾何體，同時只考慮有限的維數；第二種策略對圖像進行平滑和子采樣，它的優點是能夠保留流形的整體幾何體，同時刪除高頻結構（圖像細節）并壓縮較少維數的信息。
在這兩種情況下都看到，盡管自然圖像具有數據流形幾何結構，但相對于數據維度d，在內插區域中查找樣本還是非常困難。
在降維空間中研究測試集外推時，一組實驗使用非線性或線性降維技術來可視化高維數據集。為了明確地了解所用的降維技術是否保留了內插或外推信息時，研究人員創建了一個數據，該數據由d=8,12的d維超立方體的2d頂點組成。
這些數據集具有特定性，即任何樣本相對于其他樣本都處于外推狀態。并且使用8種不同的常用降維技術對這些頂點進行二維表示。可以觀察到降維方法會丟失內插/外推信息，并導致明顯偏向插值的視覺誤解。
內插和外推提供了一種關于給定數據集的新樣本位置的直觀幾何特征，這些術語通常被用作幾何代理來預測模型在看不見的樣本上的性能。從以往的經驗來看似乎已經下了定論，即模型的泛化性能取決于模型的插值方式。這篇文章通過實驗證明了這個錯誤觀念。
并且研究人員特別反對使用內插和外推作為泛化性能的指標，從現有的理論結果和徹底的實驗中證明，為了保持新樣本的插值，數據集大小應該相對于數據維度呈指數增長。簡而言之，模型在訓練集內的行為幾乎不會影響該模型的泛化性能，因為新樣本幾乎肯定位于該凸包（convex）之外。
無論是考慮原始數據空間還是嵌入，這一觀察結果都是成立的。所以研究人員認為，這些觀察為構建更適合的內插和外推幾何定義打開了大門，這些定義與泛化性能相一致，特別是在高維數據的情況下
