[[401868]]

今天深度學習之所以成功，大量的數據是不可缺少的必要條件。我們訓練的模型都是吃過見過后才有現在這樣良好的表現。不過實際情況要收集到足夠多的數據并非易事，今天我們就這個問題來學習 Few-shot Learning。

上面的公式是用于估測模型，通常我們輸入一個公式 x 給函數 h，這個函數 h 是模型學習到的。然后這個 L 表示預測值和真實值之間的差值，對這個差值在整個數據樣本上求積分來評估這個函數 h 的擬合程度。

可以利用上面公式來找讓 R(h) 最小時，所對應的函數 h，實際是無法遍歷所有的模型和參數，所以需要函數集進行限制，從而縮小模型在整個空間搜索范圍。這里 H 表示我們定義一個函數集，也就是在整個空間內劃分出一定空間，模型搜索問題將僅限定在這個空間內進行。函數集 H 可以是 VGG、ResNet 等，函數集越復雜也就是函數表達能力越強，在整個空間所占范圍也就是越大，淺藍色圈就越大，同時搜索時間也會更長。其實對于樣本的概率分布也是未知的，我們收集的樣本只是數據的一部分。

那么現在就是將搜索最優函數限定在 H 空間進行搜索了。之前我們已經知道了數據的概率p(x,y) 分布也是未知的。我們只能以一定數量的樣本來估計總體分布情況，當然這樣做也是存在誤差的。

因為對于整個數據集概率分布是未知的，所以用 I 樣本代表著整體數據集。然后使用這些數據來訓練出一個模型。

然后在這樣的數據集上在限定空間內搜索出一個最優函數用綠色塊表示搜索到模型在整個搜索空間的位置。

接下里就從黃色 start 開始在搜索空間進行搜索到在 I 樣本的數據集上得到函數 h 下標 l 整個函數。那么橘黃色虛線表示真實模型和我們估計的模型之間差距表示為

其實這里誤差分別來源于近似誤差(approximation error)和估計誤差(estimation error)

第一步我們選擇一個函數集，那么什么是函數集呢，例如 VGG、ResNet 或者 DenseNet 這些都可以看成一個函數集 H，那么在整個算法中我們能夠控制的是 I 和 H。所以我們可以通過增加 H 復雜性也就是擴大 H 空間以及增加 I，不過通常情況下實際我們能夠收集到 I 都會很小。

• 所以今天出現了過擬合的最直接的方式就是增加數量，也就是加大 I (數據)
• 也就是為 H 添加一些約束空間，縮小搜索空間(模型)
• 還有就是合理給出一個初始值(算法)