11 月 30 日，全球第一所人工智能大學——穆罕默德·本·扎耶德人工智能大學（MBZUAI），在 arXiv 預印平臺發布了題為《大數據時代的數據集蒸餾》（Dataset Distillation in Large Data Era）的文章。

數據蒸餾應用及當前挑戰

數據集蒸餾（Dataset distillation）引起了計算機視覺和自然語言處理各個領域的廣泛關注。

數據集蒸餾的目的是從大型數據集中生成較小但具有代表性的子集，從而可以有效地訓練模型，同時評估原始測試數據分布以實現良好的性能。

隨著數據和模型規模的不斷增長，這種數據集蒸餾概念在大數據時代變得更加重要，因為數據集通常非常龐大，帶來存儲、計算和處理方面的挑戰。

一般來說，數據集蒸餾可以提供公平的競爭環境，使計算和存儲資源有限的研究人員能夠參與最先進的基礎模型訓練和應用程序開發，例如在當前的大數據和大模型政權中負擔得起的 ChatGPT 和 Stable Diffusion。此外，通過使用蒸餾數據集，有可能減輕一些數據隱私問題，因為原始的、個人可識別的數據點可能會被排除在蒸餾版本之外。

最近，在各個研究和應用領域采用大型模型和大數據已成為顯著趨勢。然而，許多先前的數據集蒸餾方法主要針對 CIFAR、Tiny-ImageNet 和下采樣 ImageNet-1K 等數據集，發現將其框架擴展到更大的數據集（例如完整的 ImageNet-1K）具有挑戰性。這表明這些方法尚未完全按照當代的進步和主流方法論發展。

提取各種大規模數據集，優于所有先前方法

許多先前的工作旨在與原始數據集的各個方面保持一致，例如匹配訓練權重軌跡、梯度、特征/BatchNorm 分布等。

在該研究中，研究人員展示了如何提取各種大規模數據集，以實現優于所有先前方法的最佳精度。

在此，MBZUAI 研究人員將注意力擴展到 ImageNet-1K 數據集之外，以 224×224 的傳統分辨率進入完整 ImageNet-21K 的未知領域。這標志著在處理如此龐大的數據集以進行數據集蒸餾任務方面的開創性努力。其方法利用簡單而有效的課程學習框架。精心解決每個方面，并制定強大的策略來有效地訓練完整的 ImageNet-21K，確保捕獲全面的知識。

具體來說，根據先前的研究，該方法最初訓練一個模型，將原始數據集中的知識封裝在其密集參數中。然而，研究人員引入了一個精煉的訓練方案，超越了 Ridnik 等人在 ImageNet-21K 上的結果。

在數據恢復/合成階段，研究人員采用一種策略學習方案，根據區域的難度順序更新部分圖像裁剪：從簡單過渡到困難，反之亦然。通過在不同的訓練迭代中調整 RandomReiszedCrop 數據增強的下限和上限來調節這一進程。

在數據合成過程中引入了一種簡單而有效的課程數據增強（Curriculum Data Augmentation，CDA），它在大規模 ImageNet-1K 和 21K 上獲得了在 IPC（每類圖像）50 下的準確率 63.2% 和在 IPC 20 下的 36.1% 的準確率。

值得注意的是，研究人員觀察到這種簡單的學習方法極大地提高了合成數據的質量。在論文中，研究人員深入研究了與課程學習框架相關的數據合成的三種學習范式。首先是標準課程學習，其次是其替代方法，逆向課程學習。最后，還考慮了基本的和以前使用的不斷學習的方法。

最后，研究表明，通過將所有增強功能集成在一起，所提出的模型在 ImageNet-1K/21K 上的 Top-1 準確率比當前最先進的模型高出 4% 以上，并且首次縮小了差距 與其全數據訓練對應物相比，絕對值不到 15%。

此外，該研究代表了標準 224×224 分辨率下大規模 ImageNet-21K 數據集蒸餾的首次成功。

其代碼和 20 個 IPC、2K 恢復預算的精煉 ImageNet-21K 數據集可在 GitHub中找到。