預(yù)訓(xùn)練已成為一種替代和有效的范式，以克服這些缺點(diǎn)，其中模型首先使用容易獲得的數(shù)據(jù)進(jìn)行訓(xùn)練，然后用于解決感興趣的下游任務(wù)，標(biāo)記數(shù)據(jù)比監(jiān)督學(xué)習(xí)少得多。

使用未標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練，即自監(jiān)督學(xué)習(xí)，尤其具有革命性，在不同領(lǐng)域取得了成功：文本、視覺、語音等。

這就提出了一個有趣且具有挑戰(zhàn)性的問題：為什么對未標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練應(yīng)該有助于看似不相關(guān)的下游任務(wù)?

論文地址：https://dataspace.princeton.edu/handle/88435/dsp01t435gh21h

本文提出了一些工作，提出并建立了一個理論框架，以研究為什么自監(jiān)督學(xué)習(xí)對下游任務(wù)有益。

該框架適用于對比學(xué)習(xí)、自回歸語言建模和基于自我預(yù)測的方法。該框架的核心思想是預(yù)訓(xùn)練有助于學(xué)習(xí)數(shù)據(jù)的低維表示，這隨后有助于用線性分類器解決感興趣的下游任務(wù)，需要較少的標(biāo)記數(shù)據(jù)。

一個常見的主題是形式化用于構(gòu)建自監(jiān)督學(xué)習(xí)任務(wù)的無標(biāo)記數(shù)據(jù)分布的理想屬性。在適當(dāng)?shù)男问交拢梢员砻鳎谱钚』_的預(yù)訓(xùn)練目標(biāo)可以提取在無標(biāo)記數(shù)據(jù)分布中隱式編碼的下游信號。

最后表明，該信號可以用線性分類器從學(xué)習(xí)到的表示中解碼，從而為跨任務(wù)的「技能和知識」遷移提供了一種形式化。

引言

在尋求設(shè)計智能體和數(shù)據(jù)驅(qū)動的問題解決方案的過程中，機(jī)器學(xué)習(xí)和人工智能領(lǐng)域在過去十年中取得了巨大的進(jìn)步。隨著在具有挑戰(zhàn)性的監(jiān)督學(xué)習(xí)基準(zhǔn)上的初步成功，如ImageNet[Deng等人，2009]，深度學(xué)習(xí)的創(chuàng)新隨后導(dǎo)致模型在不同領(lǐng)域的許多此類基準(zhǔn)上具有超人的性能。訓(xùn)練這種特定于任務(wù)的模型當(dāng)然令人印象深刻，并具有巨大的實(shí)用價值。然而，它有一個重要的限制，即需要大量的標(biāo)記或標(biāo)注數(shù)據(jù)集，而這通常是昂貴的。此外，從智能的角度來看，人們希望有更通用的模型，就像人類一樣[Ahn和Brewer, 1993]，可以從以前的經(jīng)驗(yàn)中學(xué)習(xí)，將它們總結(jié)為技能或概念，并利用這些技能或概念來解決新任務(wù)，很少或沒有演示。畢竟，在沒有明確監(jiān)督的情況下，嬰兒通過觀察和互動來學(xué)習(xí)很多東西。這些局限性啟發(fā)了預(yù)訓(xùn)練的另一種范式。

本文的重點(diǎn)是使用通常大量可用的未標(biāo)記數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練。使用未標(biāo)記數(shù)據(jù)的想法一直是機(jī)器學(xué)習(xí)的興趣點(diǎn)，特別是通過無監(jiān)督學(xué)習(xí)和半監(jiān)督學(xué)習(xí)。使用深度學(xué)習(xí)對其進(jìn)行的現(xiàn)代適應(yīng)通常稱為自監(jiān)督學(xué)習(xí)（SSL），并已經(jīng)開始通過對比學(xué)習(xí)和語言建模等思想改變機(jī)器學(xué)習(xí)和人工智能的格局。自監(jiān)督學(xué)習(xí)的思想是僅使用未標(biāo)記的數(shù)據(jù)構(gòu)建某些任務(wù)，并訓(xùn)練模型在構(gòu)建的任務(wù)上表現(xiàn)良好。這類任務(wù)通常需要模型通過從觀察到的或保留的部分預(yù)測輸入的未觀察到的或隱藏的部分（或?qū)傩裕﹣砭幋a數(shù)據(jù)的結(jié)構(gòu)屬性[LeCun和Misra, 2021]。自監(jiān)督學(xué)習(xí)在許多感興趣的下游任務(wù)上顯示出了通用性和實(shí)用性，通常比從頭解決任務(wù)具有更好的樣本效率，從而使我們離通用智能體的目標(biāo)更近了一步。事實(shí)上，最近，像GPT-3 [Brown等人，2020]等大型語言模型已經(jīng)展示了大規(guī)模出現(xiàn)的令人著迷的「突發(fā)行為」，引發(fā)了人們對自監(jiān)督預(yù)訓(xùn)練想法的更多興趣。

盡管自監(jiān)督學(xué)習(xí)在經(jīng)驗(yàn)上取得了成功，并繼續(xù)顯示出巨大的前景，但除了粗略的直覺之外，仍然缺乏對其工作原理的良好理論理解。這些令人印象深刻的成功提出了有趣的問題，因?yàn)橄闰?yàn)不清楚為什么在一個任務(wù)上訓(xùn)練的模型應(yīng)該有助于另一個看似不相關(guān)的任務(wù)，即為什么在任務(wù)a上訓(xùn)練應(yīng)該有助于任務(wù)b。雖然對SSL（和一般的深度學(xué)習(xí)）的完整理論理解是具有挑戰(zhàn)性和難以實(shí)現(xiàn)的，但在任何抽象層次上理解這種現(xiàn)象都可能有助于開發(fā)更有原則的算法。本文的研究動機(jī)是：

為什么在自監(jiān)督學(xué)習(xí)任務(wù)上進(jìn)行訓(xùn)練（使用大量未標(biāo)記數(shù)據(jù)）有助于解決數(shù)據(jù)稀缺的下游任務(wù)?如何將「知識和技能」的遷移正式化？

雖然有大量關(guān)于監(jiān)督學(xué)習(xí)的文獻(xiàn)，但來自SSL任務(wù)→下游任務(wù)的泛化與監(jiān)督學(xué)習(xí)中來自訓(xùn)練集→測試集的泛化有本質(zhì)的不同。對于分類下游任務(wù)的監(jiān)督學(xué)習(xí)，例如，從未知分布中采樣的在輸入-標(biāo)簽對的訓(xùn)練集上訓(xùn)練的模型，可以直接用于對從相同分布中采樣的未見過的測試集的評估。這個基本的分布建立了從訓(xùn)練集到測試集的聯(lián)系。然而，從SSL任務(wù)→下游任務(wù)的概念連接就不那么清晰了，因?yàn)镾SL任務(wù)中使用的未標(biāo)記數(shù)據(jù)沒有關(guān)于下游標(biāo)簽的明確信號。這意味著在SSL任務(wù)上預(yù)訓(xùn)練的模型（例如，從其余部分預(yù)測輸入的一部分）不能直接用于下游任務(wù)（例如，從輸入預(yù)測類別標(biāo)簽）。因此，「知識和技能」的遷移需要使用一些標(biāo)記數(shù)據(jù)進(jìn)行額外的訓(xùn)練步驟，理想情況下比從頭開始監(jiān)督學(xué)習(xí)所需的少。對SSL任務(wù)→下游任務(wù)泛化的任何理論理解都需要解決這些問題：「未標(biāo)記數(shù)據(jù)的內(nèi)在作用是什么？以及「如何將預(yù)訓(xùn)練模型用于下游任務(wù)？」本文針對分類的下游任務(wù)，通過對無標(biāo)簽數(shù)據(jù)進(jìn)行分布假設(shè)，并利用表示學(xué)習(xí)的思想，研究這些問題：

（a）（分布假設(shè)）未標(biāo)記的數(shù)據(jù)分布隱含地包含有關(guān)感興趣的下游分類任務(wù)的信息。

（b）（表示學(xué)習(xí)）在適當(dāng)?shù)腟SL任務(wù)上預(yù)訓(xùn)練的模型可以通過學(xué)習(xí)到的表示對該信號進(jìn)行編碼，這些表示隨后可以用線性分類器解決下游分類任務(wù)。

點(diǎn)（a）表明，未標(biāo)記的某些結(jié)構(gòu)屬性隱式地為我們提供了有關(guān)后續(xù)下游任務(wù)的提示，而自監(jiān)督學(xué)習(xí)可以幫助從數(shù)據(jù)中梳理出這個信號。點(diǎn)（b）提出了一種簡單且經(jīng)驗(yàn)上有效的方法來使用預(yù)訓(xùn)練模型，利用模型的學(xué)習(xí)表示。本文識別并在數(shù)學(xué)上量化了未標(biāo)記數(shù)據(jù)的分布屬性，對于不同的SSL方法，如對比學(xué)習(xí)、語言建模和自我預(yù)測，可以證明可以學(xué)習(xí)到良好的表示。在下一節(jié)中，我們將深入研究表示學(xué)習(xí)的思想，并形式化解釋為什么自監(jiān)督學(xué)習(xí)有助于下游任務(wù)。