引言：探索小規模語料庫中的知識獲取

在現代的自然語言處理領域，大規模預訓練模型已經顯示出了在各種知識密集型任務中的卓越性能。這些模型通常依賴于大量的、結構化不強的互聯網文本數據進行訓練，從而獲取豐富的世界知識。然而，這種知識獲取方式存在一個明顯的問題：數據效率低下。為了學習特定的事實，模型必須在成百上千的不同表述中進行訓練，這在面對小規模、特定領域的語料庫時尤為突出，因為在這些語料庫中，每個事實可能很少出現或僅出現一次。

為了解決這一問題，本文提出了一種新的方法——合成持續預訓練（synthetic continued pretraining）。這種方法首先利用小規模的特定領域語料庫合成一個更易于學習的大規模語料庫，然后在此合成語料庫上繼續進行預訓練。通過這種方式，模型能夠在沒有訪問源文檔的情況下回答問題和遵循與源文檔相關的指令。

本研究的核心貢獻包括提出了一種新的從小規模語料庫中獲取知識的方法，并通過實驗驗證了該方法的有效性。此外，本文還構建了一個簡單的數學模型來分析合成數據增強算法，并展示了如何通過合成數據增強來“重新排列”知識，以實現更高效的學習。

論文標題: Synthetic Continued Pretraining 

機構: Stanford University

論文鏈接:??https://arxiv.org/pdf/2409.07431.pdf??

研究背景與動機

在自然語言處理領域，大規模預訓練模型已經顯示出了在獲取世界知識方面的顯著能力，這使得它們能夠執行知識密集型任務。然而，這種知識獲取過程是數據低效的，模型需要在成百上千的不同表達中學習到特定的事實。這在適應特定領域的小規模文檔集時尤為挑戰，因為在這些文檔中，某些事實可能很少出現或只出現一次。

為了解決從小規模語料庫中獲取知識的問題，我們提出了一種使用合成數據繼續預訓練的方法。這種方法首先使用小規模的領域特定語料庫來合成一個更適合學習的大規模語料庫，然后在這個合成的語料庫上進行繼續預訓練。這種方法的核心在于，通過合成數據增強算法來增加數據的多樣性，從而提高模型的數據效率和學習能力。

方法介紹：EntiGraph合成數據增強算法

1. 算法概述

EntiGraph是一種基于實體的數據增強算法，它通過分析文檔中的實體及其關系來合成新的文本數據。該算法首先從源文檔中提取關鍵實體，然后利用語言模型生成關于這些實體之間關系的文本描述，通過這種方式迭代地填充知識圖譜。

2. 實體提取

EntiGraph首先對文檔進行實體提取，識別出文檔中的關鍵實體，如人名、地點、概念等。這一步是通過向預訓練的語言模型輸入文檔并請求它標識出文檔中的主要實體來完成的。

3. 實體描述生成

對于每個提取出的實體，EntiGraph使用語言模型生成該實體在文檔上下文中的詳細描述。這包括實體的定義、它在文檔中的作用以及與其他實體的關系等。

4. 關系分析

在實體描述生成之后，EntiGraph進一步分析不同實體之間的關系。算法會探索實體對或實體組合之間的潛在聯系，并生成描述這些關系的文本。這一步驟幫助模型理解和學習實體之間復雜的相互作用和依賴。

通過這三個步驟，EntiGraph能夠從一個小規模的、信息密度高的語料庫中生成一個大規模的、信息豐富且多樣化的合成語料庫，為語言模型的繼續預訓練提供了更豐富的訓練材料。這種方法不僅增強了模型對特定領域知識的理解，還提高了模型在面對新領域或少見事實時的適應能力和表現。

實驗設置

在本研究中，我們提出了一種名為“合成持續預訓練”（synthetic continued pretraining）的方法，旨在通過合成數據增強來提高語言模型從小規模語料庫中學習的效率。我們使用了一個名為EntiGraph的數據增強算法，該算法通過分析和合成文檔中的實體關系來生成新的文本數據。

實驗設計與評估方法

我們的實驗基于標準的閱讀理解數據集（QuALITY, Pang et al. (2022)）。在這個設置中，我們首先從一個包含265本書籍的小規模語料庫（總共1.3M個token）中，使用EntiGraph生成了600M個合成token。接著，我們在這些合成token上繼續預訓練一個名為Llama 3 8B的語言模型，并在QuALITY問題集上評估模型的問答準確性。

數據增強算法：EntiGraph

EntiGraph算法首先從源文檔中提取關鍵實體，然后利用語言模型生成關于這些實體的文本描述，以及這些實體之間的關系描述。這一過程包括三個步驟：

1. 實體提?。簭奈臋n中識別出關鍵實體。
2. 單實體描述：為每個實體生成詳細的文本描述。
3. 關系分析：生成描述實體間相互關系的文本。

通過這種方法，我們能夠從一個高度濃縮的知識表示中生成一個大規模、多樣化的合成語料庫，為模型提供更豐富的學習材料。

主要實驗結果與分析

問答準確性評估

在使用EntiGraph生成的600M合成token進行預訓練后，我們觀察到模型在QuALITY問題集上的表現顯著提升。具體來說，模型的問答準確率從基線模型的39.49%提高到56.42%。這一結果表明，合成持續預訓練能夠有效地提高模型處理特定領域問題的能力。

與基線模型的比較

我們還將EntiGraph預訓練模型與兩個基線模型進行了比較：

1. 原始語料預訓練（Raw CPT）：直接在原始QuALITY文章上進行預訓練。
2. 重述語料預訓練（Rephrase CPT）：在重述后的QuALITY文章上進行預訓練。

結果顯示，EntiGraph預訓練模型在問答任務上的表現顯著優于這兩個基線模型，特別是與重述語料預訓練模型相比，EntiGraph模型展示了更好的知識獲取和應用能力。

數據增強的影響

通過對比不同數量的合成token對模型性能的影響，我們發現模型的準確率與使用的合成token數量呈對數線性關系。這一發現支持了我們的假設：通過增加合成數據的多樣性和數量，可以有效地提升模型的學習效率和最終性能。

綜上所述，合成持續預訓練和EntiGraph數據增強算法在提高語言模型從小規模、專業領域語料庫中學習的效率方面顯示出了顯著的潛力。這些結果為未來在更廣泛的應用中使用合成數據生成技術提供了有價值的見解和證據。

總結

本研究提出了一種新穎的合成持續預訓練方法，通過EntiGraph算法生成高質量的合成數據，有效地支持了小規模語料庫上的知識學習。實驗結果表明，該方法能夠顯著提高模型在特定領域的表現，尤其是在閉書問答和指令遵循任務上。此外，我們還探討了合成數據的多樣性和質量、模型的泛化能力以及計算效率和可擴展性等未來的研究方向。

通過合成持續預訓練，我們不僅提高了模型在特定領域的表現，還為未來在數據受限環境下的模型訓練提供了新的思路和方法。希望未來的研究能夠在此基礎上，進一步探索和優化合成數據生成和模型預訓練的方法，以應對更廣泛的應用場景和挑戰。

本文轉載自 ??AI論文解讀??，作者：柏企