引言：數據選擇對于微調大型語言模型的重要性

在當今的人工智能領域，大型語言模型（LLMs）的發展已經達到了令人矚目的高度，它們不僅能夠生成接近真實人類語言的文本，還能夠完成許多經典的自然語言處理（NLP）任務。這些模型如GPT和BERT等，通過在大規模數據集上進行預訓練，已經展示出了強大的語言理解和生成能力。然而，要使這些模型在特定的下游任務中達到最佳表現，僅僅依靠預訓練是不夠的，這就需要通過微調（fine-tuning）來進一步優化模型。

微調是一個涉及模型調整的過程，目的是使預訓練的語言模型更好地適應特定的應用場景。這一過程的關鍵在于選擇合適的數據進行訓練。數據選擇的好壞直接影響到微調后模型的性能，因為不同的數據會對模型的學習路徑和最終表現產生重大影響。選擇高質量的數據子集不僅可以提高模型的表現，還可以加速訓練過程，節省計算資源。

為了有效地選擇數據，研究人員提出了多種數據選擇方法，這些方法旨在從候選數據集中篩選出最能提高模型性能的數據樣本。這一過程通常涉及三個階段：數據預處理、數據選擇器構建和數據選擇器評估。在數據預處理階段，原始數據會被轉換成模型可以直接利用的格式，例如，將文本轉換為特征向量。接下來，在數據選擇器構建階段，會根據預設的標準來評估每個數據樣本的質量，并構建一個選擇器來自動化選擇過程。最后，在數據選擇器評估階段，通過比較選擇器選出的數據訓練的模型與在完整數據集上訓練的模型的表現，來驗證選擇器的有效性。

通過這樣的方法，研究人員能夠更精確地控制數據對模型的影響，從而在保證模型表現的同時，優化訓練效率。因此，數據選擇作為微調大型語言模型的一個重要環節，它的研究和應用對于推動語言模型的實際應用具有重要意義。

論文標題: Take the essence and discard the dross: A Rethinking on Data Selection for Fine-Tuning Large Language Models

論文鏈接: https://arxiv.org/pdf/2406.14115.pdf

數據選擇的三階段方案

在大型語言模型（LLM）的微調過程中，數據選擇是一個關鍵步驟，它旨在從給定的候選數據集中選擇一個高質量的子集，以訓練待微調模型（PFM），從而得到選擇增強模型（SEM）。這一過程可以提高模型的性能并加速訓練過程。以下是數據選擇的三個階段：

1. 數據預處理

數據預處理是數據選擇流程的第一步，主要目的是將原始數據轉換為更適合后續處理的格式。在這一階段，一些研究保留了文本的原始特征，而其他研究則將文本轉換為人為設計的特征或模型導向的特征。例如，Cao等人（2023年）使用了基于語言的指標來轉換樣本，這些指標包括連貫性、自然性和可理解性等，而Xia等人（2024年）則從LLM中提取低維梯度特征，用于更直接和針對性的選擇。

2. 數據選擇器的構建

數據選擇器的構建關注于選擇標準的設計，這些標準應當能夠真實反映每個樣本的質量。根據質量標簽的信息來源，選擇方法可以分為內部信息和外部信息兩大類。內部信息指的是僅與候選數據集本身相關的信息，如Li等人（2024b）提出的指令遵循難度（IFD）標簽；而外部信息則考慮了候選數據集之外的信息，例如Chen等人（2024年）使用的來自外部LLM的離散質量標簽。

3. 數據選擇器的評估

數據選擇器的評估是驗證選擇器有效性的關鍵步驟，主要通過比較選擇增強模型（SEM）和基線模型（BM）的性能來進行。這一評估通常涉及將通過選擇器選出的數據子集用于微調模型，并將該模型的性能與全數據微調的基線模型進行比較。例如，Lu等人（2023年）使用MT-Bench等流行基準進行評分，直接量化SEM的性能表現。

通過這三個階段的詳細分析，我們可以更深入地理解數據選擇對大型語言模型微調的影響，以及如何通過精確的數據選擇提高模型效率和效果。

數據選擇的關鍵因素：內部信息與外部信息的利用

1. 利用內部信息

在數據選擇過程中，利用內部信息是指直接從候選數據集中提取數據質量標簽。這種方法的優勢在于能夠直接反映數據本身的質量，而不受外部因素的干擾。例如，Li等人（2024b）提出了一種基于指令遵循難度（Instruction Following Difficulty, IFD）的質量標簽，該標簽通過評估在給定指令的幫助下生成特定答案的可能性變化來確定。他們首先使用部分候選數據集訓練一個預體驗模型（PFM），然后基于這個模型來評估IFD分數。

此外，SuperFiltering（Li等人，2024a）采用了一個較小的模型（GPT-2）作為預體驗模型，通過比較小模型與大模型之間的IFD和困惑度的一致性，來選擇數據。這種從弱到強的數據過濾方式，可以有效地篩選出高質量的數據。

2. 利用外部信息

利用外部信息進行數據選擇涉及到從數據集之外獲取樣本質量的信息。這可以進一步細分為離散質量標簽和連續質量標簽。

2.1 離散質量標簽

一些研究利用專有的大型語言模型（如ChatGPT）或社區模型（如LLaMA）來自動注釋樣本質量，隨后通過設計的選擇算法進行數據選擇。例如，AlpaGasus（Chen等人，2024）通過向ChatGPT提供特定的提示來直接獲取每個樣本的評分，并根據這些評分進行樣本選擇。這種方法的優點是減少了高成本和耗時的人工注釋。

DEITA（Liu等人，2024）使用Evol-Instruct方法來構建不同復雜度和質量的樣本，訓練社區模型作為更強的復雜度和質量評分器，然后設計了一個以分數為先的、考慮多樣性的數據選擇算法。

2.2 連續質量標簽

其他研究采用更直接和模型特定的方法，通過利用樣本對模型最終性能的影響來選擇數據，這通常是連續且隱式的。例如，Instruction-Mining（Cao等人，2023）使用最小二乘法構建樣本的4維指標表示與PFM模型的推理損失之間的映射，然后利用BLEND-SEARCH結合全局和局部優化進行有效的數據選擇。

LESS（Xia等人，2024）則使用候選樣本的梯度與特定任務數據集中的數據梯度的相似性來獲取樣本影響力，設計了一個數據選擇算法，使用每個任務在驗證集上的平均梯度作為錨點，與候選樣本特征進行相似性計算，選擇對所有任務都有改進的前5%的數據點。

通過這些方法，可以有效地從大量數據中篩選出對模型訓練最有益的高質量數據，從而提高模型的性能并加速訓練過程。

數據選擇方法的比較

在大型語言模型（LLM）的微調過程中，選擇合適的數據子集對于提高模型性能和加速訓練過程至關重要。本章節將對現有的數據選擇方法進行比較，特別關注選擇器的效率和可行性兩個方面。

1. 選擇器的效率

選擇器的效率主要通過選擇器能夠準確選出高質量數據的能力來衡量。在眾多研究中，我們發現目標更明確的數據選擇方法通常具有更高的效率。例如，使用數據特定和模型特定的質量標簽的方法往往能更準確地識別出對模型性能提升最大的數據。然而，這種方法的復雜性也相對較高，可能會降低其可行性。

為了量化比較不同方法的效率，我們設計了基于比率的效率指標（Performance Improvement Ratio, PIR）和選擇數據集比例（Selected Dataset Fraction, SDF）。PIR 表示選擇后的模型（SEM）與基線模型（BM）性能的比率，而 SDF 表示被選數據占原始候選數據集的比例。通過這兩個指標，我們可以在散點圖上直觀地比較不同方法的效率。

此外，我們還引入了效率曲線假設，通過假設效率曲線呈對數形態，可以在相同的數據選擇比例下比較不同方法的效率。這種方法允許我們在統一的框架下評估并直接比較不同的數據選擇方法。

2. 選擇器的可行性

選擇器的可行性涉及到選擇方法的實用性，包括其簡單性和靈活性。簡單性主要考慮選擇過程的復雜性和方法的可重現性。例如，一些方法可能需要訓練多個LLM模型或進行復雜的算法步驟，這可能會限制其在實際應用中的可行性。

靈活性則涉及到選擇方法是否可以輕松地應用于不同的場景。這包括方法是否依賴于特定的PFM模型或數據集，以及是否容易擴展到使用不同的商業模型（如ChatGPT或GPT-4）。我們通過排名基于可行性的指標來評估現有方法的靈活性，這些指標包括模型自由度、數據集自由度和擴展性。

在綜合考慮效率和可行性后，我們發現雖然一些方法在效率上表現出色，但可能因復雜性而在實際應用中受限。相反，一些簡單但靈活的方法雖然效率不是最優的，但可能因其易于部署和適應性強而更受歡迎。

通過這種綜合評估，我們可以更全面地理解不同數據選擇方法的優勢和局限，為未來的研究和應用提供指導。

面臨的挑戰與未來研究方向

1. 短期挑戰

短期內，數據選擇面臨的主要挑戰是如何為特定領域和多輪對話提供精確的數據選擇解決方案。特定領域的數據選擇需要能夠針對模型在特定領域的短板進行優化，而不影響其他領域的性能。例如，現有的數據選擇方法雖然在寫作和角色扮演等領域表現出色，但在數學和邏輯推理等領域的改進卻較為有限。此外，大多數現有的數據選擇方法都集中在單輪對話上，因為這類數據的質量更容易衡量。然而，多輪對話數據的特點，如全局目標和對話的連貫性，還沒有得到足夠的關注。

2. 長期研究問題

從長遠來看，數據選擇研究需要解決的關鍵問題包括如何平衡性能和靈活性，以及如何找到統一而有效的數據質量衡量標準。目前的研究往往通過采用更精細的目標導向方法來提高選擇效率，而不是尋找真正更有效的選擇范式。這種方法雖然在效率上有所提高，但往往犧牲了靈活性，并可能引入外部信息噪聲，影響選擇的有效性。此外，現有的研究多從模型對數據的觀察或數據選擇對模型性能的影響出發，來衡量數據質量，而沒有從數據集本身的質量分布出發。因此，探索一個能夠統一衡量數據質量的有效指標，將是數據選擇研究領域的一個基礎問題。

總結：數據選擇在微調大型語言模型中的作用及其發展趨勢

1. 數據選擇的重要性

數據選擇是指從大規模候選數據集中篩選出最有利于模型學習的數據子集。這一過程對于構建高效的語言模型至關重要。通過有效的數據選擇，可以確保模型訓練集中于最具代表性和挑戰性的樣本，從而在實際應用中展現出更強的性能和更好的泛化能力。

2. 數據選擇的方法發展

早期的數據選擇方法多依賴于簡單的隨機抽樣或者基于規則的篩選。然而，這些方法往往忽視了數據的內在質量和與模型性能的相關性。隨著技術的進步，更多研究開始利用機器學習技術，通過模型預測的方式來評估數據質量，實現更為精準的數據選擇。例如，一些研究通過分析數據對模型訓練誤差的貢獻度來進行篩選，優先選擇那些能夠顯著減少誤差的數據。

3. 面臨的挑戰與發展趨勢

盡管數據選擇技術已取得了顯著進展，但仍面臨一些挑戰。首先，如何定量評估數據質量仍然是一個難題。目前的方法大多依賴于模型的間接反饋，缺乏直接評估數據質量的客觀標準。其次，數據選擇算法的復雜性和計算成本也限制了其在大規模數據集上的應用。

展望未來，數據選擇技術將朝著更加智能化和自動化的方向發展。一方面，借助深度學習等先進技術，可以進一步提高數據選擇的準確性和效率。另一方面，結合多任務學習和遷移學習的方法，數據選擇模型能夠更好地適應不同的應用場景和需求，從而推動大型語言模型在更多領域的廣泛應用。

本文轉載自??柏企科技圈??，作者：柏企科技圈 ?