大語言模型評估基準數據泄露問題分析報告
1. 研究背景與動機
近年來，大語言模型（Large Language Models, LLMs）在人工智能領域取得了巨大的進展。為了評估這些模型的能力，研究人員開發了許多評估基準。然而，隨著這些基準的廣泛使用，人們對其適當性和公平性產生了越來越多的擔憂。
本研究的主要動機包括：
- 評估基準的重要性：評估基準是衡量LLMs能力的關鍵工具，對于理解模型進展至關重要。
- 數據泄露問題：在準備預訓練數據時，可能無意中包含了未來評估數據集的相關內容，這可能導致不公平的性能優勢。
- 公平比較的需求：需要確保不同LLMs之間的比較是公平和可靠的。
例如，GPT-3在訓練過程中發現其預訓練語料庫包含了Children's Book Test數據集，而LLaMA-2則提到BoolQ數據集中的上下文是直接從網頁中提取的，這些網頁可能已經包含在公開可用的語料庫中。這些情況都可能導致評估結果的偏差。
2. 基準數據泄露的實證研究
為了研究基準數據泄露的影響，研究人員設計了三種數據泄露場景：
- 使用MMLU訓練集：僅使用MMLU基準提供的輔助訓練集進行訓練。
- 使用所有訓練集：使用所有收集到的評估基準的訓練集進行訓練。
- 使用所有訓練集和測試提示：使用所有訓練集，并加入相應的測試提示（如任務描述和少樣本示例）。
- 使用所有訓練集、測試集和測試提示：這是最極端的情況，包含了所有信息（僅用于參考，實際中絕不應發生）。
研究者選擇了四種不同規模的語言模型進行評估：
- GPT-Neo-1.3B
- phi-1.5 (1.3B參數)
- OpenLLaMA-3B
- LLaMA-2-7B
評估基準包括：
- MMLU（多任務語言理解）
- 開放域問答任務（如BoolQ, PIQA, Hellaswag等）
- 推理任務（如CommonsenseQA, GSM8k, AQuA）
- 閱讀理解任務（如RACE, CoQA, CMRC2018等）
實驗結果顯示，數據泄露顯著提升了模型在相關基準上的表現。以下是部分結果的示例：
模型 | 訓練設置 | MMLU | BoolQ | PIQA | Hellaswag |
GPT-Neo (1.3B) | 無 | 24.04 | 62.57 | 70.57 | 38.65 |
GPT-Neo (1.3B) | +所有訓練集 | 35.10 | 78.32 | 68.61 | 42.46 |
GPT-Neo (1.3B) | +所有訓練集+測試提示 | 36.15 | 76.91 | 73.72 | 42.75 |
這些結果清楚地表明，即使是較小的模型（如1.3B參數的模型）在數據泄露的情況下也能顯著提高性能，有時甚至超過了未經泄露數據訓練的更大模型。
3. 基準數據泄露的潛在風險
研究還探討了基準數據泄露可能帶來的其他風險：
3.1 對其他任務性能的負面影響
研究者選擇了三個未包含在泄露數據中的任務來評估影響：
- LAMBADA（語言建模任務）
- XSum（文本摘要任務）
- HumanEval（代碼合成任務）
結果顯示，在泄露數據上訓練后，模型在這些任務上的性能普遍下降。例如：
模型 | 訓練設置 | LAMBADA | XSum | HumanEval |
LLaMA-2 (7B) | 無 | 68.20 | 8.67 | 26.83 |
LLaMA-2 (7B) | +泄露 | 61.00 | 0.25 | 8.54 |
這表明，僅在泄露數據上訓練可能會導致模型在其他常規任務上的性能下降。
3.2 降低模型的適應能力
研究者還探討了數據泄露對模型后續適應性的影響。他們使用Alpaca和CodeAlpaca數據集對模型進行指令微調，然后評估其性能。結果顯示：
模型 | 訓練設置 | LAMBADA | XSum | HumanEval |
LLaMA-2 (7B) | +指令微調 | 60.30 | 8.64 | 28.66 |
LLaMA-2 (7B) | +泄露+指令微調 | 53.60 | 8.55 | 20.73 |
這表明，在泄露數據上訓練的模型在后續適應新任務時可能面臨更大的困難。
4. 討論與建議
基于研究發現，論文提出了以下建議：
4.1 通用建議
- 使用更廣泛的、來源多樣化的基準進行評估，以減輕數據污染風險。
- 除了評估高級能力（如推理和事實知識），也應該評估基本能力（如文本生成）。
4.2 對LLM開發者的建議
- 在預訓練數據中進行嚴格的數據去污染檢查，避免包含任何后續評估數據。
- 如果可能，建議也排除主流評估基準的訓練數據。
- 報告潛在的數據污染風險和污染分析結果。
- 詳細報告預訓練數據的組成，特別是與主流評估基準相關的數據集。
4.3 對基準維護者的建議
- 提供構建基準的數據源詳細信息，并進行與主流預訓練語料庫的污染分析。
- 要求每次提交都附帶具體的污染分析報告。
- 提供多樣化的測試提示，最終評估結果應該是多次運行的平均值。
5. 局限性與未來工作
本研究存在一些局限性：
- 未直接在預訓練階段引入數據泄露，而是在現有預訓練模型上繼續訓練。
- 未探索更細粒度的數據泄露場景，如僅泄露不帶標簽的訓練樣本。
- 未計算主流基準與常用預訓練數據集之間的污染程度。
未來工作可以focus在這些方向上，進行更系統、更全面的研究。
6. 結論
本研究深入探討了大語言模型評估中的基準數據泄露問題，得出以下主要結論：
- 基準數據泄露會導致不公平和不可信的評估結果，即使是小型模型也可能因此獲得顯著的性能提升。
- 數據泄露不僅影響相關任務的性能，還可能對其他任務和模型的適應能力產生負面影響。
- 需要采取多項措施來改善現有評估基準的使用，包括更嚴格的數據檢查、多樣化的評估方法和透明的報告機制。
這項研究為公平、可靠地評估大語言模型提供了寶貴的見解和實用建議，對于推動LLM評估領域的發展具有重要意義。
論文原文：《Don’t Make Your LLM an Evaluation Benchmark Cheater》
本文轉載自 ??芝士AI吃魚??，作者： 芝士AI吃魚
