在當今人工智能飛速發(fā)展的時代，大語言模型（LLMs）已經(jīng)成為現(xiàn)代AI應用的核心組成部分。從智能助手到代碼生成器，從語言翻譯到內(nèi)容創(chuàng)作，LLMs的應用場景無處不在。然而，如何準確評估這些強大模型的能力，卻一直是一個充滿挑戰(zhàn)的問題。傳統(tǒng)的基準測試曾是衡量LLM性能的標準，但隨著AI技術的飛速發(fā)展，人們開始質疑這些基準測試是否還能真實反映LLM在現(xiàn)實世界中的表現(xiàn)。本文將深入探討LLM基準測試的現(xiàn)狀，分析它們是否仍然具有相關性，并介紹一些廣泛使用的基準測試及其對LLM的評估方式。

LLM基準測試：AI模型的“考試”

LLM基準測試是標準化的評估工具，用于衡量LLMs在特定任務上的表現(xiàn)。你可以將它們想象成AI模型的“考試”，旨在測試模型的推理能力、語言理解能力、編程能力等多方面的技能。每種基準測試都有其特定的評估標準，從簡單的準確率和完全匹配分數(shù)到更復雜的基于模型的參數(shù)。

這些基準測試的目標是量化LLM在處理特定挑戰(zhàn)時的有效性，幫助研究人員和開發(fā)者公平地比較不同模型，并了解它們的優(yōu)勢和局限性。一些流行的LLM基準測試包括MMLU、GPQA和MATH等。

LLM基準測試衡量什么？

不同的LLM基準測試側重于不同的能力，以下是一些常見的評估內(nèi)容：

推理與常識

這些任務檢查模型是否能夠運用邏輯和日常知識來回答復雜或微妙的問題。例如，一個模型可能需要根據(jù)給定的背景信息推斷出一個合理的結論，或者理解一個情境并給出符合常識的答案。

語言理解與問答（QA）

這些測試評估LLM對書面內(nèi)容的理解程度以及其提取或推斷正確答案的能力。這包括對文本的閱讀理解、對問題的準確回答，以及在給定上下文中正確使用語言的能力。

編程與代碼生成

編程基準測試檢查模型是否能夠在各種編程語言中編寫、修復或解釋代碼。這不僅包括生成正確的代碼，還包括對代碼邏輯的理解和調試能力。

對話能力

一些基準測試評估模型在對話中的自然度、連貫性以及提供與上下文相關答案的能力。這涉及到模型在多輪對話中保持話題連貫性和理解用戶意圖的能力。

翻譯技能

這些測試關注模型將文本從一種語言準確轉換為另一種語言的能力，同時保留其原始含義。這要求模型不僅理解兩種語言，還要能夠準確地表達相同的意思。

數(shù)學推理

從基礎算術到高級數(shù)學問題，這些測試評估模型的計算準確性和解決問題的方法。這可能包括解決復雜的數(shù)學方程、進行邏輯推理以及應用數(shù)學概念。

邏輯思維

邏輯導向的基準測試挑戰(zhàn)模型遵循演繹或歸納推理模式的能力。這要求模型能夠理解邏輯關系，并根據(jù)給定的前提得出正確的結論。

標準化考試表現(xiàn)

基于SAT或GRE等標準化考試的基準測試模擬現(xiàn)實世界中的教育評估，以評估模型的一般認知能力。這些測試通常涵蓋多個學科領域，評估模型在學術環(huán)境中的表現(xiàn)。

開發(fā)者如何選擇合適的基準測試？

并非所有的LLMs都會在所有基準測試上進行測試，開發(fā)者通常會選擇那些能夠展示其模型優(yōu)勢的基準測試，并且只公布顯示模型優(yōu)秀的測試結果。那么，開發(fā)者是如何選擇合適的基準測試來評估他們的模型的呢？選擇合適的基準測試取決于以下幾個因素：

任務對齊

開發(fā)者會選擇能夠反映他們希望模型展示的確切能力的基準測試。這可能包括文本摘要、編程、輔導或其他他們認為模型最擅長的任務。

領域相關性

他們確保基準測試與應用領域密切相關。例如，法律科技模型會接受法律語言理解的測試，而金融科技工具則會接受基于數(shù)學和推理的基準測試。

任務多樣性

大多數(shù)開發(fā)者傾向于選擇更通用或更廣泛的基準測試，如問答或STEM相關的測試，以獲得模型在各種挑戰(zhàn)中的整體表現(xiàn)。

評估方法

開發(fā)者會考慮基準測試是否使用人工評估、完全匹配評分或基于LLM的評估。這很重要，因為它會影響結果的解釋。

評估LLM的熱門基準測試

基準測試對于評估LLM的優(yōu)勢和劣勢至關重要。本文將介紹20個最流行的LLM基準測試，分為四個關鍵能力領域：通用語言與推理、編程、數(shù)學與STEM、多模態(tài)與視覺語言。這些基準測試通常用于研究論文、產(chǎn)品評估和公共排行榜。

通用語言與推理基準測試

這些基準測試評估LLM對自然語言、世界知識、邏輯以及跨學科復雜推理任務的掌握程度。

MMLU（大規(guī)模多任務語言理解）

MMLU旨在評估LLM在廣泛學科領域的知識和推理能力，涵蓋科學、技術、工程、數(shù)學、人文、社會科學和商業(yè)等57個科目。它是評估AI模型在多學科領域中的事實回憶和問題解決能力的最全面基準測試之一。

測試方法：測試包括來自不同領域的多項選擇題，模仿現(xiàn)實世界的考試。基準測試采用零樣本或少樣本評估方法，即在測試前不對模型進行數(shù)據(jù)集的微調。性能基于準確率進行衡量，即AI在四個選項中選擇正確答案的頻率。

數(shù)據(jù)集：數(shù)據(jù)集來源于現(xiàn)實世界的學術考試和專業(yè)測試，確保問題反映出教育評估中的難度水平。

測試結果的意義：高MMLU分數(shù)表明模型具有強大的一般知識和推理能力，適用于輔導、研究協(xié)助以及回答現(xiàn)實世界中復雜問題的應用。例如，如果模型得分超過85，它可以在多個主題上以專家級推理解決問題。而得分低于30的模型可能在深入的學科知識和推理方面存在困難，其答案可能不一致或過于簡單。

當前最高得分模型：GPT-4 o1（300b），得分87%。

人類最后的考試

人類最后的考試旨在將LLMs推向極限，測試它們解決高度復雜和新穎問題的能力。與傳統(tǒng)的邏輯推理、事實回憶或模式識別等特定技能評估的基準測試不同，這個基準測試用完全未見的、創(chuàng)造性的或哲學性問題挑戰(zhàn)模型，這些問題需要深度理解和洞察力。

測試方法：基準測試包括一系列沒有明確答案的開放式問題。AI模型基于定性指標進行評估，如連貫性、推理深度和回答的新穎性。可能需要人工評估者對回答進行評分，因為自動化評分方法可能不足以評估。

數(shù)據(jù)集：沒有固定的數(shù)據(jù)集；問題動態(tài)策劃，保持不可預測性，以評估真正的AI智能而非記憶能力。

測試結果的意義：在這個基準測試中表現(xiàn)良好表明AI具有進行高級人類類推理的能力，使其適合于研究、哲學以及需要深度創(chuàng)造力和新穎見解的任務。例如，如果模型得分在80%或以上，它可以解決需要抽象思維和邏輯的復雜推理問題。而得分低于40%的模型可能在多步推理方面存在困難，在復雜問題解決任務中表現(xiàn)不佳。

當前最高得分模型：Gemini 2.5 Pro Exp，得分18.8%（基于公開可用的分數(shù)）。

GPQA鉆石

GPQA鉆石是通用問答（GPQA）基準測試的一個子集，旨在評估AI模型回答高度專業(yè)和困難問題的能力，這些問題只有一個正確答案。

測試方法：模型被給予一個問題，并且必須在一次嘗試中（pass@1）產(chǎn)生一個精確且事實正確的答案。難度水平遠高于標準問答數(shù)據(jù)集，專注于技術、科學和特定領域的知識。準確率以首次嘗試正確回答的百分比來衡量。

數(shù)據(jù)集：手工策劃的一系列挑戰(zhàn)性問題，涵蓋多個學科，包括高級數(shù)學、法律推理和科學研究。

測試結果的意義：高GPQA鉆石分數(shù)表明AI模型在復雜領域中檢索和形成高度準確答案方面表現(xiàn)出色，使其適合于專家AI助手、法律咨詢和學術研究支持。例如，如果模型得分超過85%，它可以精確且深入地處理復雜的特定領域問題。而得分低于30%的模型可能在特定知識方面存在困難，經(jīng)常提供模糊或錯誤的答案。

當前最高得分模型：Gemini 2.5 Pro Exp，得分18.8%。

LLM競技場排行榜

LLM競技場排行榜是一個眾包排名系統(tǒng)，用戶根據(jù)現(xiàn)實世界中的互動和用例評估LLMs。

測試方法：AI模型接受開放式互動，用戶根據(jù)流暢性、連貫性、事實準確性以及回答查詢的整體有效性對它們進行評分。

數(shù)據(jù)集：一個動態(tài)的、用戶生成的數(shù)據(jù)集，來自各種應用中的現(xiàn)實世界互動。

測試結果的意義：在LLM競技場排行榜上排名靠前表明AI模型在實際應用中受到好評，如通用目的協(xié)助、商業(yè)自動化和研究支持。例如，如果模型排名在前3位，它在準確性、連貫性和推理方面始終優(yōu)于競爭對手。而排名在前20名之外的模型可能在復雜任務方面存在顯著弱點，使其在高級應用中不夠可靠。

當前最高得分模型：Gemini 2.5 Pro Exp，得分1439。

ARC（AI2推理挑戰(zhàn)）

ARC專門設計用于評估AI模型的常識推理和邏輯推理能力。 這些問題類似于小學科學考試，但結構上旨在挑戰(zhàn)AI應用邏輯的能力，而不僅僅是識別模式。

測試方法：測試分為“簡單”和“挑戰(zhàn)”兩部分。“挑戰(zhàn)”部分包含對依賴純統(tǒng)計相關性的AI模型來說較難的問題。AI模型根據(jù)多項選擇準確率進行評估，特別強調其回答需要推理的問題的能力，這些問題是超越表面知識的。

數(shù)據(jù)集：一系列教育考試中的科學問題，經(jīng)過篩選以強調推理而非簡單回憶。

測試結果的意義：高ARC分數(shù)表明AI模型具有強大的邏輯推理能力，使其適合于教育輔導、決策支持以及各種應用中的自動化推理任務。例如，如果模型得分在80%或以上，它可以解決需要抽象思維和邏輯的復雜推理問題。而得分低于40%的模型可能在多步推理方面存在困難，在復雜問題解決任務中表現(xiàn)不佳。

TruthfulQA

TruthfulQA評估AI生成事實準確回答的能力，同時避免錯誤信息和常見誤解。它特別適用于評估在需要高度信任的應用中的AI，如新聞業(yè)和醫(yī)療援助。

測試方法：TruthfulQA在零樣本設置中評估模型，不允許進行調整。它包括兩個任務：生成任務，模型生成1-3句回答；以及多項選擇任務。此外，測試包括一系列旨在引出常見錯誤信息的回答的問題。

AI模型根據(jù)其回答的真實性而非僅僅是語言流暢性進行評分。每個問題給模型一個0-1之間的分數(shù)，其中0代表完全錯誤的答案，1代表完全真實的答案。在大多數(shù)情況下，將回答真實問題的百分比作為基準。

數(shù)據(jù)集：一系列經(jīng)過策劃的事實核查問題，旨在挑戰(zhàn)AI模型對常見錯誤和偏見的識別。它包含817個問題，涵蓋38個類別，包括健康、法律、金融和政治。

測試結果的意義：高TruthfulQA分數(shù)表明AI模型不太可能生成誤導性或錯誤的信息，使其適合于事實核查、醫(yī)療保健、教育以及可信AI部署等應用。

例如，如果模型平均得分超過0.5，或者75%的回答是誠實的，這意味著該模型是可信的。換句話說，它證明了該模型通常提供經(jīng)過合理推理且事實正確的答案，錯誤信息極少。而得分低于0.2，或者少于30%的問題回答誠實的模型，容易捏造或歪曲事實。這使得它在對真實性要求嚴格的應用中不可靠。

編程基準測試評估LLM

編程基準測試衡量LLM在多種編程語言中生成、理解和調試代碼的能力。這些基準測試對于協(xié)助開發(fā)人員或自主編寫代碼的工具至關重要。

HumanEval

HumanEval旨在評估LLM根據(jù)問題描述生成功能性Python代碼的能力。它評估AI的編程能力、邏輯推理能力以及編寫正確解決方案的能力。

測試方法：模型被給予描述要實現(xiàn)的函數(shù)的提示。通過單元測試驗證生成代碼的正確性，將模型的輸出與預期結果進行比較。評估指標是pass@k，衡量模型在k次嘗試內(nèi)產(chǎn)生正確解決方案的概率。

數(shù)據(jù)集：由OpenAI創(chuàng)建，HumanEval包含164個Python編程問題，涵蓋各種編程概念和挑戰(zhàn)。

測試結果的意義：高HumanEval分數(shù)表明AI模型擅長編程，能夠生成功能性、語法正確的Python代碼，適用于軟件開發(fā)和AI輔助編程任務。例如，如果模型得分超過85%，它可以可靠地編寫工作代碼，解決算法問題，并協(xié)助開發(fā)人員處理復雜的編程任務。而得分低于40%的模型可能生成錯誤或低效的代碼，使其在現(xiàn)實世界的編程需求中不可靠。

當前最高得分模型：Claude 3.5 Sonnet，得分100。

SWE-bench Verified

SWE-bench（軟件工程基準測試）Verified旨在評估AI模型理解、調試和改進軟件代碼的能力。

測試方法：AI模型在真實世界的軟件開發(fā)任務中接受測試，包括錯誤修復、重構和功能實現(xiàn)。解決方案必須通過各種驗證檢查以確認正確性。模型根據(jù)其產(chǎn)生完全功能且經(jīng)過驗證的解決方案的能力進行評估。

數(shù)據(jù)集：基于真實世界軟件倉庫的一系列編程挑戰(zhàn)，包括開源項目和企業(yè)級代碼庫。

測試結果的意義：高SWE-bench Verified分數(shù)表明AI模型在軟件工程方面能力很強，使其在自動化代碼生成、調試和AI輔助編程方面具有價值。例如，如果模型得分在80%或以上，它可以準確地修復復雜的錯誤并重構代碼。而得分低于40%的模型可能在處理真實世界的軟件問題方面存在困難，并產(chǎn)生不可靠的修復。

Aider Polyglot

Aider Polyglot旨在評估AI在多種編程語言中生成和理解代碼的能力。它評估模型在不同語言之間切換的能力、理解跨語言語法差異的能力以及生成正確和高效代碼的能力。重點是AI在各種編程范式中的適應性以及在不同環(huán)境中生成慣用代碼的能力。

測試方法：AI模型被給予不同語言的編程任務。評估重點是語法正確性、執(zhí)行準確性和效率。AI還被測試其處理跨語言推理的能力，例如在保持功能性和效率的同時將代碼從一種語言轉換為另一種語言。

數(shù)據(jù)集：該基準測試使用來自真實場景、編程競賽挑戰(zhàn)和開源倉庫的編程問題數(shù)據(jù)集。這些任務涉及多種語言，包括Python、JavaScript、C++和Java。

測試結果的意義：高分表明AI模型擅長多語言編碼任務，使其對于在多種技術棧中工作的開發(fā)人員、代碼翻譯以及各種語言中的調試任務具有價值。例如，如果模型得分超過85%，它可以無縫地協(xié)助多種語言，如Python、Java和C++。而得分低于40%的模型可能在不同編程語言之間的語法和上下文方面存在困難。

當前最高得分模型：Gemini 2.5 Pro Exp，得分74%。

LiveCodeBench v5

LiveCodeBench v5測試AI在現(xiàn)實世界約束下生成實時、可執(zhí)行代碼的能力。與靜態(tài)編碼測試不同，它側重于AI在交互式環(huán)境中解決編碼問題的能力，結合運行時反饋和迭代調試。

測試方法：AI被要求交互式地解決編碼問題。它根據(jù)其初始代碼的準確性、處理運行時錯誤的能力以及效率進行評估。模型的適應性也受到測試，因為它必須根據(jù)實時反饋和變化的測試用例調整解決方案。

數(shù)據(jù)集：數(shù)據(jù)集包括來自編程競賽、真實世界開發(fā)場景和開源倉庫的交互式編碼問題和調試任務。

測試結果的意義：高分表明AI在實時編碼方面表現(xiàn)出色，使其適用于AI驅動的代碼補全、調試協(xié)助和交互式編程環(huán)境，這對于提高開發(fā)人員的生產(chǎn)力至關重要。例如，如果模型得分在90%以上，它可以處理動態(tài)編碼挑戰(zhàn)、調試和自動補全，具有很高的準確性。而得分低于40%的模型可能在保持編碼上下文方面存在困難，并且可能頻繁生成錯誤。

當前最高得分模型：Kimi-k1.6-IOI-high，代碼生成得分73.8。

MBPP（大多是基礎編程問題）

MBPP評估LLM使用自然語言指令解決初學者到中級編程任務的能力。它適用于測試模型的核心算法理解和基本編碼技能。

測試方法：模型被給予簡短的問題描述，并被要求生成解決描述問題的Python代碼。每個問題都包含一個簡短的自然語言提示，描述任務，模型被期望生成解決它的Python代碼。

生成的代碼會自動評估其功能正確性、語法有效性和與問題描述的邏輯一致性。這通常是在少樣本設置中進行的，模型在嘗試新問題之前會看到一些已解決的示例。零樣本和微調評估也很常見。

數(shù)據(jù)集：MBPP包含974個問題，來源于教育和編程競賽平臺。任務包括對字符串、列表和字典的操作，以及數(shù)學、條件語句、遞歸和簡單的文件處理。所有問題都可以在10行以內(nèi)的Python代碼中解決，并且每個問題都附帶3個單元測試。

測試結果的意義：高MBPP分數(shù)反映了模型按照清晰指令生成功能性代碼的能力。

例如，得分超過80的模型可以處理編碼教程并協(xié)助初學者程序員。這種模型非常適合代碼輔導、自動補全工具和初學者級別的開發(fā)支持。而得分低于30的模型可能生成有錯誤或語法無效的代碼。

當前最高得分模型：由Claude 3.5-Sonnet驅動的QualityFlow，準確度為94.2。

MTPB（多輪編程基準測試）

MTPB評估AI模型在代碼生成中進行多輪對話的能力。它模擬了真實世界中的軟件開發(fā)場景，開發(fā)人員根據(jù)反饋、調試輸出和不斷演變的指令來完善代碼。它測試上下文記憶、跟進和多輪對話中的問題解決能力。這些技能對于用于代碼配對編程或作為副駕駛的LLMs至關重要。

測試方法：每個任務從用戶查詢開始，描述編碼目標。模型提出解決方案，隨后模擬用戶（或測試腳本）提供反饋，可能指出錯誤、要求添加功能或提出更改。這個循環(huán)會持續(xù)3到5輪。

最終輸出會針對一組功能要求和單元測試進行測試。評估考慮最終代碼的正確性、模型整合細微反饋的能力以及對話過程中的穩(wěn)定性和連貫性。它還會考察模型達到工作解決方案所需的 交互次數(shù)。

數(shù)據(jù)集：MTPB數(shù)據(jù)集包含115個真實的軟件工程問題。這包括用戶反饋循環(huán)、代碼重構任務和增量功能實現(xiàn)。反饋信息被設計為模糊和明確的，模仿開發(fā)人員在真實場景中收到的指令。

測試結果的意義：高MTPB分數(shù)表明模型能夠在多輪對話中跟蹤上下文，而不會丟失上下文或引入回歸。這意味著該模型適合于迭代代碼審查、配對編程和輔導等任務。

例如，如果模型得分超過85%，它可以迭代改進代碼，理解測試用例，并提供有用的調試建議。而得分低于40%的模型可能在多步編程任務中存在困難，并產(chǎn)生不完整或錯誤的解決方案。

數(shù)學與STEM基準測試評估LLM

這一類別側重于數(shù)值能力和結構化推理，包括純數(shù)學以及與科學相關的解決問題能力。這些基準測試評估模型按步驟推理和解釋定量數(shù)據(jù)的能力。

GSM8K

GSM8K是一個小學水平的數(shù)學應用題數(shù)據(jù)集，旨在評估LLM在算術和基礎代數(shù)推理方面的能力。這些問題需要多步計算、邏輯推理以及對基本數(shù)學原理的理解。

測試方法：模型被呈現(xiàn)數(shù)學應用題，并被要求生成逐步解決方案。評估基于最終答案是否與正確答案匹配。此外，中間推理步驟也會被評估，以衡量邏輯連貫性和解決問題的深度。

數(shù)據(jù)集：GSM8K包含1319個高質量的小學水平問題。這些問題由人類專家手動編寫，確保多樣性和現(xiàn)實的數(shù)學挑戰(zhàn)。

測試結果的意義：高GSM8K分數(shù)表明模型具有強大的算術和基礎代數(shù)推理能力。它表明模型能夠協(xié)助基礎教育、自動化輔導和基本金融計算。

例如，如果模型得分超過80%，它可以可靠地解決非平凡的代數(shù)、幾何和數(shù)論問題。而得分低于30%的模型可能在復雜的多步推理中失敗，并且在精確性方面存在困難。

當前最高得分模型：Claude 3.5 Sonnet（HPT），得分97.72。

MATH基準測試

MATH基準測試評估AI模型解決高級、高中水平數(shù)學問題的能力，需要深入的邏輯推理、符號操作和多步問題解決技能。

測試方法：測試包括來自代數(shù)、幾何、微積分和數(shù)論的問題。AI模型必須生成完整的逐步解決方案，而不僅僅是最終答案。評估過程檢查中間步驟的正確性和邏輯合理性。

數(shù)據(jù)集：數(shù)據(jù)集包含12500個問題，來源于真實的數(shù)學競賽和高中課程挑戰(zhàn)。

測試結果的意義：高MATH基準測試分數(shù)表明AI模型在技術領域表現(xiàn)出色，如STEM輔導、研究，甚至協(xié)助數(shù)學證明和計算建模。

例如，如果模型得分在70%或以上，它可以可靠地解決具有挑戰(zhàn)性的代數(shù)、微積分和幾何問題。而得分低于30%的模型可能在多步數(shù)學推理中失敗，并且在抽象問題解決方面存在困難。

AIME 2025（pass@1）

AIME（人工智能數(shù)學評估）2025是一個旨在評估AI模型解決高級數(shù)學問題的能力的基準測試。它包括受著名數(shù)學競賽啟發(fā)的問題。

測試方法：在這個測試中，模型必須在第一次嘗試（pass@1）時提供正確的答案，沒有重試的機會。問題包括代數(shù)、組合數(shù)學、數(shù)論和幾何。模型性能根據(jù)產(chǎn)生正確最終答案的準確性進行評估。

數(shù)據(jù)集：問題來源于高級數(shù)學競賽和大學水平的習題集。

測試結果的意義：高AIME 2025分數(shù)表明模型具有強大的數(shù)學推理能力，使其適合于協(xié)助研究、STEM教育和科學計算。例如，如果模型得分超過80%，它可以可靠地解決非平凡的代數(shù)、幾何和數(shù)論問題。而得分低于30%的模型可能在復雜的多步推理中失敗，并且在精確性方面存在困難。

當前最高得分模型：Grok 3（Beta）擴展思考，得分93.3%，這是該基準測試的最高分。

ScienceQA

ScienceQA是一個多模態(tài)數(shù)據(jù)集，評估AI模型使用文本和視覺信息進行推理的能力，特別是針對科學相關主題。

測試方法：數(shù)據(jù)集包括基于科學的多項選擇題，AI模型必須在分析文本和圖表后再生成正確答案。

數(shù)據(jù)集：一個包含21000個多模態(tài)問題的集合，涵蓋物理、化學和生物，來源于教育材料。

測試結果的意義：高ScienceQA分數(shù)表明模型在AI輔助教育、輔導平臺和科學文檔分析方面表現(xiàn)出色。例如，如果模型得分超過85%，它可以深入解釋科學概念，使其適用于教育和研究。而得分低于40%的模型可能誤解數(shù)據(jù)，并且在科學推理方面存在困難。

MGSM（多語言小學數(shù)學）

MGSM測試模型在多種語言中進行小學水平數(shù)學推理的能力。它評估多語言理解和邏輯問題解決的交叉點，幫助確定LLM是否能夠在不同語言之間泛化數(shù)學能力。

測試方法：基準測試涉及解決涉及算術、邏輯和基礎代數(shù)的數(shù)學應用題。每個問題被翻譯成10多種語言，包括西班牙語、印地語、法語、中文和阿拉伯語。模型必須準確理解給定語言中的問題，進行正確的計算或推理，并返回正確的數(shù)值或文本答案。評估基于完全匹配準確性和推理的正確性（如果展示）。

數(shù)據(jù)集：基于GSM8K數(shù)據(jù)集構建，MGSM使用8500多個小學數(shù)學問題，手動翻譯以保留意圖和措辭。數(shù)據(jù)集引入了語言復雜性，如習語、句子結構變化和數(shù)字-單詞格式。

測試結果的意義：高MGSM分數(shù)表明模型能夠彌合語言和推理之間的差距。這對于構建包容性的、多語言的AI教育和輔導系統(tǒng)至關重要。

例如，得分超過80%的模型可以有效地用母語教授數(shù)學或回答問題。而得分低于40%的模型則揭示出語言理解方面的差距或推理方面的斷裂。

多模態(tài)與視覺語言基準測試評估LLM

多模態(tài)基準測試評估模型解釋和推理文本和視覺數(shù)據(jù)的能力。這對于圖像描述、文檔理解和視覺問答等應用至關重要。

MMMU（大規(guī)模多模態(tài)多任務理解）

MMMU評估AI模型處理和推理文本、圖像和圖表等多種模態(tài)數(shù)據(jù)的能力，對于多模態(tài)AI應用至關重要。

測試方法：模型在需要同時解釋文本和視覺輸入的任務上接受測試。這些包括回答有關圖像的問題、推理圖表以及從多媒體數(shù)據(jù)中提取見解。

數(shù)據(jù)集：一系列經(jīng)過策劃的圖像-文本對，涵蓋科學圖表、圖表、醫(yī)學圖像和日常場景。

測試結果的意義：高MMMU分數(shù)表明AI模型在自動化文檔分析、AI輔助醫(yī)學成像和智能數(shù)據(jù)可視化等領域表現(xiàn)出色。例如，如果模型得分超過80%，它可以準確處理和響應復雜的多模態(tài)查詢。而得分低于40%的模型可能在跨模態(tài)推理方面存在困難，并且產(chǎn)生不一致的結果。

VQAv2（視覺問答）

VQAv2測試AI模型解釋圖像并回答相應文本問題的能力。它廣泛用于評估AI在視覺語言理解方面的表現(xiàn)。

測試方法：AI模型被提供圖像和自然語言問題。根據(jù)生成的答案是否與人工標注的正確答案匹配來衡量準確性。

數(shù)據(jù)集：數(shù)據(jù)集包含265000個圖像-問題-答案三元組，確保在各個領域進行穩(wěn)健的評估。

測試結果的意義：高VQAv2分數(shù)表明模型在無障礙應用、自動化圖像描述和AI驅動的內(nèi)容審核方面具有強大的能力。例如，如果模型得分超過80%，它可以以高準確性理解和描述復雜圖像。而得分低于40%的模型可能誤解圖像，在上下文理解方面存在困難，并且提供不正確或模糊的答案。

BFCL（伯克利函數(shù)調用排行榜）

BFCL測試模型理解API文檔并執(zhí)行函數(shù)調用任務的能力。它模擬了AI助手將自然語言翻譯成結構化API調用的場景。這是基于LLM的代理與外部工具和環(huán)境交互的關鍵技能。

測試方法：測試呈現(xiàn)自然語言指令（例如，“查看明天中午巴黎的天氣”）和一系列可用函數(shù)定義及其輸入?yún)?shù)。模型必須返回與用戶意圖匹配的正確格式的函數(shù)調用。

評估檢查模型是否能找到與預期函數(shù)簽名完全匹配的內(nèi)容，正確映射參數(shù)和值，并正確使用數(shù)據(jù)類型和約束。參數(shù)不匹配、幻覺函數(shù)或參數(shù)解釋錯誤等錯誤會導致分數(shù)降低。

數(shù)據(jù)集：數(shù)據(jù)集包括數(shù)千個真實世界的API場景，如天氣查詢、日歷安排和搜索任務。每個提示都配有清晰的規(guī)范和參數(shù)，與結構化的JSON樣式的函數(shù)模式配對。

測試結果的意義：高BFCL分數(shù)表明模型能夠正確解釋結構化輸入，遵循約束，并進行精確的函數(shù)調用。這對于與插件或API等工具集成的LLMs至關重要。

如果模型在這個基準測試中得分超過90%，這表明它具有強大的工具使用能力。而得分低于50%的模型可能在參數(shù)處理方面表現(xiàn)不佳，并且容易出現(xiàn)幻覺行為。

排行榜基準測試與官方基準測試

LLMs在受控環(huán)境中 進行測試，外部偏見或額外的人工干預不會影響結果。這適用于大多數(shù)官方基準測試，如MMLU和HumanEval，它們評估特定能力。然而，像LLM Arena和Hugging Face Open LLM Leaderboard這樣的真實世界排行榜依賴于用戶反饋和眾包評估。因此，后者提供了對LLM有效性的更動態(tài)的評估。

官方基準測試提供了標準化的評估指標，但它們往往不能反映真實世界的表現(xiàn)。基于排行榜的評估，如LMSys或Hugging Face上的評估，捕捉到實時用戶反饋，使其成為衡量LLM可用性的更實用的指標。

官方基準測試允許進行可重復的測試，而基于排行榜的基準測試則根據(jù)用戶互動進行調整。排行榜能夠捕捉到靜態(tài)測試可能遺漏的新興優(yōu)勢和弱點。行業(yè)專家越來越傾向于排行榜，因為它們更適用于真實世界的應用。像LMSys、Hugging Face和Open LLM Leaderboard這樣的平臺提供了動態(tài)的真實世界評估。這些平臺上的社區(qū)驅動反饋展示了LLMs隨時間的演變，超出了固定基準測試的一次性測試。此外，大多數(shù)標準基準測試只發(fā)布最終結果，這引發(fā)了關于其真實性的質疑，尤其是當高分模型在現(xiàn)實世界中表現(xiàn)不佳時。在這種情況下，開源基準測試鼓勵合作和透明度，從而導致更穩(wěn)健的LLM評估。

本文轉載自公眾號Halo咯咯    作者：基咯咯

原文鏈接：??https://mp.weixin.qq.com/s/uCzwPw3n6Adi5eXkkCGdpg??