阿里云發布通義千問2.0,性能加速追趕GPT-4
在2023杭州云棲大會上,阿里云首席技術官周靖人發布千億級參數大模型通義千問2.0。在10個權威測評中,通義千問2.0綜合性能超過GPT-3.5,正在加速追趕GPT-4。
據悉,過去6個月,通義千問2.0在性能上取得巨大飛躍,相比4月發布的1.0版本,通義千問2.0在復雜指令理解、文學創作、通用數學、知識記憶、幻覺抵御等能力上均有顯著提升。目前,通義千問的綜合性能已經超過GPT-3.5,加速追趕GPT-4。
在MMLU、C-Eval、GSM8K、HumanEval、MATH等10個主流Benchmark測評集上,通義千問2.0的得分整體超越Meta的Llama-2-70B,相比OpenAI的Chat-3.5是九勝一負,相比GPT-4則是四勝六負,與GPT-4的差距進一步縮小。
中英文理解能力是大語言模型的基本功。英語任務方面,通義千問2.0在MMLU基準的得分是82.5,僅次于GPT-4,通過大幅增加參數量,通義千問2.0能更好地理解和處理復雜的語言結構和概念;中文任務方面,通義千問2.0以明顯優勢在C-Eval基準獲得最高得分,這是由于模型在訓練中學習了更多中文語料,進一步強化了中文理解和表達能力。
在數學推理、代碼理解等領域,通義千問2.0進步明顯。在推理基準測試GSM8K中,通義千問排名第二,展示了強大的計算和邏輯推理能力;在HumanEval測試中,通義千問得分緊跟GPT-4和GPT-3.5,該測試主要衡量大模型理解和執行代碼片段的能力,這一能力是大模型應用于編程輔助、自動代碼修復等場景的基礎。