長文本評測隨著大模型能夠處理的上下文信息越來越多，達到百萬級別的詞匯量，人們對于模型長文本能力的研究興趣也隨之增長。司南OpenCompass數據集社區已經出現了諸如LEval、LongBench等長文本評測基準。這些工作基于一些開源自建的數據集構建樣本，其構建評測集上的性能已可以一定程度上反映模型的能力。因此，在長文本評測這一工作里，我們認為一個好的長文本評測集應該具備以下性質：樣本長度可控：測試樣本的上下文長度最好...

隨著人工智能技術的迅速發展，大模型在處理各種復雜任務中展示出了卓越的能力。特別是在網絡安全領域，大模型的應用潛力巨大，它們可以幫助自動化處理大量數據、識別潛在威脅和提供安全建議。然而，新型大模型層出不窮，要有效利用這些模型，首先必須驗證它們在理解和處理網絡安全相關問題上的能力。4月19日凌晨，Meta開源了新一代LLaMa3模型。作為當前最受矚目的大語言模型之一，LLaMa3在網絡安全領域的表現到底怎樣？如何將LL...

司南團隊構建了針對大語言模型超長文本能力的中英雙語測試框架——NeedleBench，專門用來壓力測試模型在處理長達百萬級上下文窗口中的檢索能力和推理能力。論文鏈接：http:arxiv.orgabs2407.11963Part1：為什么需要NeedleBench現在的大語言模型，如最近公開的GPT4o、GLM49B、InternLM2.5等，已經擴展了它們的上下文窗口，可以處理多達100萬個token的文本。然而，簡單地通過“NeedleInAHaystack”大海撈針要求LLMs提取關鍵信息，...

AIAgent（智能體）作為大模型的重要應用模式，能夠通過使用外部工具來執行復雜任務，完成多步驟的工作流程。為了能全面評估模型的工具使用能力，司南及合作伙伴團隊推出了TEval評測基準，相關成果論文已被ACL2024主會錄用。查看原文：https:arxiv.orgabs2312.14033?PART1為什么需要TEval？使用了工具的大語言模型有著驚艷的問題解決能力，但是如何評估模型的工具使用能力還有很大的探索空間。現有評估方法通常只關注模型處理單...

5月14日，OpenAI發布了GPT4o，支持文本、圖像、語音、視頻等多種形式的輸入，大幅提升了推理響應的速度，在非英文任務上具有較大提升，并擁有比現有模型更強的視覺理解能力。我們第一時間對GPT4o模型的圖像文本多模態能力進行了評測。OpenAI官方公布的視覺理解性能基于多模態大模型開源評測工具VLMEvalKit，我們在OpenVLMLeaderboard中的十二個圖文多模態評測集上測試了GPT4o的視覺能力。GPT4o(20240513)與此前的GPT4v版本在各...

長文本評測隨著大模型能夠處理的上下文信息越來越多，達到百萬級別的詞匯量，人們對于模型長文本能力的研究興趣也隨之增長。這些工作基于一些開源自建的數據集構建樣本，其構建評測集上的性能已可以一定程度上反映模型的能力。因此，在長文本評測這一工作里，我們認為一個好的長文本評測集應該具備以下性質：樣本長度可控：測試樣本的上下文長度最好是可控的，以便于測量和比較模型在各個上下文長度下的能力變化（若測試集由不...

先放結論如果你想為你的項目挑選合適的圖文多模態模型，以下是一些可供參考的模型性能（括號內為評測分數）：已測性能最強的閉源模型：GPT4o（海外API模型，69.9）GLM4v（國內API模型，60.8）已測位于"參數量性能"前沿上的開源模型：InternVLv1.5(26B,61.7)MiniCPMLlama3V2.5(8B,58.8)InternLMXComposer27B4KHD(7B,58.8)?MiniInternVL(4B,56.2;2B,49.8)本期的多模態模型性能榜單1.多模態大模型評測榜單構成更新在4月底，司南多...

Flames是由上海人工智能實驗室和復旦大學聯合構建的大語言模型價值對齊評測基準，包含一個綜合性評測框架、高對抗性中文數據集和自動評分模型，囊括Fairness（公平）,Safety(安全)，Morality(道德)，DataProtection（數據保護），以及Legality（合法）五個大維度，Flames名字也來源于此。一、為什么需要Flames？當前大語言模型在深層次的價值對齊和無害性方面存在諸多挑戰，高質量的評測集可以有效評估模型的價值對齊情況。然而...

ChemBench是上海人工智能實驗室AIforScience團隊自建的化學語言模型評測數據集，實現了大模型能力在化學領域的全面評估。研究團隊從互聯網公開資源中采集并設計構建了4100多道多項選擇題，每個選擇題只有一個正確答案。覆蓋了基于文本的分子生成、名稱轉換、性質預測、溫度預測、分子描述、產率預測、溶劑預測、逆合成分析、產物預測九大化學任務。ChemBench評測任務介紹隨著大語言模型的飛速發展，一系列特定領域的垂類模型也...

隨著現代大語言模型（LLMs）如OpenAI的ChatGPT和GPT4的出現，LLMs展示了生成類人對話和解決復雜數學難題的非凡能力。從Meta在4月18日發布Llama38B&70B開始，Qwen開源的首個百B大模型Qwen1.5110B，到深度求索的MoE模型DeepSeekV2，還有近幾日OpenAI放出的大招GPT4o，號稱更低的價格，更強的性能，大家都號稱自己的新模型數學能力頂呱呱，但事實真是這樣嗎？如何透明化評測大模型的各項數學能力如今成了大家的難題，因為開源數據...