速度秒掉GPT-4o、22B擊敗Llama 3 70B，Mistral AI開(kāi)放首個(gè)代碼模型
對(duì)標(biāo) OpenAI 的法國(guó) AI 獨(dú)角獸 Mistral AI 有了新動(dòng)作：首個(gè)代碼大模型 Codestral 誕生了。
作為一個(gè)專(zhuān)為代碼生成任務(wù)設(shè)計(jì)的開(kāi)放式生成 AI 模型，Codestral 通過(guò)共享指令和補(bǔ)全 API 端點(diǎn)幫助開(kāi)發(fā)人員編寫(xiě)并與代碼交互。Codestral 精通代碼和英語(yǔ)，因而可為軟件開(kāi)發(fā)人員設(shè)計(jì)高級(jí) AI 應(yīng)用。
Codestral 的參數(shù)規(guī)模為 22B，遵循新的 Mistral AI Non-Production License，可以用于研究和測(cè)試目的，但禁止商用。
目前，該模型可以在 HuggingFace 上下載。
- 下載地址：https://huggingface.co/mistralai/Codestral-22B-v0.1
- 免費(fèi)試用地址：https://t.co/LsgC84GCYw
Mistral AI 聯(lián)合創(chuàng)始人、首席科學(xué)家 Guillaume Lample 表示，Codestral 可以很輕松集成到 VS Code 插件中。
有用戶(hù)將 Codestral 與 GPT-4o 進(jìn)行了比較，Codestral 速度直接秒了 GPT-4o。
精通 80 + 編程語(yǔ)言
Codestral 在包含了 80 + 種編程語(yǔ)言的多樣化數(shù)據(jù)集上訓(xùn)練，包括 Python、Java、C、C++、JavaScript、Bash 等流行編程語(yǔ)言。此外也在 Swift 和 Fortran 等編程語(yǔ)言上表現(xiàn)良好。
因此，廣泛的語(yǔ)言基礎(chǔ)確保 Codestral 可以在各種編碼環(huán)境和項(xiàng)目中為開(kāi)發(fā)人員提供幫助。
Codestral 可以勝任編寫(xiě)代碼、 編寫(xiě)測(cè)試并使用中間填充（fill-in-the-middle）機(jī)制補(bǔ)全任何代碼部分，為開(kāi)發(fā)人員節(jié)省時(shí)間和精力。同時(shí)使用 Codestral，還有助于提高開(kāi)發(fā)人員的編碼水平，降低錯(cuò)誤和 bug 風(fēng)險(xiǎn)。
代碼生成性能新標(biāo)準(zhǔn)
作為一個(gè) 22B 參數(shù)的模型，Codestral 與以往的代碼大模型相比，在代碼生成性能和延遲空間方面樹(shù)立了新標(biāo)準(zhǔn)。
從下圖 1 可以看到，Codestral 的上下文窗口長(zhǎng)度為 32k，競(jìng)品 CodeLlama 70B 為 4k、DeepSeek Coder 33B 為 16k、Llama 3 70B 為 8k。結(jié)果顯示，在代碼生成遠(yuǎn)程評(píng)估基準(zhǔn) RepoBench 上，Codestral 的表現(xiàn)優(yōu)于其他模型。
Mistral AI 還將 Codestral 與現(xiàn)有的特定于代碼的模型進(jìn)行了比較，后者需要較高的硬件需求。
在 Python 上的表現(xiàn)。研究者使用 HumanEval pass@1、MBPP sanitised pass@1 基準(zhǔn)來(lái)評(píng)估 Codestral 的 Python 代碼生成能力；除此以外，研究者還用到了 CruxEval、RepoBench EM 基準(zhǔn)評(píng)估。
在 SQL 上的表現(xiàn)。為了評(píng)估 Codestral 在 SQL 中的性能，研究者使用了 Spider 基準(zhǔn)測(cè)試。
在其他編程語(yǔ)言上的表現(xiàn)。研究者還在其他六種編程語(yǔ)言（包括 C++、bash、Java、PHP、Typescript 和 C#）中對(duì) Codestral 進(jìn)行了評(píng)估，并計(jì)算了這些評(píng)估的平均值。
FIM 基準(zhǔn)。研究者還評(píng)估了 Codestral 在代碼片段中間有缺失的情況下補(bǔ)全代碼的能力，主要是在 Python、JavaScript 和 Java 上進(jìn)行實(shí)驗(yàn)，結(jié)果顯示，Codestral 補(bǔ)全的代碼，用戶(hù)可以立即運(yùn)行。
博客地址：https://mistral.ai/news/codestral/
