原作親自下場(chǎng)！Mistral首款開(kāi)源7B Mamba模型「埃及艷后」效果驚艷

作者：新智元 2024-07-17 13:40:01

最近，7B小模型又成為了AI巨頭們競(jìng)相追趕的潮流。繼谷歌的Gemma2 7B后，Mistral今天又發(fā)布了兩個(gè)7B模型，分別是針對(duì)STEM學(xué)科的Mathstral，以及使用Mamaba架構(gòu)的代碼模型Codestral Mamba。

Mistral又驚喜上新了！

就在今天，Mistral發(fā)布了兩款小模型：Mathstral 7B和Codestral Mamba 7B。

首先是專(zhuān)為數(shù)學(xué)推理和科學(xué)發(fā)現(xiàn)設(shè)計(jì)的Mathstral 7B。

在MATH基準(zhǔn)測(cè)試中，它獲得了56.6% pass@1的成績(jī)，比Minerva 540B提高了20%以上。Mathstral在MATH上的得分為68.4%，使用獎(jiǎng)勵(lì)模型得分為74.6%。

而代碼模型Codestral Mamba，是首批采用Mamba 2架構(gòu)的開(kāi)源模型之一。

它是可用的7B代碼模型中最佳的，使用256k token的上下文長(zhǎng)度進(jìn)行訓(xùn)練。

兩款模型均在Apache 2.0許可證下發(fā)布，目前權(quán)重都已上傳HuggingFace倉(cāng)庫(kù)。

Hugging Face地址：https://huggingface.co/mistralai

Mathstral

有趣的是，根據(jù)官宣文章，Mathstral的發(fā)布恰好慶祝了阿基米德2311周年誕辰。

Mathstral專(zhuān)為STEM學(xué)科設(shè)計(jì)，以解決需要復(fù)雜、多步驟推理的高級(jí)數(shù)學(xué)問(wèn)題。參數(shù)僅有7B，上下文窗口為32k。

而且，Mathstral的研發(fā)還有一個(gè)重量級(jí)的合作伙伴——上周剛剛在Kaggle第一屆AI奧數(shù)競(jìng)賽中得到冠軍寶座的Numina。

而且，有推特網(wǎng)友發(fā)現(xiàn)，Mathstral可以正確回答「9.·11和9.9哪個(gè)更大」這個(gè)難倒一眾大模型的問(wèn)題。

整數(shù)、小數(shù)分開(kāi)比較，思維鏈清清楚楚，可以說(shuō)是數(shù)學(xué)模型優(yōu)秀作業(yè)的典范了。

基于Mistral 7B的語(yǔ)言能力，Mathstral進(jìn)一步聚焦STEM學(xué)科。根據(jù)MMLU的學(xué)科分解結(jié)果，數(shù)學(xué)、物理、生物、化學(xué)、統(tǒng)計(jì)學(xué)、計(jì)算機(jī)科學(xué)等領(lǐng)域都是Mathstral的絕對(duì)優(yōu)勢(shì)項(xiàng)目。

根據(jù)官方博客文章的透露，Mathstral似乎犧牲了一些推理速度以換取模型性能，但從測(cè)評(píng)結(jié)果來(lái)看，這種權(quán)衡是值得的。

在多個(gè)數(shù)學(xué)、推理領(lǐng)域的基準(zhǔn)測(cè)試中，Mathstral打敗了Llama 3 8B、Gemma2 9B等流行的小模型，特別是在AMC 2023、AIME 2024這類(lèi)數(shù)學(xué)競(jìng)賽題上達(dá)到了SOTA。

而且，還可以進(jìn)一步增加推理時(shí)間以取得更好的模型效果。

如果對(duì)64個(gè)候選使用多數(shù)投票（majority voting），Mathstral在MATH上的分?jǐn)?shù)可以達(dá)到68.37%，進(jìn)一步添加額外的獎(jiǎng)勵(lì)模型，還能取得74.59%的高分。

除了HuggingFace和la Plateforme平臺(tái)，還可以調(diào)用官方發(fā)布的Mistral-finetune和Mistral Inference兩個(gè)開(kāi)源SDK，使用或微調(diào)模型。

Codestral Mamba

繼沿用Transformer架構(gòu)的Mixtral系列發(fā)布后，第一個(gè)采用Mamba2架構(gòu)的代碼生成模型Codestral Mamba也問(wèn)世了。

而且，研發(fā)過(guò)程也得到了Mamba原作者Albert Gu和Tri Dao的協(xié)助。

有趣的是，官宣文章專(zhuān)門(mén)cue到了和??有關(guān)的「埃及艷后」Cleopatra七世，她就是戲劇般地用一條毒蛇終結(jié)了自己的生命。

Mamba架構(gòu)發(fā)布后，其優(yōu)越的實(shí)驗(yàn)性能得到了廣泛的關(guān)注和看好，但由于整個(gè)AI社區(qū)在Transformer上投入了太多成本，我們至今也很少看到實(shí)際采用Mamba的工業(yè)界模型。

此時(shí)，Codestral Mamba恰好能為我們提供研究新架構(gòu)的全新視角。

Mamba架構(gòu)首發(fā)于2023年12月，兩位作者又在今年5月推出了更新版的Mamba-2。

與Transformer不同，Mamba模型具有線(xiàn)性時(shí)間推理的優(yōu)勢(shì)，并且理論上能夠建模無(wú)限長(zhǎng)度的序列。

同為7B模型，Mathstral的上下文窗口只有32k時(shí)，Codestral Mamba卻能擴(kuò)展到256k。

這種推理時(shí)間和上下文長(zhǎng)度方面的效率優(yōu)勢(shì)，以及實(shí)現(xiàn)快速響應(yīng)的潛力，在用于提升編碼效率的實(shí)際場(chǎng)景中尤為重要。

Mistral團(tuán)隊(duì)正是看到了Mamba模型的這種優(yōu)勢(shì)，因而率先嘗試。從基準(zhǔn)測(cè)試來(lái)看，7B參數(shù)的Codestral Mamba不僅比其他7B模型有明顯優(yōu)勢(shì)，甚至可以和更大規(guī)模的模型掰掰手腕。