單個(gè)4090就能跑，Mistral開(kāi)源多模態(tài)小模型，開(kāi)發(fā)者：用來(lái)構(gòu)建推理模型足夠香

作者：機(jī)器之心 2025-03-19 09:00:00

多模態(tài)，性能超 GPT-4o Mini、Gemma 3，還能在單個(gè) RTX 4090 上運(yùn)行，這個(gè)小模型值得一試。

小模型正在變得越來(lái)越好，而且越來(lái)越便宜。

剛剛，法國(guó) AI 創(chuàng)企 Mistral AI 開(kāi)源了一個(gè) 24B 的多模態(tài)小模型，該模型在多個(gè)基準(zhǔn)上擊敗了 Gemma 3 和 GPT-4o Mini 等同類(lèi)模型，而且推理速度達(dá)到了 150 個(gè) token / 秒，稱(chēng)得上是又好又快。

重要的是，它只需要一個(gè) RTX 4090 或 32GB RAM 的 Mac 就能運(yùn)行，而且開(kāi)源協(xié)議是 Apache 2.0，因此既能用于研究，也能商用。

具體來(lái)說(shuō)，Mistral Small 3.1 是基于 Mistral Small 3 構(gòu)建的。與 Mistral Small 3 相比，它的上下文窗口更大，達(dá)到了 128k（Mistral Small 3 僅為 32k），文本生成能力得到了改進(jìn)，還新增了視覺(jué)能力。

Mistral 官方表示，Mistral Small 3.1 是一款多功能模型，旨在處理各種生成式 AI 任務(wù)，包括指令遵循、對(duì)話輔助、圖像理解和函數(shù)調(diào)用。它為企業(yè)級(jí)和消費(fèi)級(jí) AI 應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)。

目前，部分開(kāi)發(fā)者已經(jīng)在自己的設(shè)備上完成了部署，并曬出了體驗(yàn)效果：

Mistral Small 3.1 可在 huggingface 網(wǎng)站 Mistral Small 3.1 Base 和 Mistral Small 3.1 Instruct 上下載。

Mistral Small 3.1 Base：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Base-2503
Mistral Small 3.1 Instruct：https://huggingface.co/mistralai/Mistral-Small-3.1-24B-Instruct-2503

以下是該模型的詳細(xì)信息。

核心特性

Mistral Small 3.1 具有以下特點(diǎn)：

輕量級(jí)：可以在單個(gè) RTX 4090 或具有 32GB RAM 的 Mac 上運(yùn)行。這使其非常適合端側(cè)使用情況。
快速響應(yīng)能力：非常適合虛擬助手和其他需要快速、準(zhǔn)確響應(yīng)的應(yīng)用程序。
低延遲函數(shù)調(diào)用：能夠在自動(dòng)化或智能體工作流中快速執(zhí)行函數(shù)。
針對(duì)專(zhuān)業(yè)領(lǐng)域進(jìn)行微調(diào)：Mistral Small 3.1 可以針對(duì)特定領(lǐng)域進(jìn)行微調(diào)，打造精準(zhǔn)的主題專(zhuān)家。這在法律咨詢、醫(yī)療診斷和技術(shù)支持等領(lǐng)域尤其有用。
高級(jí)推理的基礎(chǔ)：開(kāi)放的 Mistral 模型已經(jīng)被開(kāi)發(fā)者用來(lái)構(gòu)建出色的推理模型，比如 Nous Research 的 DeepHermes 24B 就是基于 Mistral Small 3 構(gòu)建出來(lái)的。為了鼓勵(lì)這種創(chuàng)新，Mistral AI 發(fā)布了 Mistral Small 3.1 的基礎(chǔ)模型和指令檢查點(diǎn)，以便社區(qū)進(jìn)一步對(duì)模型進(jìn)行下游定制。