一覺(jué)醒來(lái)，Mistral AI 又發(fā)力了。

就在今天，Mistral AI 多模態(tài)家族迎來(lái)了第二位成員：一個(gè)名為 Pixtral Large 的超大杯基礎(chǔ)模型。

這是一個(gè)基于 Mistral Large 2 構(gòu)建、124B 開(kāi)放權(quán)重的多模態(tài)模型，具備頂尖的圖像理解能力 —— 能夠看懂文檔、圖表和自然圖像，同時(shí)保持 Mistral Large 2 領(lǐng)先的純文本理解能力。

除了發(fā)布新模型，Mistral AI 還進(jìn)一步升級(jí)了免費(fèi)聊天機(jī)器人 le Chat，增加圖像生成、網(wǎng)絡(luò)搜索和交互式畫(huà)布功能，全面對(duì)標(biāo) ChatGPT。

所有這些功能，統(tǒng)統(tǒng)以免費(fèi)測(cè)試版的形式開(kāi)放。

Mistral AI 的每一次更新，都會(huì)讓整個(gè) AI 社區(qū)興奮起來(lái)。

有人感嘆：「六個(gè)月前，開(kāi)源模型和閉源模型之間的差距非常大。現(xiàn)在，最先進(jìn)的人工智能正在迅速向任何想要使用它的人開(kāi)放。」

到底有多強(qiáng)？

接下來(lái)，讓我們看看發(fā)布細(xì)節(jié)吧。

開(kāi)源多模態(tài)大模型 Pixtral Large

Pixtral Large 可根據(jù) Mistral 研究許可證 (MRL) 用于研究和教育用途，同時(shí)根據(jù) Mistral 商業(yè)許可證用于商業(yè)目的的實(shí)驗(yàn)、測(cè)試和生產(chǎn)。

Pixtral Large 前身是 2024 年夏季發(fā)布的 Mistral Large 2，以及 9 月份發(fā)布的首個(gè)多模態(tài)模型 Pixtral 12-B。關(guān)于將多模態(tài)模型擴(kuò)展到 1240 億參數(shù)的出發(fā)點(diǎn)，Mistral AI CEO 是這么說(shuō)的：「我們?cè)絹?lái)越意識(shí)到，要?jiǎng)?chuàng)造最佳的 AI 體驗(yàn)，需要共同設(shè)計(jì)模型和產(chǎn)品界面。Pixtral 在訓(xùn)練時(shí)就考慮到了高影響力的前端應(yīng)用，是一個(gè)很好的例子。」

Pixtral Large 包括一個(gè) 1230 億參數(shù)解碼器和一個(gè) 10 億參數(shù)視覺(jué)編碼器，使其在文本和視覺(jué)數(shù)據(jù)處理方面均表現(xiàn)出色。

Pixtral Large 上下文窗口為 128K，至少可以處理 30 張高分辨率圖像或大約一本 300 頁(yè)的書(shū)，這相當(dāng)于領(lǐng)先的 OpenAI GPT 系列模型的能力。

在性能方面，該模型在包括 MathVista、DocVQA 和 VQAv2 在內(nèi)的多種基準(zhǔn)上展現(xiàn)出了最先進(jìn)的性能，非常適合圖表解釋、文檔分析和圖像理解等任務(wù)。

具體而言，在 MathVista 基準(zhǔn)上，Pixtral Large 實(shí)現(xiàn)了 69.4% 的準(zhǔn)確率，優(yōu)于所有其他模型。在 ChartQA 和 DocVQA 基準(zhǔn)上， Pixtral Large 超越了 GPT-4o 和 Gemini-1.5 Pro。

Pixtral Large 在 MM-MT-Bench 上也展示了強(qiáng)有力的競(jìng)爭(zhēng)力，優(yōu)于 Claude-3.5 Sonnet（新版）、Gemini-1.5 Pro 和 GPT-4o（最新版）。

在圖像理解方面，Pixtral Large 也表現(xiàn)優(yōu)異。比如上傳一份賬單，詢問(wèn)該模型：「我買(mǎi)了咖啡和香腸，外加 18% 的小費(fèi)。我該付多少錢(qián)？」

Pixtral Large 會(huì)非常有條理地給出總消費(fèi)金額，先是計(jì)算了咖啡和香腸的費(fèi)用，2 杯拿鐵瑪奇朵、 1 份香腸 ，然后計(jì)算 18% 的小費(fèi) ，最后給出總金額。

Pixtral Large 也能準(zhǔn)確理解并分析圖表。比如對(duì)于下面的訓(xùn)練損失曲線圖，問(wèn) dark dragon 模型什么時(shí)候開(kāi)始出現(xiàn)問(wèn)題。

Pixtral Large 分析的也很準(zhǔn)確：「在達(dá)到 10,000 step 時(shí)，訓(xùn)練損失開(kāi)始出現(xiàn)不穩(wěn)定…… 隨后，這種不穩(wěn)定性持續(xù)存在，并在 20,000step 附近出現(xiàn)了另一個(gè)大的峰值……」

在接下來(lái)的示例中，上傳一張圖片，問(wèn) Pixtral Large 哪些公司使用 Mistral AI 模型？

Pixtral Large 也能根據(jù)圖片提供的信息給出準(zhǔn)確的結(jié)果，回答過(guò)程如下。

除了 Pixtral Large，Mistral AI 最先進(jìn)的文本模型 Mistral Large 也迎來(lái)了一次更新。該模型在 API 上以 pixtral-large-latest 的形式提供，在 HuggingFace 上以 Mistral Large 24.11 的形式提供。

Mistral Large 24.11 將首先在 Google Cloud 和 Microsoft Azure 上推出，預(yù)計(jì)一周內(nèi)即可使用。

• 模型和權(quán)重下載地址：https://huggingface.co/mistralai/Pixtral-Large-Instruct-2411/tree/main
• 試用地址：https://chat.mistral.ai/chat

對(duì)標(biāo) ChatGPT 大升級(jí)

le Chat 已經(jīng)強(qiáng)得可怕

Pixtral Large 的發(fā)布，也讓 le Chat 的能力上升到了一個(gè)新的高度。

le Chat 現(xiàn)在可以處理大型、復(fù)雜的 PDF 文檔和圖像，比如一篇理論文獻(xiàn)的所有內(nèi)容 —— 圖形、表格、圖表、文本、公式、方程式。

下面的例子展示了愛(ài)因斯坦、波多爾西和羅森于 1935 年撰寫(xiě)的著名量子糾纏論文的信息提取、總結(jié)和語(yǔ)義理解。

此外還有兩項(xiàng)新能力登陸 le Chat：

首先是實(shí)時(shí)的網(wǎng)絡(luò)搜索。這是一項(xiàng)關(guān)于生產(chǎn)力的升級(jí)，Mistral AI 表示，le Chat 的大部分用戶來(lái)自學(xué)生和專業(yè)人士，而這些用戶非常看重其在學(xué)習(xí)、研究和工作中的作用。

下面是一位營(yíng)銷類專業(yè)人士使用 le Chat 來(lái)評(píng)估醫(yī)療保健人工智能市場(chǎng)：

然后是新的 Canvas 界面。當(dāng)用戶需要暫時(shí)離開(kāi)對(duì)話進(jìn)行構(gòu)思時(shí)，它會(huì)彈出到 le Chat  窗口中，隨后用戶可以和 Mistral LLM 合作完成共享輸出。

從此，我們和聊天機(jī)器人的互動(dòng)不再局限于雙向?qū)υ挕＝柚?LLM 強(qiáng)大的推理能力，Canvas 可以用來(lái)創(chuàng)建文檔、演示文稿、代碼、模型等，亮點(diǎn)在于「就地修改」內(nèi)容，無(wú)需重新生成回復(fù)、版本控制草稿并預(yù)覽設(shè)計(jì)。

比如在下方演示中，是一個(gè)產(chǎn)品團(tuán)隊(duì)為準(zhǔn)備推出 Canvas 而創(chuàng)建產(chǎn)品指標(biāo)儀表板的反應(yīng)模型的視頻。

Mistral AI 與 SD 作者團(tuán)隊(duì)成立的 Black Forest Labs 也達(dá)成了合作，因此 le Chat 擁有了高質(zhì)量的圖像生成能力。

最后，如果你想馬上體驗(yàn)到 Mistral AI 最新放送的搜索、PDF 上傳、編碼、圖像生成等所有功能，請(qǐng)?jiān)L問(wèn)：http://chat.mistral.ai/