昨晚，OpenAI 突然上線新模型 GPT-4o mini， 聲稱要全面取代 GPT-3.5 Turbo。

在性能方面，GPT-4o mini 在 MMLU 上的得分為 82%，在 LMSYS 排行榜的聊天方面分數優于 GPT-4。

在價格方面，GPT-4o mini 比之前的 SOTA 模型便宜一個數量級，商用價格是每百萬輸入 token 15 美分，每百萬輸出 token 60 美分，比 GPT-3.5 Turbo 便宜 60% 以上。

OpenAI 表示，ChatGPT 的免費版、Plus 版和 Team 用戶將能夠從周四開始訪問 GPT-4o mini（其知識截至 2023 年 10 月），以代替 GPT-3.5 Turbo，企業用戶可以從下周開始訪問。

目前，GPT-4o mini 在 WildBench 測試上排名第九，優于谷歌的 Gemini-flash 以及 Anthropic 的 Claude 3 Haiku。

在今天的凌晨的文章中，我們已經介紹了 GPT-4o mini 的一些基本情況（參見《GPT-4o Mini 深夜突發：即刻免費上線，API 降價 60%》）。在這篇文章中，我們將補充介紹模型的實際使用體驗以及這份工作背后的研究者。

GPT-4o mini 一手評測

在 GPT-4o mini 開放測試的第一時間，我們問了它一個最近比較熱門的話題，9.11 和 9.9 哪個大，很遺憾，GPT-4o mini 依然沒有答對，還一本正經地回答 0.11>0.9。

接著我們在 Poe（Quora 開發的應用程序，已經集成了 GPT-4o mini）中輸入人物傳記電影《Eno》的設計封面，讓兩個模型解讀，結果 mini 翻車了。GPT-4o mini 直接表示「自己認不出照片上的人。」

與之相對的，GPT-4o 的回答就比較準確。「這張圖片看起來像是一幅拼貼畫，由一張照片的多個碎片組成，照片中是一位留著白胡子、身穿亮粉色襯衫的老人。這幅圖由同一張照片的不同部分創造性地排列而成，產生了馬賽克或拼圖般的效果。照片中的男子表情若有所思，手撫摸著臉。」

接著我們又測試了另一個問題：在客廳的桌子上放著一個杯子，杯子里有一個戒指。這個杯子被移到了書房的桌子上，然后移到了臥室的床上。在那里，杯子被翻倒了一次，然后又恢復了原樣。之后，杯子被放回了客廳的桌子上。那么，現在戒指在哪里呢？如果我們分開問，答案不一樣，GPT-4o 似乎更聰明點。

但是，如果我們一起發問，它們的答案又會變得雷同：

GPT-4o mini 回答數學題的表現如何呢？機器之心用丘成桐少年班 2024 年選拔試題測試了一下它解決數學問題的能力。

雖然 GPT-4o mini 對問題的解讀都比較清晰，但在分析過程中出現「胡言亂語」的邏輯錯誤，像極了上數學課根本聽不懂但硬答的學生。

不過也不必著急，畢竟 GPT-4o 的回答更不理想，它甚至沒有看懂數字表示的是正方形的邊長。

在文字的總結能力上，GPT-4o mini 與 GPT-4o 的能力不相上下。都能將重點信息進行抓取，但 GPT-4o 的回答更顯條理。

不過主打「Faster for everyday tasks」的 GPT-4o mini，響應速度確實對得起「Faster」之稱。和它對話，幾乎無需等待，輸出速度也是快得離譜。

日本網友用 GPT-4o mini 搭建了一款 AI 聊天機器人，響應速度依然快得驚人。

來自推特 @maKunugi

還有網友將 GPT-4o  和 GPT-4o  mini 輸出速度進行了對比，GPT-4o  mini 明顯更快：

來自推特 @moz_ai_tech

從大家體驗效果上來看，GPT-4o  mini 主打一個字「快」，但實際使用體驗可能還是差了一些。

作者介紹

隨著 GPT-4o mini 的發布，很多人表示 OpenAI 又一次給大家帶來了一點點震撼。其實，這背后是一群年輕的學者，還有多位華人的身影。

GPT-4o mini 項目負責人是 Mianna Chen。

Mianna Chen 于去年 12 月加入 OpenAI，此前在谷歌 DeepMind 任產品主管。

她在普林斯頓大學獲得學士學位，2020 年獲得賓夕法尼亞大學沃頓商學院 MBA 學位。

該項目的其他領導者還包括 Jacob Menick、Kevin Lu、Shengjia Zhao、Eric Wallace、Hongyu Ren、Haitang Hu、Nick Stathas、Felipe Petroski Such。

Kevin Lu 是 OpenAI 的一名研究員，2021 年畢業于加州大學伯克利分校。曾與強化學習大牛 Pieter Abbeel 等人一起研究強化學習和序列建模。

Shengjia Zhao 于 2022 年 6 月加入，現在是 OpenAI 的一名研究科學家，主攻 ChatGPT。他的主要研究方向是大語言模型的訓練和校準。此前，他本科畢業于清華大學，博士畢業于斯坦福大學。

Hongyu Ren 在去年 7 月加入，現在是 OpenAI 的一名研究科學家，他還是 GPT-4o 的核心貢獻者，并致力于 GPT-Next 的研究。Hongyu Ren 本科畢業于北京大學、博士畢業于斯坦福大學。此前，他在蘋果、谷歌、英偉達、微軟等工作過。

Haitang Hu 于去年 9 月加入 OpenAI，曾任職于谷歌。他本科畢業于同濟大學、碩士畢業于霍普金斯約翰大學。

Karpathy：模型變小是自然趨勢

這次，OpenAI 還是發了 GPT-4 的衍生模型。所以很多人還是會問：GPT-5 啥時候來？

這個問題目前沒有官方信息。但從 OpenAI 等 AI 巨頭紛紛發布小模型的動作來看，小模型正在成為一個新戰場。

OpenAI 創始成員 Karpathy 對此表示，「LLM 模型大小競爭正在加劇…… 但方向是相反的」！

我敢打賭，我們會看到非常小的模型，它們思考得非常好，而且非常可靠。甚至 GPT-2 參數的設置很可能會讓大多數人認為 GPT-2 很智能。

當前模型如此之大的原因在于我們在訓練過程中表現得很浪費 —— 我們要求 LLM 記住互聯網上的整個內容，令人驚訝的是，它們確實可以做到，例如背誦常用數字的 SHA 哈希值，或者回憶起非常深奧的事實。（實際上，LLM 非常擅長記憶，比人類好得多，有時只需要一次更新就可以長時間記住很多細節）。

但想象一下，如果你要接受閉卷考試，考卷要求你根據前幾句話背誦互聯網上的任意段落。這是當今模型的（預）訓練目標。想要做的更好，面臨著一個難點，在訓練數據中，思考的展示與知識「交織」在一起的。

因此，模型必須先變大，然后才能變小，因為我們需要它們（自動化）的幫助來重構和塑造訓練數據，使其成為理想的合成格式。

這是一個改進的階梯 —— 一個模型幫助生成下一個模型的訓練數據，直到我們得到「完美的訓練集」。當你用 GPT-2 對其進行訓練時，按照今天的標準， 它會成為一個非常強大、智能的模型。也許它在 MMLU（大規模多任務語言理解） 方面會低一點，因為它不會完美地記住所有的細節。也許它偶爾需要查找一下，以確保信息的準確性。

按照 Karpathy 的說法，以后小模型會變得越來越多，越來越好用。這個領域的競爭會有多激烈？我們拭目以待。