OpenAI推出的滿血O3“跑分”（Benchmark）貌似又被獨(dú)立測試揭穿是刷榜了，而奇怪的測試基準(zhǔn)數(shù)據(jù)可能就是o3降智和幻覺倍增的原因？

你可能要問了，一個數(shù)學(xué)基準(zhǔn)測試，與降智和幻覺有什么關(guān)系？

事情要從去年12月說起。OpenAI隆重推出O3模型時，公布了一個當(dāng)時看來非常驚人的成績：在專門針對數(shù)學(xué)問題的挑戰(zhàn)性基準(zhǔn)測試 FrontierMath 上，O3的得分超過了 25%！

這個成績有多厲害？要知道，當(dāng)時的頂尖模型在這個榜單上也只能勉強(qiáng)達(dá)到約 2%。OpenAI O3的這個數(shù)字，基本上是斷崖式領(lǐng)先。

真實(shí)成績只有10%...？

然而，Epoch AI （ FrontierMath測試基準(zhǔn)公司）這兩天發(fā)布了他們對 滿血版O3 的獨(dú)立測試結(jié)果。

這一測不要緊，結(jié)果卻讓人大跌眼鏡：Epoch發(fā)現(xiàn)，滿血O3在同一基準(zhǔn)測試上的得分竟然只有約 10%！ 這個分?jǐn)?shù)，雖然相對其他模型依然有優(yōu)勢，但和OpenAI最初那個25%+的“王牌”表現(xiàn)相比，差距可不是一點(diǎn)半點(diǎn)。Epoch直言，這個分?jǐn)?shù)遠(yuǎn)低于OpenAI最初公布的最高成績，測試成績放在o3mini high和o4 mini當(dāng)中看起來很奇怪，滿血的o3竟然不如早先發(fā)布的o3 mini high。

為什么會有這么大的差距？原因找到了

根據(jù)Epoch和相關(guān)方的說法，主要有幾點(diǎn)：

測試環(huán)境與方法不同： Epoch 提到，OpenAI最初公布的那個高分，可能是在更強(qiáng)大的內(nèi)部計算環(huán)境、或使用了更復(fù)雜的測試時間計算資源（比如多輪思考、內(nèi)部推理鏈等）下得出的。這就像運(yùn)動員平時訓(xùn)練時有教練指導(dǎo)、使用輔助器材，和正式比賽時的表現(xiàn)可能不一樣。

測試數(shù)據(jù)集不同： FrontierMath 基準(zhǔn)測試本身也在更新。OpenAI最初可能使用了包含180道問題的舊版數(shù)據(jù)集進(jìn)行測試，而Epoch測試的是包含290道問題的新版數(shù)據(jù)集。題目難度和數(shù)量變了，分?jǐn)?shù)自然可能不一樣。

模型版本不同： 這是最關(guān)鍵的一點(diǎn)！據(jù)ARC Prize基金會等機(jī)構(gòu)透露（他們也測試過O3的預(yù)發(fā)布版本），OpenAI 公開發(fā)布給用戶使用的 O3 模型，特別是針對聊天和產(chǎn)品應(yīng)用進(jìn)行過優(yōu)化的版本，與OpenAI最初用于跑分的那個性能更強(qiáng)的預(yù)發(fā)布版本是“不同的模型”。簡單來說，公開版的計算層級（可以理解為模型的“大小”或“算力”）更小。通常來說，計算層級更大的模型能獲得更好的跑分成績。

定位不同： OpenAI技術(shù)人員Wenda Zhou也在一次直播中解釋說，公開發(fā)布的O3是針對成本效率和通用性進(jìn)行了優(yōu)化，以便更好地服務(wù)于實(shí)際應(yīng)用。因此，它的表現(xiàn)可能與純粹追求最高跑分、不計成本的演示版本存在“基準(zhǔn)測試差異”。

寫在最后

看起來這個所謂的滿血版的o3也是一個優(yōu)化的版本，一切都可以說通了，本來滿血o3是要被整合到GPT5里邊的，但是由于deepseek的沖擊，還有成本等原因，最終奧特曼還是改變了注意，優(yōu)化版o3還是單獨(dú)推出了，有可能更好的模型被雪藏了，個人揣測這可能就是o3降智和幻覺增加的原因。