4o-mini只有8B，Claude 3.5 Sonnet有175B，微軟論文「透露」了下頂級模型參數
剛剛，X 上的一則推文受到了大家的廣泛討論，瀏覽量迅速增長。原來，OpenAI 發布的 GPT-4o-mini 居然是一個僅有 8B 參數的模型？
圖源：https://x.com/Yuchenj_UW/status/1874507299303379428
事情是這樣的。就在前幾天，微軟和華盛頓大學合作完成了一篇論文《MEDEC: A BENCHMARK FOR MEDICAL ERROR DETECTION AND CORRECTION IN CLINICAL NOTES 》。
論文地址：https://arxiv.org/pdf/2412.19260
這篇論文主要介紹了一個用于檢測和糾正臨床記錄中醫療錯誤的公開基準測試 MEDEC1，其包含 3,848 個臨床文本。論文描述了數據創建方法，并評估了近期的 LLMs（例如 o1-preview、GPT-4、Claude 3.5 Sonnet 和 Gemini 2.0 Flash）在檢測和糾正需要醫學知識和推理能力的醫療錯誤任務上的表現。
因為要進行實驗，因而在論文實驗部分出現了眾多模型的參數量，如下所示。
此前，有些模型的參數量都是未知的，也是大家比較好奇的。
此外，在這部分內容底下，微軟還列出了一句聲明「大多數模型參數的數量是估計的」。
通過這張圖，我們不難發現，除了 GPT-4o-mini，大家還發現了其他模型的大小，比如：
- Claude 3.5 Sonnet: 175B；
- GPT-4: 1.76T；
- GPT-4o: 200B；
- o1-preview: 300B；
- o1-mini: 200B。
結果部分也是將模型參數分為多個等級：
但是在這個推文下面大家討論的非常激烈，主要圍繞微軟對模型大小的估計到底準不準確。
前面我們已經提到，模型參數都是估計出來的。因此有網友表示「就算微軟確實知道，但并不代表微軟 99% 的員工都知道?！埂赣?98% 的可能性是他們只是微軟雇傭的研究人員，但與有權訪問 OpenAI 的團隊沒有任何聯系?！?/span>
「感覺這些數字只是作者的猜測，因為他們沒有解釋他們是如何估計的。」不過這位網友強調的這一點，論文確實說明了參數是估計的。
還有網友表示這篇論文將 Claude 3.5 Sonnet 估計為 175B 有點扯。
「Claude 不可能只有 175B，我敢打賭它接近這個數字的兩倍。尤其是自 deepseek-v3 發布以來，其內存大小達到 671B，而 Claude 的表現輕松超越了后者。」
「我敢打賭 4o-mini 是一個 MoE 模型，總共有大約 400 億個參數，可能有 80 億個激活參數。我發現它比 80 億個模型擁有更多的知識（當詢問事實時），同時速度相當快?！?/span>
還有網友認為這是一個合理的猜測。消息畢竟出自微軟。
討論來討論去，最后的結論依然是沒有結論，你怎么看這篇論文給出的數據呢？
