推理性能直逼o1,DeepSeek再次出手,重點:即將開源
DeepSeek 又出手了,這次又是重磅炸彈。
昨晚,DeepSeek 上線了全新的推理模型 DeepSeek-R1-Lite-Preview ,直接沖擊 OpenAI o1 保持了兩個多月的大模型霸主地位。
在美國數學競賽(AMC)中難度等級最高的 AIME 以及全球頂級編程競賽(codeforces)等權威評測中,DeepSeek-R1-Lite-Preview 模型已經大幅超越了 GPT-4o 等頂尖模型,有三項成績還領先于 OpenAI o1-preview。
背后的秘訣,就是「深度思考」。
更多的強化學習、原生的思維鏈、更長的推理時間,能讓大模型的性能更強,這在領域內已經是廣泛共識。這種模式其實非常像人類大腦的深度思考。
與 OpenAI o1 有點不一樣的是,DeepSeek-R1-Lite-Preview 會在回復中展示「思路鏈」推理,也就是響應查詢和輸入的不同鏈或「思路」,并解釋它在做什么以及為什么這樣做。
就像是解題時,有人喜歡將每一步驟都詳盡地寫在卷子上,而 DeepSeek-R1-Lite-Preview 更進一步:把內心 OS 也都寫出來了。
DeepSeek 官方表示,DeepSeek R1 系列模型使用強化學習訓練,推理過程包含大量反思和驗證,思維鏈長度可達數萬字。已經發布的 DeepSeek-R1-Lite-Preview 使用的是一個較小的基座模型,尚未完全釋放長思維鏈的潛力。
對于用戶的 Prompt,DeepSeek-R1-Lite-Preview 會有一個很長的推理過程。如上圖中的紅色實線所示,模型所能達到的準確率與所給定的推理長度呈正相關。且相比于傳統的多次采樣 + 投票(Majority Voting),模型思維鏈長度增加展現出了更高的效率。
最驚艷的是,發布即上線:所有用戶均可通過官網開啟與 DeepSeek-R1-Lite-Preview 的對話,但注意要先在輸入框中打開「深度思考」模式,每天限制 50 次使用。
體驗地址:http://chat.deepseek.com/
不得不說,對 o1 直接發起沖擊的 DeepSeek,著實讓國內 AI 社區振奮了一把:
圖源:https://www.zhihu.com/question/4689435060/answer/36575793425
由于 DeepSeek-R1-Lite-Preview 目前僅支持網頁使用,沒有發布完整代碼供獨立第三方分析或基準測試,也沒有通過 API 提供 DeepSeek-R1-Lite-Preview 以進行同類獨立測試,也沒有解釋 DeepSeek-R1-Lite-Preview 是如何訓練或構建的博客文章或技術論文,大家心中其實還有許多的「問號」。
但 DeepSeek 已經表示,正式版 DeepSeek-R1 模型會完全開源,還會公開技術報告,部署 API 服務。
圖源:https://www.zhihu.com/question/4689435060/answer/36604051127
回想起上一次,DeepSeek-V2 的開源和 API 降價,直接引發了國產大模型廠商的降價浪潮。同樣的力度再來一波,不知道大家如何頂住。
耐心等待的時間里,我們先來實測一下。
一手實測體驗
與 OpenAI o1 相同的是,根據問題的復雜程度,它也需要「思考」數十秒后再回答。
雖然有些過程中的思路在人類看來可能毫無意義,甚至是錯誤的,但據初步測評,DeepSeek-R1-Lite-Preview 回復的最終整體準確率還是比較高的。
比如它可以回答 GPT-4o 和 Claude 系列都翻車過的問題 —— 經典陷阱題「Strawberry 這個詞中有多少個字母 R?」和「9.11 和 9.9 哪個更大?」。
有用戶在 DeepSeek Chat 上使用這些 Prompt 進行測試,回復結果和思考用時情況如下:
Strawberry 這個詞中有多少個字母 R?用時 29 秒。
9.11 和 9.9 哪個更大?用時 9 秒。
不過在數草莓的問題上,R1-Lite-Preview 有時也會困惑,數出「只有 2 個 r」的答案:
機器之心也實測了一把,似乎對于中文,R1-Lite-Preview 的準確率更高:
對于需要動腦的問題,R1-Lite-Preview 的表現也可圈可點,比如它可以破解行測題的邏輯陷阱:
由 LeCun 提出的物理題:圓周上均勻分布了 7 根軸,每根軸上都有一個齒輪。每個齒輪都與其左邊和右邊的齒輪嚙合。齒輪從 1 到 7 編號,依次沿圓周排列。問題是:如果齒輪 3 順時針旋轉,問齒輪 7 會沿什么方向旋轉?
得出解來十分絲滑:
接下來,給 R1-Lite-Preview 上點強度,看看它能否笑對大學物理的噩夢:《電磁學千題解》。
在 34 秒內,它根據題意列出了對應的公式,得到了正確答案:
至于 R1-Lite-Preview 被全球頂級編程競賽(codeforces)等權威評測檢驗過的代碼能力,讓它手撕大廠秋招級別的 Leetcode 經典題「島嶼問題」試一下:
運行起來也沒大問題。
然而,相比推理、物理和編程,R1-Lite-Preview 的數學能力可能沒那么讓人放心。
比如科技博主 @Transformer - 周問了一道中學水平的數列題,只有 o1 和 o1mini 做對了,R1-Lite-Preview 沒想出關鍵的破題思路,而是「蒙」出了答案。
而對于最能考驗人類大腦的深度思考能力的 IMO 國際數學奧林匹克競賽試題,R1-Lite-Preview 的表現是這樣的:
這道代數題相當難,全球僅有 5 個人全對。在長達 162 秒的思考過程中,R1-Lite-Preview 洋洋灑灑地把解題思路寫成了一篇小論文,可能它的老師也教過 —— 把解題過程寫上能得一半分。
令人遺憾的是,最終答案 c=1 是錯的,正確答案如下:
而另一位「解題過程沒寫全」的選手 OpenAI o1 卻給出了正確答案:
這說明,DeepSeek-R1-Lite-Preview 仍有進步空間,也更讓我們期待完整版模型的發布了。