OpenAI o1，在IQ測試中拿到了第一名！

大佬Maxim Lott，給o1、Claude-3 Opus、Gemini、GPT-4、Grok-2、Llama-3.1等進行了智商測試，結果表明，o1穩居第一名。

緊隨其后的，就是Claude-3 Opus和Bing Copilot，分別取得了第二名和第三名。

注意，這套智商測試題，屬于門薩會員的離線智商測試，不在任何AI訓練數據中，因此結果非常具有參考性。

圖片

著名數學家陶哲軒也對o1進行了實測，發現自己向模型提出一個措辭模糊的數學問題后，它竟然能成功識別出克萊姆定理。

圖片

更巧的是，就在o1發布之后，OpenAI的研究副總裁Mark Chen發表觀點稱：如今的大型神經網絡，可能已經具有足夠的算力，在測試中表現出一些意識了。

圖片

相信AI具有意識的行業領導者，如今已經有了一串長長的名單，包括但不限于——

1. Geoffrey Hinton（人工智能教父，被引用次數最多的AI科學家）
2. Ilya Sutskever（被引次數第三多的AI科學家）
3. Andrej Karpathy

圖片

如今，業內許多人都相信AI具有意識，而且正在等待「奧弗頓之窗」進一步打開，從而使公眾愿意接受這一點。

甚至有人預言：在2024/2025年，AI一定會具有意識，因為如今模型的行為已經明顯表現出感知能力了。

圖片

有網友發現，o1不僅是對經驗性的STEM學科很強，它甚至能夠假設出一種全新的意識理論。

圖片

圖片

有人覺得，o1向無限推理模型邁出的一小步，已經具備意識的雛形。

圖片

陶哲軒：o1竟能識別出克萊姆定理

而在實測中，陶哲軒發現：o1模型在數學方面的的性能更強了！

圖片

首先，他提出了一個措辭模糊的數學問題，如果能搜索文獻并找到合適的定理，即克萊姆定理（Cramer's theorem），就可以解決這個問題。

之前的實驗中，GPT能夠提到一些相關概念，但細節都是胡編亂造的無意義內容。

而這一次，o1成功識別出了克萊姆定理，并給出了令人滿意的答案。

圖片

完整回答：https://shorturl.at/wwRu2

在下面這個例子中，提出的問題是更有挑戰性的復變函數分析，結果同樣好于之前的GPT系列模型。

在有大量提示詞和引導的情況下，o1能輸出正確且表述良好的解決方案，但不足之處在于無法自行產生關鍵的概念性想法，而且犯了明顯錯誤。

陶哲軒形容，這種體驗大致相當于指導一個能力一般但也能勝任部分工作的研究生，GPT給人的感覺則是一個完全無法勝任工作的學生。

可能只需要經過一兩次迭代，再加上其他工具的集成，比如計算機代數包和證明輔助工具，就能讓o1模型蛻變為「稱職的研究生」，屆時這個模型將在研究任務中發揮重要作用。

圖片

完整回答：https://shorturl.at/ZrJyK

圖片

圖片

第三個實驗中，陶哲軒要求o1模型在證明輔助工具Lean中形式化一個定理，需要先將其分解為子引理并給出形式化表述，但不需要給出證明。

定理的內容，具體來說，是將素數定理的一種形式建立為另一種形式的推論。

實驗結果也很不錯，因為模型理解了這個任務，并對問題進行了合理的初步分解。

然而，可能是因為訓練數據中缺乏關于Lean及其數學函數庫的最新數據，生成的代碼中也有幾處錯誤。

盡管仍有缺陷，但這次實驗結果已經能讓人預見到o1在數學研究中的實際應用。

類似的模型如果針對Lean和Mathlib進行微調，并集成到集成開發環境（IDE）中，在形式化項目中將會發揮極大的作用。

在之前的多次演講中，陶哲軒曾反復強調過AI工具在定理形式化中的應用，看來大神的預言又會成真了。

圖片

完整回答：https://shorturl.at/OGtjt

計算機教授用動畫揭秘：o1如何花更多時間思考？

o1學會用CoT思考更長時間的過程中，究竟是取得了哪些重要突破，才造成了關鍵性的提升？目前我們只能從已有信息中做一些猜測。

比如，基于已有信息和自己的理解，科羅拉多大學博爾德分校計算機教授Tom Yeh就專門制作了一個動畫，講解OpenAI是如何訓練o1模型花更多時間思考的。

圖片

關于訓練，報告中有非常簡短的一句話：

「通過強化學習，o1 學會了磨練其思維鏈并改進策略?！?/span>

這句話中的兩個關鍵詞是：強化學習（RL）和思維鏈（CoT）。

• 在RLHF+CoT中，CoT token也會被輸入到獎勵模型中來獲得分數，以更新LLM，從而實現更好的對齊；而在傳統的RLHF中，輸入只包含提示詞和模型響應。
• 在推理階段，模型學會了先生成CoT token（可能需要長達30秒的時間），然后才開始生成最終響應。這就是模型如何花更多時間去「思考」的方式。

在報告列出的貢獻者中，有兩個人值得關注：

• Ilya Sutskever，基于人類反饋的強化學習（RLHF）的發明者，出現他的名字意味訓練o1模型時仍然用到了RLHF。
• Jason Wei，著名的思維鏈論文的作者。他去年離開Google Brain加入了OpenAI。他的出現意味著CoT現在是RLHF對齊過程的重要組成部分。

不過，有很多重要的技術細節OpenAI并沒有透露，比如獎勵模型是如何訓練的，如何獲取人類對「思考過程」的偏好等等。

圖片

免責聲明：動畫僅代表教授的合理推測，并不保證準確性

團隊分享慶功視頻，分享「啊哈」時刻

關于研究中取得重要突破的瞬間，在下面這個視頻中，給了我們更多線索。

在發布o1模型后，團隊發布了背后團隊一起制作的視頻。

在視頻中，有人表示，自己覺得研究中最酷的就是那個「啊哈」時刻了。

在某個特定的時間點，研究發生了意想不到的突破，一切忽然就變得很明了，仿佛頓悟一般靈光乍現。

所以，團隊成員們分別經歷了怎樣的「啊哈」時刻呢？

圖片

有人說，他感覺到在訓練模型的過程中，有一個關鍵的時刻，就是當他們投入了比以前更多的算力，首次生成了非常連貫的CoT。

就在這一刻，所有人都驚喜交加：很明顯，這個模型跟以前的有著明顯的區別。

圖片

還有人表示，當考慮到訓練一個具備推理能力的模型時，首先會想到的，是讓人類記錄其思維過程，據此進行訓練。

對他來說，啊哈時刻就是當他發現通過強化學習訓練模型生成、優化CoT，效果甚至比人類寫的CoT還好的那一刻。

這一時刻表明，我們可以通過這種方式擴展和探索模型的推理能力。

圖片

這一位研究者說，自己一直在努力提升模型解決數學問題的能力。

讓他很沮喪的是，每次生成結果后，模型似乎從不質疑自己做錯了什么。

然而，當訓練其中一個早期的o1模型時，他們驚奇地發現，模型在數學測試中的得分忽然有了顯著提升。

而且，研究者們可以看到模型的研究過程了——它開始自我反思、質疑自己。

他驚嘆道：我們終于做出了不一樣的東西！

這種感受極其強烈，那一瞬間，仿佛所有東西都匯聚到了一起。

圖片

Open o1團隊開放團隊問答，直面質疑

大家對o1模型的細節都有諸多疑問，因此，OpenAI o1團隊也表示，將在X上組織一個AMA（Ask Me Anything）的活動，通過下方評論和用戶互動。

圖片

網友們非常踴躍，提出了諸多關鍵細節問題。

比如，有沒有辦法強迫模型，讓它思考的時間長一點？

圖片

圖片

團隊的回答是：目前還沒有這個選項，但會考慮改進，讓用戶更好地控制模型思考的時間。

圖片

有人向Jason Wei提問道：在o1范式下見過什么逆縮放示例，看到模型變得更差？此外，他還質疑目前的基準測試排名缺乏足夠的證據。

圖片

Jason Wei回答說，自己并不知道，相信其他人見過。在某些類型的提示下，OpenAI o1-preview似乎并不比GPT-4o好多少，甚至還稍差一些。

而對于LLM排行榜如何公平比較的問題，Jason Wei表示自己也不知道。但他可以肯定：無論怎樣努力地提示GPT-4o，都不可能讓它獲得IOI金牌。

圖片

還有人提出了一個很多人都感到困惑的問題：o1究竟是不是一個在幕后運行CoT，然后提供答案或模型的系統呢？它是否使用了特殊token進行推理，在輸出時隱藏了這些token？

圖片

Noam Brown回答說，自己不會說o1是一個系統，它是一個模型，但與之前的模型不同。這個回答，看起來有點語焉不詳。

圖片

還有人采訪道：o1表現出的最令人深刻的一點是什么？

圖片

Noam Brown回答說，自己給模型下指令讓它自己回答這個問題。

在CoT中，模型開始自己給自己出難題測試自己，來確定自己的能力水平。一個模型會這么做，就足夠讓人印象深刻的了。

圖片

Hyung Won Chung則表示，模型對哲學問題的思考過程頗為引人入勝。比如，生命是什么？

圖片

活動結束后，大V「Tibor Blaho」專門寫了一篇總結，對于團隊的回答，做出了簡明扼要的概括——

圖片

模型名稱和推理范式

• OpenAI o1的命名代表了AI能力的新水平；計數器重置為1
• 「Preview」表示這是完整模型的早期版本
• 「Mini」意味著這是o1模型的較小版本，針對速度進行了優化
• 「o」代表OpenAI
• o1不是一個「系統」；它是一個經過訓練的模型，在返回最終答案之前生成長思維鏈
• o1的圖標象征性地表示為一個具有非凡能力的外星生命

o1模型的規模和性能

• o1-mini比o1-preview小得多且更快，因此未來將提供給免費用戶
• o1-preview是o1模型的早期檢查點，既不大也不小
• o1-mini在STEM任務中表現更好，但世界知識有限
• 相比o1-preview，o1-mini在某些任務中表現出色，尤其是與代碼相關的
• o1的輸入token計算方式與GPT-4o相同，使用相同的分詞器（tokenizer）
• o1-mini能夠探索比o1-preview更多的思維鏈

輸入token上下文和模型能力

• o1模型即將支持更大的輸入上下文
• o1模型可以處理更長、更開放式的任務，與GPT-4o相比，減少了對輸入分塊的需求
• o1可以在提供答案之前生成長思維鏈，這與之前的模型不同
• 目前還沒有辦法在思維鏈推理過程中暫停以添加更多上下文，但正在為未來的模型探索這一功能

工具、功能和即將推出的特性

• o1-preview目前還不能使用工具，但計劃支持函數調用、代碼解釋器和瀏覽功能
• 工具支持、結構化輸出和系統提示將在未來更新中添加
• 用戶可能會在未來版本中獲得對思考時間和token限制的控制權
• 計劃在API中啟用流式處理并考慮推理進度
• 多模態能力已內置于o1中，可以在MMMU等任務中實現SOTA的性能

思維鏈（CoT）推理

• o1會在推理過程中生成隱藏的思維鏈
• 沒有計劃向API用戶或ChatGPT透露思維鏈token
• 思維鏈token被總結，但不保證忠實于實際推理過程
• 提示詞中的指令可以影響模型如何思考問題
• 強化學習（RL）被用來改善o1中的思維鏈，僅依靠提示的GPT-4o在性能上無法匹敵
• 思考階段看起來較慢是因為它總結了思考過程，而答案的生成通常更快

API和使用限制

• o1-mini對ChatGPT Plus用戶有每周50次提示的限制
• 在ChatGPT中，所有提示詞的計數是相同的
• 隨著時間的推移，將推出更多API訪問層級和更高的使用限制
• API中的提示緩存是一個很受歡迎的需求，但目前還沒有時間表

定價、微調和擴展

• o1模型的定價預計將遵循每1-2年降價的趨勢
• 一旦使用限制提高，將支持批量API定價
• 微調在路線圖上，但目前還沒有時間表
• o1的擴展受到研究和工程人才的限制
• 推理計算的新擴展范式可能會為未來幾代模型帶來顯著收益
• 反向擴展目前還不顯著，但個人寫作提示顯示o1-preview的表現僅略優于GPT-4o（甚至略差）

模型開發和研究洞察

• o1使用強化學習進行訓練從而實現推理能力
• o1在詩歌等橫向任務中展現出了創造性思維和強大的性能
• o1的哲學推理和泛化能力，如破譯密碼，令人印象深刻
• 研究人員使用o1創建了一個GitHub機器人，可以ping正確的CODEOWNERS進行審核
• 在內部測試中，o1通過自問難題來衡量其能力
• 正在添加廣泛的世界領域知識，并將在未來版本中改進
• 計劃在o1-mini的未來迭代中使用更新的數據（目前為2023年10月）

提示技巧和最佳實踐

• o1受益于提供邊緣案例或推理風格的提示
• 與早期模型相比，o1對提示中的推理線索更敏感
• 在檢索增強生成（RAG）中提供相關上下文可以提高性能；不相關的塊會對推理產生負面影響

一般反饋和未來改進

• 由于還處在早期測試階段，o1-preview的使用限制較低，但之后會有所增加
• 正在積極改進延遲和推理時間

卓越的模型能力

• o1能夠思考「生命是什么？」這類哲學問題
• 研究人員發現o1在處理復雜任務和從有限指令中泛化的能力令人印象深刻
• o1的創造性推理能力，如自問自答以衡量其能力，展示了其高水平的問題解決能力

圖片

參考資料：

https://mathstodon.xyz/@tao/109945628011027107

https://twitter-thread.com/t/1834686946846597281

https://x.com/ProfTomYeh/status/1834617696215806285

https://x.com/markchen90/status/1834623248610521523