OpenAI 發(fā)布GPT-4.5：更大規(guī)模、更知識(shí)淵博的模型，預(yù)訓(xùn)練的巔峰之作，COT升級(jí)為COD
OpenAI 昨晚宣布推出其最新的預(yù)訓(xùn)練模型 GPT-4.5，這是一款在規(guī)模和知識(shí)水平上均達(dá)到新高度的產(chǎn)品，被OpenAI譽(yù)為其“迄今為止最大、知識(shí)最淵博的模型”，標(biāo)志著無(wú)監(jiān)督學(xué)習(xí)的又一次重大飛躍。 GPT-4.5 目前作為研究預(yù)覽版，向 ChatGPT Pro 用戶(hù)和開(kāi)發(fā)者開(kāi)放，預(yù)計(jì)下周將向 Plus 用戶(hù)和其他用戶(hù)開(kāi)放。
核心更新與特點(diǎn)
- 預(yù)訓(xùn)練規(guī)模顯著提升：GPT-4.5 的預(yù)訓(xùn)練計(jì)算規(guī)模大約是 GPT-4 的 10 倍，帶來(lái)性能的全面提升。在性能甚至超過(guò)了一些推理模型，如gemini-2.0-flash-thinking，也同時(shí)超過(guò)了剛剛發(fā)布的claude-3.7非推理模式。
- 無(wú)推理能力：盡管 GPT-4.5 沒(méi)有推理（逐步）能力，但它通常非常有用，并且本質(zhì)上更聰明。
增強(qiáng)的上下文理解：GPT-4.5 在需要更深入知識(shí)和高級(jí)上下文理解的任務(wù)中表現(xiàn)出色，例如寫(xiě)作、編程和實(shí)際問(wèn)題解決。
更人性化的對(duì)話：該模型通過(guò)使用來(lái)自較小模型的數(shù)據(jù)進(jìn)行訓(xùn)練，更好地理解人類(lèi)需求和意圖，使對(duì)話感覺(jué)更溫暖、更直觀、情感更細(xì)膩。
- 降低幻覺(jué)率：與其它模型相比，GPT-4.5 的幻覺(jué)率更低。
Chain-of-Draft（CoD）：為了解決推理型大型語(yǔ)言模型（LLM）中的延遲問(wèn)題，OpenAI 引入了 Chain-of-Draft，這是一種新的推理方法，相較于傳統(tǒng)COT，它具有更低的token消耗、低延遲、高精度，靈活可解釋等特點(diǎn)，這將引發(fā)新一輪的研究熱點(diǎn)。
GPT-4.5 的知識(shí)截止日期為 2023 年 10 月，上下文窗口為 128,000 個(gè) tokens，最大輸出為 16,384 個(gè) tokens。GPT-4.5 能夠訪問(wèn)最新信息的能力，支持搜索，可以上傳文件和圖片，并可以使用畫(huà)布進(jìn)行寫(xiě)作和代碼工作。 但目前在 ChatGPT 中不支持如語(yǔ)音模式、視頻和屏幕共享等多模態(tài)功能。
OpenAI 同時(shí)公布了 GPT-4.5 的定價(jià)：
- 輸入：75 美元 / 1M tokens
- 緩存輸入：37.50 美元 / 1M tokens
- 輸出：150.00 美元 / 1M tokens
相比于 GPT-4o 系列，GPT-4.5 的定價(jià)顯著提高，基于此，openai將繼續(xù)提供gpt-4o長(zhǎng)期支持。
Andrej Karpathy 在其社交媒體表示：“GPT-4.5 是一個(gè)令人興奮的里程碑，它展示了僅僅通過(guò)預(yù)訓(xùn)練更大的模型就能獲得的巨大能力提升。”同時(shí)他表示，從體驗(yàn)看目前很難以用具體的“殺手級(jí)”例子來(lái)展示其優(yōu)勢(shì)，但整體感覺(jué)是“一切都稍微好一點(diǎn)”。針對(duì) GPT-4.5 在“情商”（EQ）相關(guān)任務(wù)上的表現(xiàn)，如世界知識(shí)、創(chuàng)造力、類(lèi)比、理解力和幽默感，他設(shè)計(jì)了一系列有趣的提示，并在社交媒體上進(jìn)行了“LM Arena Lite”實(shí)驗(yàn)，讓用戶(hù)比較 GPT-4 和 GPT-4.5 的回答。
小結(jié)
GPT-4.5 的發(fā)布表明Scaling Law仍然有效但收益見(jiàn)頂，需要指出的是，該模型不是推理模型，價(jià)格也非常貴，10倍于Claude 3.7的價(jià)格，當(dāng)編程能力卻不如Claude 3.7，實(shí)際使用或仍以4o為主，而它更將會(huì)作為一個(gè)過(guò)渡基座模型版本，在此基礎(chǔ)上進(jìn)行 RL 訓(xùn)練，提升推理能力，也就是deepseek v3和 r1的關(guān)系（從v3和r1發(fā)布間隔來(lái)預(yù)測(cè)，基于GPT-4.5的推理版本應(yīng)該很快將會(huì)發(fā)布），到那時(shí)，這將是OpenAI 的真正下一代大版本發(fā)布。
