如何正確看待GPT4.5
總結,模型門戶留給GPT5去做了,4.5還是像Altman之前說的就是最后一代純預訓練。
1- 一個超巨大的模型,grok3級別(10萬卡),AK說每個0.5要提升10倍預訓練算力,那對比GPT4的1.8T, 也就說4.5是一個18T(18000B) 級別的模型,所以必須跨多campus, 異步梯度下降的訓練方式(要求太高,這個目前只有grok, oai,gemini,3家真正嚴格實踐過,anthropic都不行)。
2-擁有更多的知識(o3和人類比如博士生做題的合成數據),比4o能力提升百分之50(其實有些指標翻好幾翻,比如奧數)簡單問答有明顯更少的幻覺,但是復雜問答比如AIME奧數和coding,是無法和o3mini這種模型相比的。更多知識的另一個產物是情商(學習了更多會話場景和話術的識別),會某些角度更人類化,這個能力增強的是寫作和指令跟隨范式理解等能力。當然我個人認為想做成4.5演示 demo中的那樣光靠知識堆是不夠的,RLHF去和人類對齊才是關鍵,但是由于這模型太大了,SFT和RL都變得很痛苦(后訓練是不費算力,但是也得看基座模型有多大??)。
3-關于未來: 下一代推理模型o的基石(上一代是4o),然后,其實本來也是給合成數據用的,內部人用,可是戰況太激烈,不得已出來接客了。推理成本過高,即使用speculating decoding, 也很貴,而且draft model估計還在優化中,所以第一期web只給200刀用戶使用,下周或者下下周20刀才配,api day1就有,但是,是現在api價格的20倍以上(一般的榜單是測不起了)??各種煙霧彈,o3mini也沒開源
本文轉載自??熵減AI??,作者:周博洋
贊
收藏
回復
分享
微博
QQ
微信
舉報

回復
相關推薦