OpenAI發(fā)布GPT-4.5:功能非常特殊,推理很貴 精華
今天凌晨4點(diǎn),OpenAI進(jìn)行了在線技術(shù)直播,發(fā)布了最新模型GPT-4.5。
GPT-4.5與之前的模型相比,本次最大的亮點(diǎn)是加上了“情商”,這也是目前所有大模型最缺、最難的功能。
此外,GPT-4.5 在SimpleQA上的測(cè)試數(shù)據(jù)顯示,超過(guò)OpenAI o1、OpenAI o3-mini并且幻覺(jué)非常低,是目前OpenAI最強(qiáng)大模型之一。
OpenAI聯(lián)合創(chuàng)始人兼首席執(zhí)行官Sam Altman特意發(fā)文對(duì)GPT-4.5進(jìn)行了詳細(xì)解讀。
對(duì)我來(lái)說(shuō),GPT-4.5是第一個(gè)讓我感覺(jué)像是在和一個(gè)有思想的人對(duì)話的模型。有好幾次,我都不禁靠在椅背上,驚訝于能從人工智能那里得到真正有用的建議。
壞消息:GPT-4.5是一個(gè)大型且成本高昂的模型。我們本真的很想同時(shí)向Plus和Pro用戶推出,但我們的業(yè)務(wù)增長(zhǎng)迅猛,GPU 已經(jīng)不夠用了。下周我們會(huì)增加數(shù)萬(wàn)個(gè) GPU,到時(shí)候就會(huì)向 Plus 用戶推出。(很快還會(huì)有數(shù)十萬(wàn)個(gè) GPU 到位,我敢肯定,大家會(huì)把我們能配備的每一個(gè) GPU 都充分利用起來(lái)。)
我們也不想這樣,但要精準(zhǔn)預(yù)測(cè)導(dǎo)致 GPU短缺的增長(zhǎng)高峰實(shí)在太難了。
提前告知一下:這不是一個(gè)推理模型,也不會(huì)在基準(zhǔn)測(cè)試中表現(xiàn)得特別突出。是一種不同類型的智能,有著我從未感受過(guò)的神奇之處。真的很期待大家去體驗(yàn)!
看了Sam這段話估計(jì)大家心里都有一個(gè)共同想法吧,既然推理這么貴,需要那么多GPU,是時(shí)候讓DeepSeek再次出手量化一下了吧~
這不網(wǎng)友直接就替咱說(shuō)出來(lái)了,你們一直嚴(yán)重依賴大量的 GPU,而中國(guó)人在沒(méi)有這么多 GPU 的情況下也取得了同樣的成果。為什么不像中國(guó)人那樣專注于效率呢?
作為一名交易員,我只是不希望當(dāng) Deepseek用十分之一的計(jì)算力推出比 GPT-4.5 更強(qiáng)大的產(chǎn)品時(shí),交易市場(chǎng)再次陷入動(dòng)蕩。
剛剛看了一下API價(jià)格,確實(shí)貴的離譜…
這聽(tīng)起來(lái)像是一個(gè)在大量錄制的人類之間電話通話內(nèi)容上進(jìn)行訓(xùn)練的模型。
增加服務(wù)之后,API價(jià)格會(huì)下降嗎?
真是令人激動(dòng)的時(shí)代!一個(gè)真正讓人感覺(jué)像是在與有思想的人對(duì)話的模型,這是一個(gè)巨大的飛躍。GPU 短缺只是暫時(shí)的困難,重要的是你們創(chuàng)造出的神奇成果。期待能親自體驗(yàn) GPT-4.5!
GPT-4.5情商
在以往的大模型中,雖然能夠生成流暢的文本,但在處理情感相關(guān)的場(chǎng)景時(shí),往往顯得生硬、機(jī)械,甚至有時(shí)會(huì)給出不恰當(dāng)?shù)幕貞?yīng)。
GPT-4.5通過(guò)一系列技術(shù)創(chuàng)新和訓(xùn)練方法為模型增加了“情商”功能,顯著提升了其在情感識(shí)別、同理心表達(dá)以及情感引導(dǎo)等方面的能力,使其在與人類互動(dòng)時(shí)能夠展現(xiàn)出更加溫暖、細(xì)膩且富有同理心的特質(zhì)。
GPT-4.5能夠通過(guò)用戶的文字輸入,敏銳地捕捉到其中的情感色彩,無(wú)論是喜悅、悲傷、憤怒還是焦慮。這種能力并非簡(jiǎn)單地基于關(guān)鍵詞的匹配,而是通過(guò)深度學(xué)習(xí)和大量的對(duì)話數(shù)據(jù)訓(xùn)練而來(lái)。
模型學(xué)會(huì)了從語(yǔ)句的整體語(yǔ)境中理解情感的細(xì)微差別,從而能夠更準(zhǔn)確地判斷用戶的情緒狀態(tài)。例如,當(dāng)用戶表達(dá)“我最近考試沒(méi)過(guò),心情很糟糕”時(shí),GPT-4.5不僅能夠識(shí)別出這句話中的負(fù)面情緒,還能進(jìn)一步感知到用戶可能需要的不僅僅是解決問(wèn)題的建議,更需要的是情感上的支持和安慰。
基于這種情感識(shí)別能力,GPT-4.5能夠以一種富有同理心的方式回應(yīng)用戶。不會(huì)簡(jiǎn)單地給出一些通用的、冷漠的建議,而是會(huì)用溫暖、關(guān)懷的語(yǔ)言來(lái)表達(dá)對(duì)用戶情感的理解和支持。例如,可能會(huì)說(shuō):“哎呀,聽(tīng)到這個(gè)我很難過(guò)。考試沒(méi)過(guò)確實(shí)會(huì)讓人感到沮喪和失落,但這只是暫時(shí)的,并不能代表你的能力和價(jià)值。”
這樣的回應(yīng)不僅能夠緩解用戶的情緒,還能讓用戶感受到被理解和關(guān)注。這種同理心的表達(dá)是GPT-4.5情商功能的核心體現(xiàn),使得模型在與人類互動(dòng)時(shí)更加自然、親切,仿佛是一個(gè)真正能夠傾聽(tīng)和理解的朋友。
此外,GPT-4.5還具備情感引導(dǎo)的能力。不僅能夠回應(yīng)用戶當(dāng)前的情感狀態(tài),還能夠通過(guò)對(duì)話引導(dǎo)用戶走向更加積極的情緒狀態(tài)。
例如,在面對(duì)用戶的焦慮或壓力時(shí),GPT-4.5可以提供一些緩解壓力的方法,或者通過(guò)鼓勵(lì)的話語(yǔ)幫助用戶重建信心??赡軙?huì)說(shuō):“雖然這次考試沒(méi)有達(dá)到預(yù)期,但你可以把當(dāng)作一個(gè)學(xué)習(xí)的機(jī)會(huì),相信自己下次一定能夠做得更好?!边@種情感引導(dǎo)能力使得GPT-4.5不僅僅是一個(gè)被動(dòng)的情感回應(yīng)者,更是一個(gè)能夠幫助用戶調(diào)節(jié)情緒的真正人工智能。
GPT-4.5架構(gòu)簡(jiǎn)單介紹
GPT-4.5的核心架構(gòu)建立在無(wú)監(jiān)督學(xué)習(xí)和推理能力的結(jié)合之上。無(wú)監(jiān)督學(xué)習(xí)是其基礎(chǔ),通過(guò)海量未標(biāo)注數(shù)據(jù)的訓(xùn)練,模型能夠自主學(xué)習(xí)語(yǔ)言的結(jié)構(gòu)和模式,從而提高其準(zhǔn)確性和直覺(jué)能力。使得模型在處理復(fù)雜的語(yǔ)言任務(wù)時(shí),能夠憑借其對(duì)語(yǔ)言的深刻理解來(lái)生成更加自然和準(zhǔn)確的文本。
推理能力的引入為模型增加了“思考”推理鏈的能力,在回答問(wèn)題之前進(jìn)行邏輯分析和思考,這在處理需要復(fù)雜推理的任務(wù)時(shí)尤為重要,例如,科學(xué)問(wèn)題、數(shù)學(xué)問(wèn)題以及其他需要深度分析的復(fù)雜問(wèn)題。
在預(yù)訓(xùn)練完成后,GPT-4.5還使用了復(fù)雜的后訓(xùn)練過(guò)程。采用了監(jiān)督微調(diào)和基于人類反饋的強(qiáng)化學(xué)習(xí)相結(jié)合的方法。監(jiān)督微調(diào)通過(guò)標(biāo)注數(shù)據(jù)進(jìn)一步優(yōu)化模型的性能,使其在特定任務(wù)上表現(xiàn)得更加精準(zhǔn)。
這種方法使得模型能夠更好地適應(yīng)不同的應(yīng)用場(chǎng)景,提高其在實(shí)際任務(wù)中的表現(xiàn)。而基于人類反饋的強(qiáng)化學(xué)習(xí)則讓模型能夠更好地理解人類的需求和意圖。通過(guò)與人類的互動(dòng),模型不斷學(xué)習(xí)如何生成更符合人類期望的文本,從而使對(duì)話更加自然和富有情感。
在模型規(guī)模方面,GPT-4.5是OpenAI迄今為止最大的模型,其參數(shù)規(guī)模達(dá)到了前所未有的高度。為了訓(xùn)練這樣一個(gè)龐大的模型,OpenAI開發(fā)了一系列創(chuàng)新的訓(xùn)練機(jī)制。
其中,低精度訓(xùn)練技術(shù)是關(guān)鍵之一,通過(guò)優(yōu)化計(jì)算資源,低精度訓(xùn)練使得模型能夠在有限的硬件條件下進(jìn)行高效的訓(xùn)練。這種技術(shù)不僅提高了訓(xùn)練效率,還降低了訓(xùn)練成本,使得大規(guī)模模型的訓(xùn)練成為可能。
OpenAI還首次嘗試了跨數(shù)據(jù)中心的分布式訓(xùn)練。由于模型規(guī)模龐大,單個(gè)數(shù)據(jù)中心的計(jì)算資源無(wú)法滿足其訓(xùn)練需求。因此,OpenAI利用多個(gè)數(shù)據(jù)中心同時(shí)進(jìn)行預(yù)訓(xùn)練,充分利用了大規(guī)模計(jì)算資源,顯著提升了模型的訓(xùn)練效率。
目前,ChatGPT Pro用戶已經(jīng)可以使用GPT-4.5模型,下周OpenAI將為Plus和Team用戶推出。
本文轉(zhuǎn)自 AIGC開放社區(qū) ,作者:AIGC開放社區(qū)
