ChatGPT凌晨重磅更新!GPT-3.5/4雙升級:上下文飆升4倍,用API自己造插件
ChatGPT突然更新!
今天凌晨,OpenAI在官網上發布了所有更新細節,包含以下這幾個方面:
- 在Chat Completions API中增加了新的函數調用能力
- 更新了GPT-4和GPT-3.5-Turbo版本,可操控性更強
- 為GPT-3.5-Turbo增加了16k的上下文長度(此前是4k)
- 嵌入模型成本降低75%
- GPT-3.5-Turbo的輸入token成本降低25%
- 公布了GPT-3.5-Turbo-0301和GPT-4-0314模型的淘汰時間表
其中備受關注的應該就是新的函數調用能力,GPT-4和GPT-3.5-Turbo兩個模型的升級,以及各種降成本。
對此,推特網友「寶玉」表示,OpenAI這次更新的函數調用功能,本質上是讓API直接支持了Agent或者Plugin。
函數調用
現在,開發者現在可以向GPT-4-0613和GPT-3.5-turbo-0613描述函數,并讓模型智能地選擇輸出包含調用這些函數的參數的JSON對象。
這是一種更可靠地將GPT的功能與外部工具和API相連的新方法。
這些模型已經過微調,既能檢測到何時需要調用函數(取決于用戶輸入的內容),又能用符合函數簽名的JSON來進行響應。
函數調用允許開發者更可靠地從模型中獲得結構化的數據。
比如,開發者可以創建一個聊天機器人,通過調用外部工具(例如,ChatGPT插件)來回答問題。
具體來說,可以將諸如「給Anya發郵件,看她下周五是否想喝咖啡」這樣的查詢轉換為send_email(to: string, body: string)這樣的函數調用。
或者將「波士頓的天氣如何?」轉換為get_current_weather(location: string, unit: 'celsius' | 'fahrenheit')。
此外,開發者還能將自然語言轉換為API調用或者數據庫查詢。
比如,將「誰是我這個月的十大客戶?」轉換為內部API調用,即為:get_customers_by_revenue(start_date: string, end_date: string, limit: int)。
又或者把「Acme, Inc.上個月有多少訂單?」轉換成SQL查詢,即為:sql_query(query: string)。
此外,還允許開發者從文本中提取結構化數據。
只需定義一個名為extract_people_data(people: [{name: string, birthday: string, location: string}]的函數,就能提取維基百科文章中提到的所有人物。
以前用戶需要在Prompt里加一堆描述才能支持Agent,而現在就簡單多了,只要在API請求的時候,傳入一個functions參數即可。
functions參數實際上就類似于用戶要指定的Agent。
注意,這里可以是不止一個function,function是一個對象,還可以加上名稱(name)、描述(description)、參數(parameters)等等。
然后,返回的結果就包含了如下結構化的內容:
function_call:調用的函數名,和用戶傳入的函數名稱一致
arguments:JSON格式的參數值,包含了用戶調用函數需要的參數名稱和值。
比如說:
"function_call": { "name": "get_current_weather", "arguments": "{ \"location\": \"Boston, MA\"}" }
國外網友表示,function最大的價值就是解決了GPT返回數據結構化的問題,不再需要用戶輸入復雜的prompt。
第一步:OpenAI API
第二步:第三方API
第三步:OpenAI API
模型升級
GPT-4
GPT-4-0613的主要更新就是上面提到的全新函數調用功能。
而GPT-4-32k-0613的更新,除了包含GPT-4-0613的所有更新內容以外,還新增加了更長的上下文長度,從而能更好地理解更長篇幅的文本。
OpenAI表示,未來幾周內,將會有更多目前在等待名單上的人可以開始使用GPT-4.
GPT-3.5 Turbo
GPT-3.5-turbo-0613的更新中具備與GPT-4相同的函數調用功能,并通過系統信息提供了更高的可控性。
這兩個特性將使開發者能夠更有效地引導GPT模型生成的回復。
GPT-3.5-turbo-16k相較于GPT-3.5-turbo擁有4倍的上下文長度,但成本是前者的兩倍。
每1000個token輸入的費用為0.003美元,每1000個輸出token的費用為0.004美元。
16k的上下文長度意味著該模型現在能夠在單次對話中支持約20頁長度的文本。
同時,OpenAI表示,新模型將于6.27正式上線,而舊模型將于今年9.13后無法再次訪問。
價格更低
最后,OpenAI發布的價格降低的新消息也讓不少用戶為之一動。
text-embedding-ada-002是OpenAI最受歡迎的嵌入模型。今天我們將成本降低了75%,每1,000個token費用為0.0001美元。
而作為最受歡迎的聊天模型——GPT-3.5-turbo,其輸入的token費用降低了25%。
開發者現在能以0.0015美元/1000個輸入token的價格使用該模型,每1000個輸出token費用為0.002美元,相當于每美元大約能使用700頁。
GPT-3.5-turbo-16k的定價為0.003美元/每1000個輸入token,而每1000個輸出token費用為0.004美元。
參考資料:https://openai.com/blog/function-calling-and-other-api-updates