打造ChatGPT平替,成本暴降95%!OpenAI硬核更新下月發布,視覺API要來
天下開發人員,苦OpenAI模型價格久矣。
路透爆料稱,在11月6日首屆開發者大會上,OpenAI將推出年度重磅更新:
在開發工具中增加內存存儲(memory storage)功能,讓API成本大幅降價95%。
也就是說,開發者苦等的福音終于來了,未來能夠以更低成本、更快速度用GPT模型構建應用。
另外,OpenAI還計劃推出「視覺」能力加持的全新開發工具。
這樣,開發者可以構建「分析圖像」和「描述圖像」更強大的應用。
這些新功能的開放,最終指向著一個共同的目標:構建大模型加持的AI智能體。
OpenAI此舉正沿著Sam Altman設想一步步推進,不僅在用戶中打開市場,同時還要成為一個提供熱門開發者平臺的公司。
OpenAI把價格打下來了
去年11月,ChatGPT橫空出世,吸引了全球數億人使用,創下消費級應用用戶數增長里程碑。
除了網頁版,ChatGPT還推出了iOS版,以及安卓版程序。
這樣客觀的下載量,將為OpenAI帶來一些盈利。內部高管預計,今年將帶來2億美元的收入,24年將有10億美元到賬。
可見,ChatGPT在消費者群里中已經打下了江山,但在開發圈子里,讓開發者基于OpenAI技術構建業務,卻面臨重重挑戰。
在首席執行官Altman看來,讓OpenAI成為其他構建應用程序公司不可或缺的一部分,是公司的戰略目標之一。
他與開發者會面,急切地表達基于OpenAI模型構建新生態系統的愿望。
目前,GPT模型能力已經融入到了,美版「餓了么」DoorDash、寫作助手Jasper等無數應用程序中。
但,這還遠遠不夠。
6月,Sam Altman在AI開發平臺Humanloop的首席執行官采訪中,曾透露了自家的未來產品路線圖。
其中提到了一點是「有記憶的API」(Stateful API)——目前大部分token被浪費在上文的傳輸中,將來會有一個能夠記住對話歷史的API版本。
這恰恰與添加「內存存儲」的想法不謀而合。增加這一功能可以優化成本的原因有以下幾點:
- 新的緩存功能與LangChain的記憶鏈(Memory Chain)原理類似,可以將之前的對話歷史轉化為嵌入式向量進行存儲。新的會話內容只需在增量標記中進行處理,而無需重新輸入整個上下文。
- 預設的角色和功能也無需重新輸入,只需進行相似性搜索即可。
- 在模型計算過程中,CUDA圖形只需查看增量,而無需以歷史聊天記錄為基礎,再次進行全局瀏覽。
簡而言之,這將大大優化token數量。
所謂的「有記憶的API」的計劃發布,能夠使模型通過記住查詢的對話歷史,進而創建應用程序成本更低。
這可能會大大削減,開發人員需要支付API費用。
根據OpenAI官網上的定價,目前,用GPT-4處理一頁文檔可能需要10美分,具體取決于輸入和輸出的長度和復雜性。
另一個更新是視覺API,允許開發者構建可以分析圖像的軟件。
這也標志著,OpenAI繼續向前推進多模態能力重要的一步,未來必定還會有音頻、視頻能力的加入。
抓住開發者, 在做了
為了吸引更多開發者,OpenAI也做出了很多努力。
去年,專門聘用了第一位負責建立OpenAI與開發者關系的工程師Logan Kilpatrick。
他常常會更新一些利好開發者的工具和內容。
微調用戶界面現在支持在用戶界面中進行端到端作業創建,無需代碼即可啟動作業。
還有,OpenAI即將發布OpenAI Python SDK的1.0版本。
發布API 使用情況儀表板的更新,有助于更清楚地了解哪些模型在推動使用情況,而且總體上應該更加可靠。
除此之外,可以看到OpenAI面向開發者,做了很多模型適配、用戶界面等各種工作的優化。
而所有的這些,都是為了吸引更多開發者來付費使用OpenAI的模型。
根據PitchBook的數據,今年各家AI初創公司已經獲得了超過200億美元的投資。
雖然其中很多都依賴OpenAI提供的技術,但這些初創公司也在努力使它們使用的模型更加多樣化,比如采用Llama這種開源方案。而這也使得OpenAI必須將自己與谷歌等資金雄厚的競爭對手區分開來。
據路透社報道,保持開發者的滿意度一直是OpenAI的關注重點。
然而,即便ChatGPT在消費者中取得了巨大成功,但OpenAI在贏得其他公司或開發者的支持上,卻并沒有那么順利。
比如備受期待的ChatGPT插件系統,在最初引發了一大波熱潮之后,用戶和開發者的興趣便急劇下降。
隨后Sam Altman也承認,插件并沒有像想象中那樣獲得市場的認可。
價格一覽
GPT-4
GPT-3.5 Turbo
微調模型