撰稿 | 言征

出品 | 51CTO技術棧（微信號：blog51cto）

就在今天，GPT-4推出重磅更新！帶視覺能力的GPT-4面向大眾公開了！

圖片

MiraOpenAI首席技術官Mira在推特上公布了這一消息。

圖片

據OpenAI API官方介紹，GPT-4 Turbo with Vision 現已在 API 中正式推出。Vision 請求現在也可以使用 JSON 模式和函數調用。

大家都知道，GPT-4是一個多模態的大模型，支持文本和圖像的輸入，輸出為文本，那么GPT-4 Vision 又是什么鬼？

簡單來講，就是這個版本的GPT-4不再僅限于輸入圖片，而是可以隨時盯著你的屏幕與操作，成為你的實時助手，而不再只是一個局限在聊天工具里的智囊。

這樣還是比較抽象，OpenAI開發者賬號還給出了幾個生動的實例，大家不妨感受下！

1.GPT-4 Vision：主打一個實時屏幕交互

首先，不得不提Devin，當時cognition_labs推出它時，朋友圈都被刷爆了，感慨它是一個顛覆式的編程Agent！

當時，業內人士就猜測背后的模型是GPT-4，現在OpenAIDevs也官宣了：Devin是GPT-4 Turbo提供支持的人工智能軟件工程助手，那些絲滑的Agent體驗，也使用了Vision來執行各種編碼任務。

通過屏幕的實時跟蹤和交互，一切都變得更有趣起來了！

，時長00:45

第二個，印度最大的健康&健身平臺Healthify，目前擁有超過4000萬用戶，提供健康跟蹤和人工智能增強的健康指導。近一年來，Healthify通過OpenAI API，極大增強了原有AI產品的性能，簡化了健康跟蹤流程，并擴大了教練的業務范圍。

具體到GPT-4 Vision，Healthifyme團隊使用帶有Vision的GPT-4 Turbo構建了Snap，通過識別來自世界各地的食物照片為用戶提供營養見解。使用 GPT-Vision 和嵌入模型來即時跟蹤食物和規模指導，準確度大大提升。

，時長00:18

該公司的AI產品總監Raja表示，GPT-4的能力極限很大?！俺俗孏PT-4回答問題，現在還可以讓它執行應用程序操作?！?/p>

第三個例子，也是最為對開發者形象的例子就是tlfraw團隊開發的產品Make Real。

Make Real可以實時通過用戶畫示例圖的交互形式結合局部提示快速生成由真實代碼驅動的工作網站，這背后也是帶有視覺的GPT-4 Turbo的功勞。

2.實際融入業務，GPT-4 Vision究竟如何強悍？

GPT-4 Vison的早期使用者們，實際反饋如何，又是究竟看上了OpenAI哪里呢？

以上文提到的healthify為例，借助 OpenAI 率先上市的簡單 API，團隊快速構建了原型來測試模型性能。在正式選擇提供商之前，團隊評估了多種模型選項，包括開源模型。

經過全面評估后，Healthify 與 OpenAI 合作原因主要有這四點：

首先，是一流的精度。 GPT-4 Vision瞬間超越了Snap pipeline的性能；該模型本身就可以識別來自世界各地的食物，并檢測到照片中的多種食物。GPT-4（針對 Ria）和 Whisper（針對 Coach Copilot）同樣優于其現有管道和其他GenAI替代模型。

其次，輕松集成。一旦他們驗證了原型并且需要集成到他們的生產系統中，Healthify 團隊就可以簡單地將 OpenAI 的 API 添加到他們現有的管道中?！笆褂?OpenAI 構建概念驗證并使用它們來構建生產系統非常容易，”Vashisht 說。

第三，只需要簡單的微調。Healthify 選擇 OpenAI 很大程度上是因為可以進行開箱即用的微調。對數據進行建模以進行微調并將其上傳到服務非常簡單。該團隊無需太多配置就能夠成功地將 OpenAI 的模型應用到他們的用例中。

第四，強大的嵌入模型。Healthify 使用嵌入模型來解決其關鍵問題之一：除了文本匹配之外，如何匹配兩種食物？他們需要將 GPT-4 返回的食物名稱與自己系統中已有的食物名稱進行匹配?！癎PT 是它自己的一個模型。它有自己的食物名稱詞典。Healthify 有自己的食物名稱，我們試圖弄清楚如何進行匹配，”技術副總裁Abhijit Khasnis評論道。

“當我們測試 OpenAI Embeddings 模型時，我們意識到 GPT 識別的食物名稱和我們的食物嵌入之間的余弦相似度匹配為我們提供了很高的準確性！”

大模型時代，如何用上、用好大模型的能力，是今年以來每一位熱衷于AI變革的創新者都在思考的問題。我們不妨借鑒下healthify的思路。

3.網友：這正是我想要的！

大模型一出，所有的應用都值得重構一下，這句話放到2024年，絕對不再是夸張的說辭。

OpenAI也明顯讓GPT-4開始具備了融入生活、工作多種場景下的多種意想不到、卻又驚艷到用戶的心動功能。網友們紛紛表示：啊哈，GPT4 Vision果真是我想要的！

圖片

圖片

最后，不得不提：GPT-4，不是不能吃掉原來的應用，只不過它不想吃，GPT-4需要更多的朋友來加速它的AGI飛輪！

本文轉載自 ??51CTO技術棧??，作者：言征