這幾天，在巴黎舉辦的最大科技活動VivaTech上，OpenAI再次帶來了許多驚喜。

從展示的模型智能進化路線圖中，可以確定的是，今年OpenAI一定會發布新一代旗艦模型。

而且，大概率不會以GPT-5命名，演示中將其稱之為「GPT Next」。

那么，OpenAI究竟會在2024年哪個月發布，爆料人Flowers掐指一算——可能在11月。

以GPT-3和GPT-4的發布時間等軸劃分

這是OpenAI開發者體驗負責人Romain Huet在長達38分鐘的演講中，向外界傳達的一個重要的信息。

演講現場，Huet主要講了三件事：

- OpenAI是如何走到今天的

- 旗艦模型GPT-4o

- OpenAI的下一步和前景

若說整場演講中，最令人印象深刻的，依舊還是GPT-4o。

Huet現場用ChatGPT Mac版程序，讓GPT-4o向在場的400多位觀眾打招呼。

甚至還要求讓它用法語，更熱情地問好，通過呈現不同的語音語調，展現出GPT-4o強大的語音能力。

即便在打招呼過程中，Huet也可以隨時打斷對話，與人類真正交流互動的方式幾乎無異。

另外，Huet還讓GPT-4o實時將英語翻譯成法語，引得臺下公眾一陣鼓掌歡呼。

更讓人驚掉下巴的是，Huet打開攝像頭，向GPT-4o展示了一張凱旋門和巴黎鐵塔的草圖，它準確識別出巴黎的標志性地標。

接下來，他又向其展示了一張地圖，并詢問如何從凡爾賽門導航到草圖中的地方。

沒想到，ChatGPT不假思索地提供了詳細的火車路線，而且包括換乘和停靠站的具體信息。

，時長01:23

有網友表示，「他們30分鐘的演示直接扼殺了數十家初創公司」。

除此以外，Romain Huet的精彩演講，還有哪些亮點？

「全能」GPT-4o驚艷全場

先來看看最新的第二趴，Huet主要強調了旗艦模型GPT-4o的三個重點。

首先它是「多模態」的，幾乎沒有延遲，堪稱為一個真正的「全能模型」（omni model）。

其次，在大模型競技場中，經過盲測后的GPT-4o，取得了最新的SOTA。

最后，GPT-4o的API價格還是GPT-4 Turbo的一半，而速率大大提升的2倍。

接下來，Huet顯示做了一個文章開篇介紹的GPT-4o演示。

作為ChatGPT的基操，讀代碼、debug這個環節也是必不可少的。Huet本人也做了現場直播演示，讓GPT-4o加持的ChatGPT Mac版去修復bug。

他將一段復制給ChatGPT，然后先讓其首先簡單地描述下代碼的內容：

代碼是一個名為Discover的React組件，它渲染一個Discover卡片組件網格，每個卡片的數據從trips.json文件中獲取。

然后，Huet將自己的屏幕分享給ChatGPT，并詢問能否讓這個頁面更具響應性。

接下來，就是ChatGPT放大招的時候了。

你可以使用Tailwind CSS的響應式設計功能，根據屏幕大小調整網格中的列數。這是修改網格布局的快速方法。Div的顏色和布局方案，設置網格列數為1，從0到4列。

不過，Huet表示，其實我就是在使用Tailwind去處理，繼續問道，「那么你能告訴我屬性是什么嗎」？

ChatGPT答道，「對于Tailwind，你可以調整網格響應列，以使網格響應」。

以下是設置方法：網格列數將根據當前屏幕大小進行控制。所以你不需要太多列來填充網格，這是大多數響應設計的經驗法則。默認情況下設置1列，小屏幕設置2列.

Huet表示，「我明白了。所以我應該在小屏幕上設置一列，對嗎？然后隨著屏幕變大，增加列數」？

ChatGPT確認道，「沒錯。你可以根據不同的屏幕尺寸調整列數。例如，默認情況下設置一列，sm:-grid-cols-2設置小屏幕及更大屏幕為兩列，md:-grid-cols-3設置中等屏幕及更大屏幕為三列，等等」。

最后，Huet按著ChatGPT要求修改過后，再讓其看看是否正確。

ChatGPT給出了回答，「完美」！

這些演示，向所有人展示了GPT-4o相較于以往模型，展現出的強大能力，能夠在編碼問題上實時查看屏幕，幫你解決問題。

而且，GPT-4o生成文本的速度，完全碾壓了GPT-4 Turbo。

ChatGPT為Sora視頻配音，夢幻聯動

見識過GPT-4o的厲害之后，Huet還現場演示了一段ChatGPT和Sora夢幻聯動的例子。

首先是準備工作——輸入Prompt，坐等Sora把視頻生成出來，再配上背景音，一段「巴黎之旅」的視頻就做好了。

接下來，再讓ChatGPT根據視頻中的關鍵幀，生成一段介紹。

其中，給到模型的系統提示是這樣的：

你是位歷史教授。你將看到一系列連續的圖片，它們是一部歷史紀錄片的一部分。你的任務是用一種引人入勝且富有信息性的方式描述畫面中的場景。

請為一位語速適中的解說員編寫一份腳本，講述時間不應超過45秒。

請將腳本分為2-4個小段落。不要添加任何前綴或描述，僅包括要講述的文字。

如果想讓視頻更加生動，則可以進一步利用OpenAI的「Voice Engine」模型（語音引擎）把之前的文字介紹變成真人配音。

接下來，首先需要向ChatGPT發送了一段錄制好的語音片段。

我非常高興自己站在VivaTech的舞臺上，并見到了一些非常棒的創始人和開發者。我很期待向他們展示一些現場demo，以及如何真正地將OpenAI的技術和模型應用到他們自己的產品和業務中。

然后ChatGPT基于Huet的語音內容，然后為Sora預先生成的一段巴黎歷史介紹視頻，進行了「原聲」配音。

這時，不僅可以用音頻源語言，還可以選擇法語、西班牙語、日語等多種語言，而且音色保持不變。

配好音的視頻，可以針對目標語群體進行分享，而且，還能為其配上字幕。

網友稱，「OpenAI這個案例向我們展示了，將Sora視頻發送給ChatGPT獲取腳本，并利用「語音引擎」為其配音，最后將所有模態內容整合到一起」。

押注GPT大模型，多模態智能體是重點

接下來，OpenAI下一步大動作會是什么？

Huet稱我們未來將大力投資這四個領域。

首先是文本智能。

目前，GPT-4、GPT-4o雖是全球最優秀的模型，但它們更像是一到二年級的學生，時不時會犯錯誤。

「我認為，也許一兩年后，這些模型將無法與今天的樣子辨認」。

Huet繼續稱，今年OpenAI將計劃在下一代模型上更好地推動這一界限，并提供像逐步函數一樣的推理改進。

也就是，如下這張傳遍全網的路線圖。

第二，OpenAI要確保模型始終更便宜、更快。

因為，在OpenAI看來，并非每個用例都需要最高水平的智能。

與此同時，OpenAI還希望確保當開發者想要擴展時，能夠提供不同的模型來滿足所有的需求。

在一些真實的工作流中，部分子流程，可能需要更小參數規模的模型，或者對延遲更敏感的模型。

第二個投資領域的最后一部分，OpenAI也是希望能夠幫助開發者，運行異步工作負載。

比如，幾周前，推出的批處理API。這是一種非常便捷的方式，可以將你的所有請求批量發送到OpenAI。

這意味著，對于不需要立即響應的任務，還將能夠再享受50%的折扣。

第三，OpenAI還將投資自定義模型。

在未來，不同的組織可能有不同的工作方式，更需要一個可以深入了解自身業務的模型。因此，OpenAI未來將會提供一系列微調的產品，包括簡單微調API、提供團隊幫助，以及讓OpenAI為其訓練模型。

這里，Huet舉了兩個和OpenAI合作的公司，Harvey和SK telecom。

而對于第四個OpenAI投資的領域，那便是「多模態智能體」。

「我非常確信，在未來，智能體可能是軟件，以及我們與計算機交互方式發生的最大變化」。

現場，Huet還引用了美國著名程序員Paul Graham曾說過的話。

通常，28歲的程序員比22歲的程序員更具生產力，因為他們擁有更多的經驗。但顯然，22歲的程序員現在和28歲的程序員一樣優秀，因為他們使用Al時更得心應手。

Huet通過舉例Devin在實際中幫助開發者解決代碼問題，以及其他案例，去說明智能體真的是當今重要的應用之一。

用例翻倍，GPT-4開創無限可能

演講開篇，Huet主要回顧了OpenAI至今已取得的成就。

一開始，他再次重申了，「我們是一家研究型公司，OpenAI的使命是打造有益于全人類的AGI」。

而目前，全球已經有超300萬開發者使用OpenAI API正創造一些有趣的事情。

92%的財富500強讓ChatGPT加入工作流，而還有1億的活躍用戶，開發者們已經打造了300萬GPTs。

總之，OpenAI在AI采用率上，是全球領先的。

ChatGPT發布之初是靜默的，卻沒想到，給世界帶來了翻天覆地的變化

其實，ChatGPT之前，OpenAI早在2020年打造了GPT-3模型，并為開發者提供了嘗試利用LLM去構建應用的體驗。

可以看到，GPT-3的用例已經非常廣泛，包括編程助手、代碼審查、搜索和信息檢索、內容創造等等。

下圖中右邊展示的是，Huet的個人用例——角色扮演游戲。

直到2023年GPT-4誕生，開創了一個全新的紀元。

新模型可以開創盡可能多的無限想象，從GPT-3的8個用例到GPT-4的13個用例，幾乎實現了翻倍增長。

它不僅推理能力得到了大幅提升，還可以像人類一樣，利用「工具」完成多項任務。

如今，這些能力已經得到許多公司的采用，比如下圖中右側Spotify為用戶創建的獨特的清晨播放列表。

OpenAI在上周推出的GPT-4o，就像一個魔法層，給GPT-4用例加滿buff。

得益于實時跨音頻、文本、視覺的能力，GPT-4o能夠讓我們以前所未有的方式進行交互。

站在OpenAI巨人的肩膀上，眾多初創公司已經在客戶服務、知識助手、語音服務、內容生成、智能體領域挖掘出的應用，遍地開花。

演講最后，Huet表示，我們的目標不是讓你在OpenAI身上花更多的錢，而是用OpenAI建造更多。