凌晨1點，OpenAI的技術直播再次點燃了AI圈的熱情！這一次，OpenAI帶來了三款全新的語音模型，專為開發語音AI Agent而生。無論是開發者還是普通用戶，這場直播都值得你關注。

相關地址

• API地址：https://platform.openai.com/docs/guides/audio
• 展示地址：https://www.openai.fm/

三款語音模型，各有所長

OpenAI此次發布的三款語音模型分別是：GPT-4o Transcribe、GPT-4 Mini Transcribe和GPT-4o Mini TTS。它們各司其職，為語音AI Agent的開發提供了強大的技術支持。

• GPT-4o Transcribe：高性能語音轉文本模型 作為此次發布的旗艦模型，GPT-40 Transcribe基于最新的語音模型架構，經過海量音頻數據的訓練，能夠處理復雜的語音信號，并將其精準轉換為文本。它的訓練數據涵蓋了多種語言和方言，在多語言環境下的表現尤為出色。無論是會議記錄、語音筆記，還是多語言翻譯，GPT-4o Transcribe都能輕松應對。
• GPT-4 Mini Transcribe：輕量級語音轉文本模型 如果你需要在資源受限的設備上運行語音轉文本功能，GPT-4 Mini Transcribe無疑是你的首選。通過模型壓縮技術，它在保持較高轉錄性能的同時，大幅減小了模型大小，提高了運行速度并降低了資源消耗。無論是移動設備還是嵌入式系統，GPT-4 Mini Transcribe都能滿足實時性要求較高的應用場景。
• GPT-4o Mini TTS：情感豐富的文本轉語音模型 這款模型不僅能夠將文本轉換為自然流暢的語音，還允許開發者通過指令控制語音的語調、情感和風格。無論是興奮、平靜、鼓勵還是嚴肅，GPT-4o Mini TTS都能根據不同的業務場景，調整語音的表達方式。例如，在教育場景中，Agent可以用鼓勵的語氣激勵學生；在客服場景中，Agent可以用溫和、耐心的語氣解答用戶問題。這種情感控制能力，讓語音交互更加人性化。

API和SDK重大更新

除了三款語音模型，OpenAI還對API和SDK進行了重大更新，為開發者提供了更強大的工具和更便捷的開發體驗。

• 語音轉文本API升級： 新增的streaming模式允許開發者將連續的音頻流實時輸入模型，并實時獲取文本響應。這一特性在實時語音對話系統、語音會議轉寫等場景中尤為重要。此外，API還集成了噪聲消除技術和語義語音活動檢測器，進一步優化了語音轉文本的體驗。即使在嘈雜的環境中，模型也能精準捕捉用戶的語音內容。
• Agents SDK模塊化設計： 新的Agents SDK采用了模塊化設計，將語音轉文本、文本處理和文本轉語音等功能模塊化，開發者可以根據需求靈活組合這些模塊，構建出符合特定應用場景的語音Agent系統。這種設計不僅提高了開發效率，還增強了系統的可擴展性和可維護性。開發者只需添加少量代碼，即可實現語音交互功能，大大降低了開發門檻。

總結

OpenAI此次發布的三款語音模型和API、SDK更新，為語音AI Agent的開發提供了無限可能。無論是教育、客服、醫療，還是智能家居、車載系統，這些技術都能為用戶提供更加自然、流暢的語音交互體驗。

例如，在教育領域，教師可以通過語音AI Agent為學生提供個性化的學習輔導；在客服場景中，企業可以通過語音AI Agent為用戶提供24小時在線的智能服務；在醫療領域，醫生可以通過語音AI Agent快速記錄病歷，提高工作效率。

本文轉載自公眾號AI 博物院 作者：longyunfeigu

原文鏈接：??https://mp.weixin.qq.com/s/CGjkqm39VEbEhN5qogw0pA??