OpenAI首次展示音頻模型Voice Engine,生成的聲音太逼真了!
3月30日凌晨,OpenAI在官網首次展示了全新自定義音頻模型“Voice Engine”。
用戶只需要提供15秒左右的參考聲音,通過Voice Engine就能生成幾乎和原音一模一樣的全新音頻,在清晰度、語音連貫、音色、自然度等方面比市面上多數產品都強很多。
除了能合成音頻之外,OpenAI還展示了Voice Engine很多其他際商業用途,例如,一位失去聲音表達能力的女孩,在Voice Engine幫助下能像以前一樣正常發音說話。
Voice Engine功能展示
OpenAI并非展示了一些簡單的demo,而是一些實際場景化用例,這也就是說Voice Engine的技術已經非常成熟。
Age of Learning 是一家兒童教育公司,他們一直在使用Voice Engine生成各種有聲讀物。同時還通過與GPT-4的相結合使用,創建實時、個性化的回答與學生互動。
例如,使用一段15秒的參考音頻。就可以生成幾乎一模一樣的語音。
?
除了語音合成之外,Voice Engine還能提供視頻翻譯功能,可以將一種視頻語音無差別的翻譯成多國語言。
HeyGen是一家AI視頻合成平臺,主要幫助企業開發商品展示的“數字人”。他們通過使用Voice Engine進行視頻翻譯,擴展至多國語言來擴大全球覆蓋受眾。
輸入一段原參考語音,就能將其轉化成中文語音
幫助聲音受損的人恢復聲音:諾曼-普林斯生命科學研究所正在測試一項實驗,正通過Voice Engine幫助那些因腫瘤或神經系統病因,導致語言障礙的患者恢復聲音。
目前,他們已經幫助一位因血管性腦腫瘤,而失去流利語言表達能力的年輕女患者恢復了聲音。
現在這位女患者可以正常與其他人交流了。
?
OpenAI表示,其實他們在2022年底便開發了Voice Engine,并將其用于支持文本到語音 API 中的預設語音以及 ChatGPT 的語音和朗讀功能。
但出于安全考慮一直沒有全面公測,目前也只是小范圍測試。因為相比文本、視頻,音頻的造假能力太強了幾乎無法分辨出來。
此外,OpenAI首席技術官Mira Murati在前不久接受的采訪時表示,未來Sora生成的視頻會帶聲音的,很可能為其提供聲音的就是Voice Engine。
本文轉自AIGC開放社區 作者:AIGC開放社區
