這兩天，美國女歌星霉霉（泰勒?斯威夫特）一則說中文的短視頻在各社交平臺火了起來。有的播放量已經(jīng)達(dá)到了 600 多萬。

在視頻里，霉霉操著一口流利、地道的中文，神情自若，幾乎沒有早期譯制片女主角的那種腔調(diào)，口型也能對得上。

圖源：微博 @會(huì)火

還沒有看過視頻的小伙伴們，我們先來一睹為快。

視頻作者：johnhuu 教英語

感覺怎么樣，是不是很神奇呢？

可以看到，不僅是霉霉，蕾切爾?布羅斯納安、特朗普、艾瑪?沃森、憨豆先生都掌握了一口正宗的中文。此外，小品演員蔡明在吐槽大會(huì)上「秀了一段流利的英文」。

作者表示，視頻制作中有三個(gè)重要的因素：掌握地道的口語翻譯、語音克隆和替換嘴型，每個(gè)步驟都要做好。不過，他沒有說明用到的具體模型是什么。

視頻火了之后，更多的人開始了新的嘗試，也讓我們了解到了視頻背后使用到的 AI 生成工具 ——HeyGen。

推特用戶 @Gorden_Sun 同樣制作了一段霉霉說中文的視頻，這次口型完美，卡點(diǎn)和嘴型都對得上。有人評論到，「音色其實(shí)也很像了。」

作者表示，視頻里面的翻譯是 HeyGen 自動(dòng)完成的，質(zhì)量可能不太好，他只需要上傳視頻并選擇要翻譯的語言就行了。

視頻字幕是作者自己加的，HeyGen 沒有該功能。此外視頻人物在情感還原度方面仍有欠缺。

不過，HeyGen 雖然可以免費(fèi)試用，但需要等待很長時(shí)間。懂技術(shù)的小伙伴也可以尋找開源替代方案，比如語音轉(zhuǎn)文字 whisper、文字翻譯 GPT、聲音克隆 + 生成音頻 so-vits-svc、生成符合音頻的嘴型視頻 GeneFace++。

除了中英互換之外，國外還有人嘗試將英語翻譯成日語，效果同樣很不錯(cuò)。他表示，該視頻同樣是使用 HeyGen 做的。

還有更離譜的是，有人使用 HeyGen 制作了說多達(dá) 6 種不同語言的視頻。對此有人評價(jià)稱，「HeyGen 將成為內(nèi)容創(chuàng)造領(lǐng)域的攪局者。」

那么，這個(gè) HeyGen 是什么來頭呢？原來它在兩個(gè)多月前就生成過一段爆火視頻。

HeyGen：做不輸 Midjourney 的 AI 視頻生成器

當(dāng)時(shí)，HeyGen 生成了一個(gè)超逼真的數(shù)字人，還是創(chuàng)始人 Joshua Xu 親自上陣。人物的表情、動(dòng)作、臉部微表情等等，都活靈活現(xiàn)地展現(xiàn)在你眼前。

HeyGen 的這段視頻掀起了一陣熱潮，但是因?yàn)檫€有一些效果缺陷，大家更加期待改善后的版本。

HeyGen 創(chuàng)始人 Joshua Xu 的 AI 生成數(shù)字人，眨眼頻率過高

HeyGen 背后的公司名叫詩云科技，成立于 2020 年。他們最初致力于做 AI 數(shù)字人生成，創(chuàng)始人 Joshua Xu 曾在 Snapchat 擔(dān)任主要工程師，負(fù)責(zé)機(jī)器學(xué)習(xí)領(lǐng)域。

Joshua Xu 曾發(fā)博客表示，自 2022 年 7 月產(chǎn)品發(fā)布以來，歷時(shí) 178 天，該公司 ARR （annual recurring revenue）已達(dá)到 100 萬美元。

HeyGen 為用戶提供更加便宜、省時(shí)的視頻制作方法。這打破了傳統(tǒng)視頻制作中費(fèi)用高昂、周期長、人員雜亂和設(shè)備需求高等問題。