11個(gè)優(yōu)秀開(kāi)源TTS引擎
TTS引擎用于實(shí)現(xiàn)文本到語(yǔ)音的轉(zhuǎn)換。隨著人工智能的普及以及數(shù)字設(shè)備應(yīng)用的增加,相關(guān)系統(tǒng)對(duì)語(yǔ)音識(shí)別以及文語(yǔ)轉(zhuǎn)換技術(shù)日益依賴,TTS正在變得越來(lái)越重要。
在這項(xiàng)技術(shù)的幫助下,可以將文本內(nèi)容轉(zhuǎn)換為錄音。可以幫助視覺(jué)障礙的人理解文本內(nèi)容,可以讓開(kāi)車(chē)的人聽(tīng)取一個(gè)文本工作報(bào)告,甚至模擬某個(gè)人的聲音播報(bào)一段內(nèi)容、演唱一個(gè)歌曲,實(shí)現(xiàn)虛擬主播、虛擬歌手。
本文主要查找收集了一些較好的開(kāi)源TTS引擎。這些項(xiàng)目有助于我們更加了解TTS的功能。
1.CoQui TTS
https://github.com/coqui-ai/TTS
這是一個(gè)在研究和生產(chǎn)中經(jīng)過(guò)了實(shí)戰(zhàn)考驗(yàn)的TTS深度學(xué)習(xí)工具包,可以以200毫秒的延遲進(jìn)行流傳輸,支持13種語(yǔ)言(包括中文)。
2.mozilla TTS
https://github.com/mozilla/TTS
TTS是一個(gè)用于文本到語(yǔ)音生成的高級(jí)庫(kù)。旨在實(shí)現(xiàn)易于訓(xùn)練、高速度和高質(zhì)量的最佳平衡。 提供預(yù)訓(xùn)練模型,以及用于測(cè)量數(shù)據(jù)集質(zhì)量的工具,支持用于產(chǎn)品和研究的20多種語(yǔ)言,包括支持中文。
3.OpenTTS
https://github.com/synesthesiam/opentts
OpenTTS是TTS最有效的開(kāi)源模型之一。因?yàn)樵撃P椭С职ㄖ形脑趦?nèi)的多種語(yǔ)言。
4.MaryTTS
https://github.com/marytts/marytts
MARY Text-to-Speech 語(yǔ)音合成是一個(gè)多語(yǔ)言TTS平臺(tái),支持英語(yǔ)(英國(guó)和美國(guó))、法語(yǔ)、德語(yǔ)、意大利語(yǔ)、俄語(yǔ)等語(yǔ)言。
產(chǎn)品特點(diǎn):
- 使用預(yù)處理技術(shù),如tokenizer和數(shù)值擴(kuò)展。
- 它采用多線程網(wǎng)絡(luò)架構(gòu),并行處理多個(gè)請(qǐng)求。
- 它本質(zhì)上是靈活的,因此您可以使用純Java模型和外部模型。
- 它使用XML結(jié)構(gòu)來(lái)提高透明度,并且對(duì)于普通用戶來(lái)說(shuō)易于理解。
5.eSpeak
https://github.com/espeak-ng/espeak-ng
eSpeak是一個(gè)緊湊的開(kāi)源TTS引擎,可運(yùn)行于Windows和Linux。支持100多種語(yǔ)種和語(yǔ)音(包括中文普通話)。
產(chǎn)品特點(diǎn):
- 這個(gè)平臺(tái)可以很容易地完成文本到語(yǔ)音的轉(zhuǎn)換。這有助于系統(tǒng)理解文本的含義。
- 它帶有兩個(gè)合成器:eSpeakinG合成器,通過(guò)聲音添加技術(shù)轉(zhuǎn)換元音和響亮的輔音,以完成聲音。Klatt合成器使用類(lèi)似的技術(shù),但使用減法合成。它使用數(shù)字濾波器來(lái)理解輔音、元音和響音之間的區(qū)別。
- 因?yàn)樗牟町惢夹g(shù)和將文本轉(zhuǎn)換為語(yǔ)音的速度優(yōu)勢(shì),這個(gè)工具在2010年被谷歌翻譯使用。
- 聲音的音質(zhì)清晰悅耳。
6.Mimic
https://github.com/MycroftAI/mimic3
Mimic是一個(gè)快如閃電的開(kāi)源TTS引擎。
產(chǎn)品特點(diǎn):
- 由于它基于FLITE技術(shù),您可以自定義語(yǔ)音的聲音。
- 它是一個(gè)低延遲平臺(tái),并且只占用少量的資源。
- 它可以在Linux、Android和Windows上無(wú)縫運(yùn)行。
目前,該工具正在為患有語(yǔ)言障礙的人帶來(lái)逼真的聲音。
7.CMU Flite TTS
https://github.com/festvox/flite
Festival Lite通常被稱(chēng)為Flite。它是一個(gè)小型的運(yùn)行時(shí)引擎,被認(rèn)為是最快的TTS引擎之一。
由于它是一個(gè)開(kāi)源引擎,并且是免費(fèi)的,可以基于這個(gè)項(xiàng)目做許多自定義功能。因此,許多公司都選擇了這個(gè)TTS引擎。
核心特點(diǎn):
- 可以用于小型和大型文件。
- 它是線程安全的,其最新版本提供了一個(gè)輕松的TTS轉(zhuǎn)換。
- 它與Windows、Linux和Android兼容。
- 它還提供多種語(yǔ)言版本。
8.MBROLA
https://github.com/numediart/MBROLA
MBROLA是Multi-Band Resynthesis OverLap Add的縮寫(xiě),也是最常用的開(kāi)源TTS引擎之一。它支持多種語(yǔ)言。
功能特點(diǎn):
- 提供多語(yǔ)種數(shù)據(jù)庫(kù)。
- 它對(duì)于內(nèi)部文本到語(yǔ)音的轉(zhuǎn)換非常有用。
- 它以前是一個(gè)非商業(yè)軟件,但現(xiàn)在作為開(kāi)源TTS引擎推出。
- 它提供了令人愉快的音質(zhì),具有一致性、準(zhǔn)確性的聲音音高。
9.mandarin-tts
https://github.com/ranchlai/mandarin-tts
這是一個(gè)模塊化的中文普通話TTS語(yǔ)音合成框架,旨在支持研究和快速產(chǎn)品開(kāi)發(fā)。
主要功能包括:
- 所有模塊都可通過(guò)YAML配置,
- 支持并可配置說(shuō)話者嵌入/韻律嵌入/多流文本嵌入,
- 適配器支持各種聲碼器(VocGAN、hifi-GAN、waveglow、melGAN),從而可以容易地進(jìn)行不同聲碼器之間的比較,
- 支持持續(xù)時(shí)間/音調(diào)/能量方差預(yù)測(cè)器,并且可以容易地添加其他方差,
10.FCH-TTS
https://github.com/atomicoo/FCH-TTS
一個(gè)快速語(yǔ)音合成模型,適用于英語(yǔ)、普通話/中文、日語(yǔ)、韓語(yǔ)、俄語(yǔ)和藏語(yǔ)。
11.rhasspy piper
https://github.com/rhasspy/piper
piper是一個(gè)快速的本地語(yǔ)音合成系統(tǒng),并針對(duì)Raspberry Pi 4(樹(shù)莓)進(jìn)行了優(yōu)化。 支持包括中文在內(nèi)的多種語(yǔ)言。
使用DEMO如:
echo 'Welcome to the world of speech synthesis!' | \
./piper --model en_US-lessac-medium.onnx --output_file welcome.wav