【51CTO.com原創(chuàng)稿件】相信看過(guò)《名偵探柯南》的小伙伴，都會(huì)對(duì)柯南身上五花八門的黑科技“保命神器”記憶猶新吧。它們不單陪著柯南出入各種案發(fā)現(xiàn)場(chǎng)，協(xié)助破案，關(guān)鍵時(shí)刻還能幫柯南化險(xiǎn)為夷，逃出生天。而這其中最被人熟知的，當(dāng)屬蝴蝶結(jié)變聲器了。近年來(lái)，隨著科技的發(fā)展，這種神奇的蝴蝶結(jié)變聲器也已成為現(xiàn)實(shí)了。今天，就讓小編帶您一同去探究下它是如何實(shí)現(xiàn)的吧！

[[235877]]

簡(jiǎn)單來(lái)說(shuō)，語(yǔ)音合成分為文本分析、韻律分析和聲學(xué)分析三個(gè)部分。通過(guò)文本分析提取出文本特征，在此基礎(chǔ)上預(yù)測(cè)基頻、時(shí)長(zhǎng)、節(jié)奏等多種韻律特征，然后通過(guò)聲學(xué)模型實(shí)現(xiàn)從前端參數(shù)到語(yǔ)音參數(shù)的映射。

波形拼接語(yǔ)音合成的過(guò)程很容易理解，即在語(yǔ)料庫(kù)中抽取合適的拼接單元，拼接成為句子。而參數(shù)語(yǔ)音合成則需要對(duì)音庫(kù)進(jìn)行參數(shù)化建模，根據(jù)訓(xùn)練得到的模型預(yù)測(cè)出韻律參數(shù)和聲學(xué)參數(shù)。

通常情況下，波形拼接語(yǔ)音合成需要對(duì)錄音人進(jìn)行長(zhǎng)達(dá)幾十個(gè)小時(shí)以上的錄音采集，而參數(shù)語(yǔ)音合成則只需要十個(gè)小時(shí)的錄音采集，即可完成一套定制化語(yǔ)音包的制作 。

綜合對(duì)比來(lái)看，拼接合成的語(yǔ)音更加貼近真實(shí)發(fā)音，但波形拼接語(yǔ)音合成需要有足夠的高質(zhì)量發(fā)音人錄音才能夠合成高質(zhì)量的語(yǔ)音；統(tǒng)計(jì)參數(shù)語(yǔ)音合成雖然整體合成質(zhì)量略低，但是在發(fā)音人語(yǔ)料規(guī)模有限的條件下，優(yōu)勢(shì)更為明顯。

近年來(lái)，深度學(xué)習(xí)已成為AI領(lǐng)域的當(dāng)紅辣子雞，不單發(fā)展勢(shì)頭迅猛，所涉及領(lǐng)域也越發(fā)寬泛，無(wú)論是學(xué)術(shù)研究還是企業(yè)應(yīng)用均呈現(xiàn)出指數(shù)級(jí)增長(zhǎng)的趨勢(shì)；伴隨著這項(xiàng)技術(shù)的不斷成熟，深度學(xué)習(xí)對(duì)智能語(yǔ)音領(lǐng)域也產(chǎn)生巨大的沖擊，極大的超越了傳統(tǒng)的語(yǔ)音合成技術(shù)。

傳統(tǒng)的基于HMM統(tǒng)計(jì)參數(shù)的語(yǔ)音合成是在訓(xùn)練過(guò)程中建立文本參數(shù)與聲學(xué)參數(shù)之間的映射模型，通過(guò)高斯混合模型描述每個(gè)建模單元。在建模過(guò)程中有三個(gè)環(huán)節(jié)會(huì)導(dǎo)致語(yǔ)音音質(zhì)下降，第一是決策樹的聚類，第二是聲碼器，第三是參數(shù)生成算法。針對(duì)決策樹聚類問(wèn)題，可以通過(guò)深層神經(jīng)網(wǎng)絡(luò)建立文本特征和聲學(xué)特征之間的映射關(guān)系，替代傳統(tǒng)的淺層模型，提高模型精度；比較典型的深層神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)包括深層置信神經(jīng)網(wǎng)絡(luò)和長(zhǎng)短時(shí)記憶遞歸神經(jīng)網(wǎng)絡(luò)；后者具有更強(qiáng)的序列學(xué)習(xí)能力，采用BLSTM-RNN建模時(shí)，還可以跳過(guò)參數(shù)生成算法直接預(yù)測(cè)語(yǔ)音參數(shù)，最后通過(guò)聲碼器就可以合成語(yǔ)音；總的來(lái)說(shuō)，利用深層神經(jīng)網(wǎng)絡(luò)強(qiáng)大的非線性建模能力，在一定程度上提升了語(yǔ)音合成系統(tǒng)的性能，但是并沒(méi)有跳出原有的語(yǔ)音合成系統(tǒng)框架。

在已有的研究中，很少有人會(huì)直接在時(shí)域上對(duì)已有音頻建模。從直覺(jué)上分析，構(gòu)建一個(gè)自回歸模型，能夠預(yù)測(cè)每一個(gè)samples是如何被前面所有的samples所影響的，是一個(gè)相當(dāng)艱巨的任務(wù)。谷歌提出的基于WaveNets的語(yǔ)音合成方法，跳出了傳統(tǒng)語(yǔ)音合成框架，繞開(kāi)聲碼器模塊，直接對(duì)采樣點(diǎn)進(jìn)行預(yù)測(cè)，面對(duì)這個(gè)充滿挑戰(zhàn)的問(wèn)題，取得了突破。

WaveNet語(yǔ)音合成系統(tǒng)的輸入包括文本特征以及先前時(shí)段的音頻采樣點(diǎn)。其中文本特征的有效表述起到非常重要的作用。如果在沒(méi)有文本序列的情況下來(lái)訓(xùn)練網(wǎng)絡(luò)，仍然可以生成語(yǔ)音，但是無(wú)法聽(tīng)懂輸出音頻的內(nèi)容。WaveNet語(yǔ)音合成系統(tǒng)存在的問(wèn)題是模型每次輸出單個(gè)采樣點(diǎn)，計(jì)算效率難以滿足實(shí)用要求。可以引入一些自適應(yīng)的方法對(duì)已有模型進(jìn)行優(yōu)化，使其能夠適用于不同發(fā)音人。也可以在模型的輸入端提供更多的信息，例如情感或口音，這樣使得生成的語(yǔ)音可以更多樣化，更具表現(xiàn)力。

2017 年 2 月，百度研究部門提出了深度語(yǔ)音（Deep Voice）系統(tǒng)，該系統(tǒng)是一個(gè)完全由深度神經(jīng)網(wǎng)絡(luò)構(gòu)建的高質(zhì)量文本轉(zhuǎn)語(yǔ)音系統(tǒng)。

它將里面的很多模塊用深度神經(jīng)網(wǎng)絡(luò)去實(shí)現(xiàn)，通過(guò)類似于WaveNet的合成器來(lái)合成，效果也是比較理想的。已有的語(yǔ)音合成系統(tǒng)會(huì)在某些環(huán)節(jié)上采用深度學(xué)習(xí)，但在Deep Voice之前，沒(méi)有團(tuán)隊(duì)采用全深度學(xué)習(xí)的框架。傳統(tǒng)語(yǔ)音合成需要進(jìn)行大量的特征處理和特征構(gòu)建，但百度通過(guò)使用深度學(xué)習(xí)避免了這些問(wèn)題。這使得 Deep Voice 的應(yīng)用范圍更加廣泛，使用起來(lái)也更加方便。如果需要應(yīng)用于新的數(shù)據(jù)集，傳統(tǒng)的語(yǔ)音合成系統(tǒng)完成重新訓(xùn)練需數(shù)天到數(shù)周的時(shí)間進(jìn)行調(diào)節(jié)，而對(duì)Deep Voice進(jìn)行手動(dòng)操作和訓(xùn)練模型所需的時(shí)間只要幾個(gè)小時(shí)就足夠。相比于WaveNet語(yǔ)音合成系統(tǒng)，現(xiàn)在這個(gè)系統(tǒng)的有效速度提升了400倍。

第一個(gè)是Char2Wav，這個(gè)模型是直接對(duì)輸入的文本進(jìn)行編碼，采用encoder-decoder模型。對(duì)輸入特征進(jìn)行編碼，然后生成的中間編碼信息放到解碼器里進(jìn)行最后的合成，合成采用SimpleRNN的合成器來(lái)合成語(yǔ)音，效果也是比較理想的，而且是典型的End-To-End的語(yǔ)音合成模型。

再一個(gè)是谷歌提出的端對(duì)端的語(yǔ)音合成系統(tǒng)Tacotron，它跟Char2Wav比較類似，該模型可接收Embeddings的輸入，輸出相應(yīng)的原始頻譜圖，然后將其提供給 Griffin-Lim 重建算法直接生成語(yǔ)音。合成的效果也比較理性。

測(cè)試結(jié)果上，合成效果也比較理想：Tacotron 在美式英語(yǔ)測(cè)試?yán)锏钠骄饔^意見(jiàn)評(píng)分達(dá)到了 3.82 分（總分是 5 分），在自然感（naturalness）方面優(yōu)于已在生產(chǎn)中應(yīng)用的參數(shù)系統(tǒng)（parametric system）。此外，由于 Tacotron 是在幀（frame）層面上生成語(yǔ)音，所以它比樣本級(jí)自回歸（sample-level autoregressive）方式快得多。

好了，說(shuō)了這么多，你是否對(duì)建立在深度學(xué)習(xí)基礎(chǔ)上的語(yǔ)音合成技術(shù)有了更進(jìn)一步的了解呢？其實(shí)，目前我們已可在許多領(lǐng)域熟練的應(yīng)用這一技術(shù)了：在AI推手此前提到的紀(jì)錄片《創(chuàng)造中國(guó)》中，節(jié)目負(fù)責(zé)人就成功合成了“時(shí)代之音”李易老師的聲音；百度也曾在發(fā)起的“別開(kāi)生面”的張國(guó)榮誕辰60周年紀(jì)念活動(dòng)中，合成出張國(guó)榮生前的聲音，并在張國(guó)榮最新電影《緣分》開(kāi)場(chǎng)前首次公布對(duì)話實(shí)錄視頻，實(shí)現(xiàn)了粉絲與偶像“互動(dòng)”的愿望，以特殊的方式，紀(jì)念一代天王。。。。

語(yǔ)音合成技術(shù)的不斷發(fā)展，一方面突顯了科技發(fā)展的重要性，一方面也為我們的日常生活帶來(lái)了無(wú)數(shù)驚喜~

【51CTO原創(chuàng)稿件，合作站點(diǎn)轉(zhuǎn)載請(qǐng)注明原文作者和出處為51CTO.com】