距離 Mirco Ravanelli 宣布打造新的語(yǔ)音工具包過(guò)去了一年多，SpeechBrain 真的如期而至。

語(yǔ)音處理技術(shù)的進(jìn)步，是人工智能改變大眾的生活的重要一環(huán)。深度學(xué)習(xí)技術(shù)的興起，也讓這一領(lǐng)域近年來(lái)得到了長(zhǎng)足的發(fā)展。在過(guò)往，該領(lǐng)域的主要方法是為不同的任務(wù)開(kāi)發(fā)不同的工具包，對(duì)于使用者來(lái)說(shuō)，學(xué)習(xí)各個(gè)工具包需要大量時(shí)間，還可能涉及到學(xué)習(xí)不同的編程語(yǔ)言，熟悉不同的代碼風(fēng)格和標(biāo)準(zhǔn)等。現(xiàn)在，這些任務(wù)大多可以用深度學(xué)習(xí)技術(shù)來(lái)實(shí)現(xiàn)。

此前，開(kāi)發(fā)者常用的語(yǔ)音工具有 Kaldi、ESPNet、CMU Sphinx、HTK 等，它們各有各的不足之處。以 Kaldi 為例，它依賴大量的腳本語(yǔ)言，而且核心算法使用 C++ 編寫(xiě)，再加上可能需要改變各種神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)。即便是擁有豐富經(jīng)驗(yàn)的工程師，在調(diào)試的時(shí)候也會(huì)經(jīng)歷巨大的痛苦。

秉承著讓語(yǔ)音開(kāi)發(fā)者更輕松的原則，Yoshua Bengio 團(tuán)隊(duì)成員 Mirco Ravanelli 等人曾經(jīng)開(kāi)發(fā)了一個(gè)試圖繼承 Kaldi 的效率和 PyTorch 的靈活性的開(kāi)源框架——PyTorch-Kaldi，但據(jù)開(kāi)發(fā)成員本人認(rèn)為「還不夠完善」。

所以，在一年多前， Mirco Ravanelli 宣布要打造一款新的一體化語(yǔ)音工具包 SpeechBrain。該項(xiàng)目于近日正式開(kāi)源，鑒于上述背景，SpeechBrain 誕生的主要宗旨是：夠簡(jiǎn)單、夠靈活、對(duì)用戶友好。

項(xiàng)目地址：https://github.com/speechbrain/speechbrain

作為一個(gè)基于 PyTorch 的開(kāi)源一體化語(yǔ)音工具包，SpeechBrain 可用于開(kāi)發(fā)最新的語(yǔ)音技術(shù)，包括語(yǔ)音識(shí)別、說(shuō)話者識(shí)別、語(yǔ)音增強(qiáng)、多麥克風(fēng)信號(hào)處理和語(yǔ)音識(shí)別系統(tǒng)等，且擁有相當(dāng)出色的性能。團(tuán)隊(duì)將其特征概況為「易于使用」、「易于定制」、「靈活」、「模塊化」等。

對(duì)于機(jī)器學(xué)習(xí)研究者來(lái)說(shuō)，SpeechBrain 可輕松嵌入其他模型，促進(jìn)語(yǔ)音技術(shù)的相關(guān)研究；對(duì)于初學(xué)者來(lái)說(shuō)，SpeechBrain 也不難掌握，根據(jù)測(cè)試，一般開(kāi)發(fā)者僅需要幾個(gè)小時(shí)就能熟悉該工具包的使用。此外，開(kāi)發(fā)團(tuán)隊(duì)也發(fā)布了很多教程以供參考（https://speechbrain.github.io/tutorial_basics.html）。

總體來(lái)說(shuō)，SpeechBrain 有以下幾大亮點(diǎn)：

• 開(kāi)發(fā)團(tuán)隊(duì)與 HuggingFace 集成一些預(yù)訓(xùn)練模型，這些模型具備可運(yùn)行推理的接口。如果 HuggingFace 模型不可用，團(tuán)隊(duì)會(huì)提供一個(gè) Google Drive 文件夾，包含所有對(duì)應(yīng)的實(shí)驗(yàn)結(jié)果；
• 使用 PyTorch 數(shù)據(jù)并行或分布式數(shù)據(jù)并行來(lái)進(jìn)行多 GPU 訓(xùn)練和推理；
• 混合精度，加快訓(xùn)練速度；
• 透明且完全可自定義的數(shù)據(jù)輸入和輸出 pipeline。SpeechBrain 遵循 PyTorch 數(shù)據(jù)加載器和數(shù)據(jù)集樣式，使用戶能夠自定義 I / O pipeline。

快速安裝

目前開(kāi)發(fā)者可以通過(guò) PyPI 安裝 SpeechBrain，此外還可以使用本地安裝來(lái)運(yùn)行實(shí)驗(yàn)和修改 / 自定義工具包。

SpeechBrain 支持基于 Linux 的發(fā)行版和 macOS（且針對(duì) Windows 用戶也提供了相應(yīng)解決方案：https://github.com/speechbrain/speechbrain/issues/512）。
SpeechBrain 支持 CPU 和 GPU，但對(duì)于大多數(shù) recipe 而言，訓(xùn)練期間必須使用 GPU。需要注意的是，必須正確安裝 CUDA 才能使用 GPU。

安裝教程地址：https://speechbrain.readthedocs.io/en/latest/installation.html

通過(guò) PyPI 安裝

創(chuàng)建 Python 環(huán)境后，只需輸入以下內(nèi)容即可：

pip install speechbrain 

然后可以使用以下命令訪問(wèn) SpeechBrain：

import  speech  brain  as  sb 

本地安裝

創(chuàng)建 Python 環(huán)境后，只需輸入以下內(nèi)容即可：

git clone https://github.com/speechbrain/speechbrain.gitcd speechbrainpip install -r requirements.txtpip install --editable . 

然后可以通過(guò)以下方式訪問(wèn) SpeechBrain：

import  speechbrain  as  sb 

對(duì) speechbrain 軟件包所做的任何修改，將在安裝帶有 --editable 標(biāo)志的軟件包時(shí)自動(dòng)解釋。

SpeechBrain 未附屬于任何機(jī)構(gòu)，團(tuán)隊(duì)成員來(lái)自 Mila 研究所、Nuance、杜比實(shí)驗(yàn)室、英偉達(dá)、三星、Viadialog 等實(shí)驗(yàn)室和企業(yè)單位。最初的兩位負(fù)責(zé)人是 Mila 研究所博士后 Mirco Ravanelli 和 Avignon 博士生 Titouan Parcollet。目前，Speechbrain 項(xiàng)目還在完善中，也歡迎更多開(kāi)發(fā)人員加入。

看到這里，Kaldi 會(huì)不會(huì)感到壓力有點(diǎn)大了呢？