本文經AI新媒體量子位（公眾號ID:QbitAI）授權轉載，轉載請聯系出處。

 Facebook AI（bushi），更準確地說是Meta AI，剛剛發布了自監督語音處理模型XLS-R，共支持128種語言。

[[436245]]

這項技術與Meta公司最新“元宇宙”愿景緊密相關。

相互交談是人們互動的一種自然方式，隨著語音技術的發展，未來的虛擬世界可以使用我們技術進行互動，虛擬體驗將與物理世界融為一體。

說人話，就是讓母語不同的人在元宇宙里社交：一位說著英語，一位說著漢語，兩人可以靠XLS-R在元宇宙中無障礙對話。

實際效果如何呢？

MetaAI在HuggingFace上發布了試用版語音直譯模型，支持從22種語言轉換到16種語言，我們先來試試它的英譯中效果。

（雖然翻譯腔較濃，但仍算準確，7秒鐘的句子完成翻譯僅1.53秒）

我們知道，世界上的語言有上千種，要用AI實現這些語言的互通并非易事。

一般語料庫的豐富程度決定了語言翻譯模型的質量，語音翻譯一般集中于幾個資源多大語種之間。但是由于小語種往往語料匱乏，使用這類母語的人往往很難獲得較高的AI翻譯質量。

XLS-R通過自監督技術對10倍的語音數據進行訓練，大大改善了以前的多語言模型，尤其是小語種的處理。

XLS-R的原理

XLS-R基于Facebook去年發布的wav2vec 2.0技術。

wav2vec 2.0與BERT類似，是通過預測音頻mask部分的語音單元來訓練的。它們的區別是，語音音頻是一種連續的信號，不能輕易清晰地分割成單詞或其他單位。

wav2vec 2.0通過學習25毫秒長的基本單元來解決這個問題，以便能夠學習高級上下文表示。

在僅擁有一小時的標記訓練數據的情況下，wav2vec 2.0能通過后續無監督的訓練數據，在LibreSpeech測試基準的100小時子集上達到SOTA水平。

之后，Facebook又推出了完全無監督的高性能語音識別模型wav2vec-U，它純粹從錄制的語音音頻和未配對的文本中學習。

為了wav2vec-U讓學習識別音頻錄音中的單詞，Facebook訓練了一個GAN。生成器根據嵌入在自監督表示中的每個音頻段，預測與語言中的聲音對應的音素。

而鑒別器負責評估預測的音素序列是否真實。最初，轉錄非常糟糕，但隨著時間的推移，隨著鑒別器的反饋，轉錄變得準確。

通過這種方式，它學會了區分生成器的語音識別輸出和真實文本。

Facebook在此基礎上推出了包含53種語言的XLSR。

而最新發布的XLS-R有128種語言之多，語種數量是XLSR的兩倍多，數據量更是后者10倍——共計長達43.6萬小時的語音。

XLS-R共有20億參數，它在測試的37種語言中，表現優于大多數語種先前的工作。甚至在老撾語等小語種識別上，也能低于之前的錯誤率。

此外XLS-R也讓低資源語言與英語之間的翻譯大幅改進，例如從印度尼西亞語到英語的翻譯，其中BLEU（雙語互譯質量評估）的準確性平均翻了一番。

CoVoST-2語音翻譯基準測試中，XLS-R在21個英語翻譯方向上比之前技術平均提高了7.4 BLEU。

從下圖中可以看出，XLS-R對低資源語種的提升尤為明顯。

微調XLS-R

XLS-R只是一個預訓練模型，為了能更好地服務于具體任務，還需要對模型進行微調。

Hugging Face官方提供了詳細的微調教程。

此外官方還提供不同參數規模的語音識別模型，以及15種語言與英語之間的互譯模型，供用戶下載。

傳送門

官方博客：
https://ai.facebook.com/blog/xls-r-self-supervised-speech-processing-for-128-languages/

GitHub頁：
https://github.com/pytorch/fairseq/tree/main/examples/wav2vec/xlsr

論文地址：
https://arxiv.org/abs/2111.09296v1

試用網頁地址：
https://huggingface.co/spaces/facebook/XLS-R-2B-22-16

微調方法簡介：
https://huggingface.co/blog/fine-tune-xlsr-wav2vec2