本文經(jīng)AI新媒體量子位（公眾號(hào)ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請(qǐng)聯(lián)系出處。

AI孫燕姿這么快翻唱了這么多首歌，到底是咋實(shí)現(xiàn)的？

關(guān)鍵在于一個(gè)開源項(xiàng)目。

最近，這波AI翻唱趨勢(shì)大火，不僅是AI孫燕姿唱的歌越來越多，AI歌手的范圍也在擴(kuò)大，就連制作教程都層出不窮了。

而如果在各大教程中溜達(dá)一圈后就會(huì)發(fā)現(xiàn)，其中的關(guān)鍵秘訣，還是要靠一個(gè)名為so-vits-svc的開源項(xiàng)目。

它提供了一種音色替換的辦法，項(xiàng)目在今年3月發(fā)布。

貢獻(xiàn)成員應(yīng)該大部分都來自國(guó)內(nèi)，其中貢獻(xiàn)量最高的還是一位玩明日方舟的廣西老表。

如今，項(xiàng)目已經(jīng)停止更新了，但是星標(biāo)數(shù)量還在蹭蹭上漲，目前已經(jīng)到了8.4k。

所以它到底實(shí)現(xiàn)了哪些技術(shù)能引爆這波趨勢(shì)？

一起來看。

多虧了一個(gè)開源項(xiàng)目

這個(gè)項(xiàng)目名叫SoftVC VITS Singing Voice Conversion（歌聲轉(zhuǎn)換）。

它提供了一種音色轉(zhuǎn)換算法，采用SoftVC內(nèi)容編碼器提取源音頻語音特征，然后將矢量直接輸入VITS，中間不轉(zhuǎn)換成文本，從而保留了音高和語調(diào)。

此外，還將聲碼器改為NSF HiFiGAN，可以解決聲音中斷的問題。

具體分為以下幾步：

• 預(yù)訓(xùn)練模型
• 準(zhǔn)備數(shù)據(jù)集
• 預(yù)處理
• 訓(xùn)練
• 推理

其中，預(yù)訓(xùn)練模型這步是關(guān)鍵之一，因?yàn)轫?xiàng)目本身不提供任何音色的音頻訓(xùn)練模型，所以如果你想要做一個(gè)新的AI歌手出來，需要自己訓(xùn)練模型。

而預(yù)訓(xùn)練模型的第一步，是準(zhǔn)備干聲，也就是無音樂的純?nèi)寺暋?/p>

很多博主使用的工具都是UVR_v5.5.0。

推特博主@歸藏介紹說，在處理前最好把聲音格式轉(zhuǎn)成WAV格式，因?yàn)镾o-VITS-SVC 4.0只認(rèn)這個(gè)格式，方便后面處理。

想要效果好一些，需要處理兩次背景音，每次的設(shè)置不同，能最大限度提高干聲質(zhì)量。

得到處理好的音頻后，需要進(jìn)行一些預(yù)處理操作。

比如音頻太長(zhǎng)容易爆顯存，需要對(duì)音頻切片，推薦5-15秒或者再長(zhǎng)一點(diǎn)也OK。

然后要重新采樣到44100Hz和單聲道，并自動(dòng)將數(shù)據(jù)集劃分為訓(xùn)練集和驗(yàn)證集，生成配置文件。再生成Hubert和f0。

接下來就能開始訓(xùn)練和推理了。

具體的步驟可以移步GitHub項(xiàng)目頁查看（指路文末）。

值得一提的是，這個(gè)項(xiàng)目在今年3月上線，目前貢獻(xiàn)者有25位。從貢獻(xiàn)用戶的簡(jiǎn)介來看，很多應(yīng)該都來自國(guó)內(nèi)。

據(jù)說項(xiàng)目剛上線時(shí)也有不少漏洞并且需要編程，但是后面幾乎每一天都有人在更新和修補(bǔ)，現(xiàn)在的使用門檻已經(jīng)降低了不少。

目前項(xiàng)目已經(jīng)停止更新了，但還是有一些開發(fā)者創(chuàng)建了新的分支，比如有人做出了支持實(shí)時(shí)轉(zhuǎn)換的客戶端。

項(xiàng)目貢獻(xiàn)量最多的一位開發(fā)者是Miuzarte，從簡(jiǎn)介地址判斷應(yīng)該來自廣西。

隨著想要上手使用的人越來越多，也有不少博主推出了上手難度更低、更詳細(xì)的使用指南。

歸藏推薦的方法是使用整合包來推理（使用模型）和訓(xùn)練，還有B站的Jack-Cui展示了Windows下的步驟指南（https://www.bilibili.com/read/cv22375562）。

需要注意的是，模型訓(xùn)練對(duì)顯卡要求還是比較高的，顯存小于6G容易出現(xiàn)各類問題。

Jack-Cui建議使用N卡，他用RTX 2060 S，訓(xùn)練自己的模型大概用了14個(gè)小時(shí)。

訓(xùn)練數(shù)據(jù)也同樣關(guān)鍵，越多高質(zhì)量音頻，就意味著最后效果可以越好。

還是會(huì)擔(dān)心版權(quán)問題

值得一提的是，在so-vits-svc的項(xiàng)目主頁上，著重強(qiáng)調(diào)了版權(quán)問題。

警告：請(qǐng)自行解決數(shù)據(jù)集的授權(quán)問題。因使用未經(jīng)授權(quán)的數(shù)據(jù)集進(jìn)行培訓(xùn)而產(chǎn)生的任何問題及其一切后果，由您自行承擔(dān)責(zé)任。存儲(chǔ)庫(kù)及其維護(hù)者、svc開發(fā)團(tuán)隊(duì)，與生成結(jié)果無關(guān)!

這和AI畫畫爆火時(shí)有點(diǎn)相似。

因?yàn)锳I生成內(nèi)容的最初數(shù)據(jù)取材于人類作品，在版權(quán)方面的爭(zhēng)論不絕于耳。

而且隨著AI作品盛行，已經(jīng)有版權(quán)方出手下架平臺(tái)上的視頻了。

據(jù)了解，一首AI合成的《Heart on My Sleeve》在Tik Tok上爆火，它合成了Drake和Weekend演唱的版本。

但隨后，Drake和Weekend的唱片公司環(huán)球音樂將這個(gè)視頻從平臺(tái)上下架了，并在聲明里向潛在的仿冒者發(fā)問，“是要站在藝術(shù)家、粉絲和人類創(chuàng)造性表達(dá)的一邊，還是站在Deepfake、欺詐和拒付藝術(shù)家賠償?shù)囊贿叄俊?/p>

此外，歌手Drake對(duì)AI合成翻唱歌曲表達(dá)了不滿。

而另一邊，也有人選擇擁抱這項(xiàng)技術(shù)。

加拿大歌手Grimes表示，她愿意讓別人使用自己的聲音合成歌曲，但是要給她一半版權(quán)費(fèi)。

GitHub地址：https://github.com/svc-develop-team/so-vits-svc