同一天，Nature雙發(fā)「腦機(jī)接口」重磅研究，足以改變整個(gè)人類(lèi)！

30歲那年，一次毀滅性的中風(fēng)，讓一位47歲加拿大女性幾乎完全癱瘓，此后失語(yǔ)18年。

幸運(yùn)地是，來(lái)自加州大學(xué)的團(tuán)隊(duì)開(kāi)發(fā)了全新腦機(jī)接口（BCI），讓Ann控制「數(shù)字化身」再次開(kāi)始說(shuō)話了。

「I think you are wonderful」，當(dāng)這句話說(shuō)出口時(shí)，對(duì)于Ann來(lái)說(shuō)，足足跨越了十多年。

值得一提的是，這個(gè)數(shù)字化身中面部表情實(shí)現(xiàn)，采用了「最后生還者 2」同樣的技術(shù)。

具體來(lái)講，研究人員在Ann的大腦表層下，植入一系列電極。

當(dāng)Ann試圖說(shuō)話時(shí)，BCI便會(huì)攔截大腦信號(hào)，將其轉(zhuǎn)化為單詞、語(yǔ)音。這里，AI不是去解碼整個(gè)單詞，而是解碼音素。

加州大學(xué)的BCI實(shí)現(xiàn)了能夠以每分鐘78個(gè)單詞的速度說(shuō)話，遠(yuǎn)遠(yuǎn)超過(guò)Ann曾經(jīng)帶過(guò)的設(shè)備，即每分14個(gè)單詞。

正如論文題目所示，研究關(guān)鍵實(shí)現(xiàn)了「語(yǔ)音解碼」和「數(shù)字化身控制」，也正是與以往研究最大的不同。

全新的BCI技術(shù)通過(guò)面部表情，為數(shù)字化身Avatar制作動(dòng)畫(huà)，以模仿人類(lèi)自然交流的細(xì)節(jié)。

論文地址：https://www.nature.com/articles/s41586-023-06443-4

這項(xiàng)突破性的研究于8月23日在Nature發(fā)表。這是首次，直接從大腦信號(hào)合成語(yǔ)音和面部動(dòng)作，標(biāo)志著腦機(jī)接口的一大飛躍。

另一篇登上Nature的研究，同樣是關(guān)注將語(yǔ)音神經(jīng)活動(dòng)轉(zhuǎn)化為文字的腦際接口。

研究結(jié)果稱(chēng)，癱瘓患者能夠以每分62個(gè)字的速度進(jìn)行交流，比之前的研究快3.4倍。

論文地址：https://www.nature.com/articles/s41586-023-06377-x

兩項(xiàng)重磅研究，全都將語(yǔ)音大腦信號(hào)轉(zhuǎn)成文本的速度大幅提升，甚至還讓虛擬化身做人類(lèi)「嘴替」。

創(chuàng)世的腦機(jī)接口，讓人類(lèi)離機(jī)械飛升不遠(yuǎn)了。

第一句話出口時(shí)，她幸福地笑了

三十而立，對(duì)于每個(gè)人來(lái)說(shuō)，人生還有許多驚喜需要開(kāi)啟。

對(duì)于Ann來(lái)說(shuō)，作為加拿大的一名高中數(shù)學(xué)老師，正在講臺(tái)上教書(shū)育人，桃李滿天下。

然而，突如其來(lái)的一場(chǎng)中風(fēng)，讓她瞬間失去對(duì)身體所有肌肉的控制，甚至無(wú)法呼吸。

從此，她再也沒(méi)有說(shuō)出一句話。

腦中風(fēng)最直接的后果，就是無(wú)法控制面部肌肉，導(dǎo)致面癱，無(wú)法說(shuō)話。

在接下來(lái)的5年里，Ann經(jīng)常輾轉(zhuǎn)難眠，害怕自己會(huì)在睡夢(mèng)中死去。

經(jīng)過(guò)多年的物理治療，也看到了一些初步成果。

她能夠做出有限的面部表情，以及一些頭部和頸部運(yùn)動(dòng)，盡管如此，她依舊無(wú)法驅(qū)動(dòng)面部說(shuō)話的肌肉。

為此，她也接受了腦機(jī)接口的手術(shù)。

不過(guò)以往的BCI技術(shù)不夠先進(jìn)，只能讓Ann進(jìn)行艱難緩慢的交流，無(wú)法將她的大腦信號(hào)解碼為流利的語(yǔ)言。

Ann輕輕移動(dòng)頭部，通過(guò)設(shè)備在電腦屏幕上緩慢地打字，「一夜之間，我的一切都被奪走了。」

2022年，Ann決定再次做出嘗試，自愿成為加州大學(xué)研究團(tuán)隊(duì)的受試者。

添加一張臉，一個(gè)聲音

對(duì)此，研究人員記錄了Ann試圖背誦單詞時(shí)的大腦信號(hào)模式，以訓(xùn)練人工智能算法識(shí)別各種語(yǔ)音信號(hào)。

值得一提的是，訓(xùn)練的AI是來(lái)解碼音素——語(yǔ)音的基本要素，而不是整個(gè)單詞，使其速度和通用性提高了3倍。

為了做到這一點(diǎn)，研究小組在安的大腦表面植入了一個(gè)由253個(gè)電極組成薄如紙片的矩形電極。

然后，由一根電纜插入Ann頭部固定的端口，將電極連接到一組計(jì)算機(jī)上。

這一系統(tǒng)，現(xiàn)在能以每分近80個(gè)單詞的速度將Ann的嘗試語(yǔ)音轉(zhuǎn)錄成文本，遠(yuǎn)遠(yuǎn)超過(guò)了她以前的BCI設(shè)備的速度。

通過(guò)Ann在2005年的婚禮錄像，研究團(tuán)隊(duì)利用人工智能重建了一個(gè)人獨(dú)特的語(yǔ)調(diào)和口音。

然后，他們利用一家致力于語(yǔ)音生成動(dòng)畫(huà)技術(shù)公司Speech Graphics開(kāi)發(fā)的軟件創(chuàng)建了一個(gè)個(gè)性化數(shù)字化身，能夠?qū)崟r(shí)模擬Ann的面部表情。

他能夠與Ann試圖說(shuō)話時(shí)大腦發(fā)出的信號(hào)相匹配，并將這些信號(hào)轉(zhuǎn)換成她的化身面部動(dòng)作。

包括下巴張開(kāi)和閉合、嘴唇撅起和抿緊、舌頭上翹和下垂，以及快樂(lè)、悲傷和驚訝的面部動(dòng)作。

現(xiàn)在，當(dāng)Ann嘗試說(shuō)話時(shí)，數(shù)字化身就會(huì)無(wú)縫地制作動(dòng)畫(huà)，并說(shuō)出她想要的話。

這里，著名的冒險(xiǎn)游戲「最后生還者 2」「光環(huán)：無(wú)限」等在呈現(xiàn)生動(dòng)多樣的人物面部表情時(shí)，同樣使用了Speech Graphics的面部捕捉技術(shù)。

Speech Graphics的首席技術(shù)官兼聯(lián)合創(chuàng)始人Michael Berger表示：

創(chuàng)建一個(gè)可以實(shí)時(shí)說(shuō)話、表情和表達(dá)的數(shù)字化身，并直接與受試者的大腦相連，顯示了人工智能驅(qū)動(dòng)面部的潛力遠(yuǎn)遠(yuǎn)超出了視頻游戲。

僅恢復(fù)說(shuō)話本身就令人印象深刻，而面部交流是人類(lèi)的固有特性，它讓患者再次擁有了這個(gè)非凡的能力。

加州大學(xué)的這項(xiàng)研究工作不僅僅是BCI技術(shù)突破，更是無(wú)數(shù)特殊人士的希望。

這項(xiàng)技術(shù)突破讓個(gè)人實(shí)現(xiàn)獨(dú)立，自我表達(dá)觸手可及，為Ann和無(wú)數(shù)因癱瘓而失去語(yǔ)言能力的人，帶去了前所未知的希望。

對(duì)于Ann如今13個(gè)月大的女兒來(lái)說(shuō)，BCI突破讓她聽(tīng)到了，從誕生起，從未聆聽(tīng)過(guò)的母親的聲音。

據(jù)介紹，他們開(kāi)發(fā)的下一個(gè)BCI版本，是無(wú)線的，省去了連接到物理系統(tǒng)的麻煩。

加州大學(xué)這項(xiàng)實(shí)驗(yàn)領(lǐng)導(dǎo)者Edward Chang已經(jīng)用了十多年的時(shí)間推進(jìn)腦機(jī)接口技術(shù)。

2021年，他和他的研究團(tuán)隊(duì)開(kāi)發(fā)了一種「語(yǔ)言神經(jīng)科技輔具」（speech neuroprosthesis），讓一名嚴(yán)重癱瘓的男子能夠用完整的句子進(jìn)行交流。

這項(xiàng)技術(shù)，能捕捉大腦指向聲道的信號(hào)，并將其轉(zhuǎn)化為文字顯示在屏幕上，標(biāo)志著首次證明了語(yǔ)音-大腦信號(hào)可以被解碼為完整的單詞。

那么，加州大學(xué)讓Ann「開(kāi)口說(shuō)話」的背后技術(shù)具體是如何實(shí)現(xiàn)的呢？

技術(shù)實(shí)現(xiàn)

在這項(xiàng)研究中，由加州大學(xué)舊金山分校神經(jīng)外科主任Edward Chang博士領(lǐng)導(dǎo)的研究團(tuán)隊(duì)將253針電極陣列植入了Ann的大腦語(yǔ)言控制區(qū)。

這些探頭監(jiān)測(cè)并捕獲了神經(jīng)信號(hào)，并通過(guò)頭骨中的電纜端口將它們傳輸?shù)揭唤M處理器中，在這個(gè)計(jì)算堆棧（ computing stack）中有一個(gè)機(jī)器學(xué)習(xí)AI。

幾周來(lái)，Ann與團(tuán)隊(duì)合作訓(xùn)練系統(tǒng)的人工智能算法，以識(shí)別她的大腦中1000多個(gè)單詞的神經(jīng)信號(hào)模式。

這需要一遍又一遍地重復(fù)1,024個(gè)單詞的會(huì)話詞匯中的不同短語(yǔ)，直到計(jì)算機(jī)識(shí)別出與所有基本語(yǔ)音相關(guān)的大腦活動(dòng)模式。

研究人員沒(méi)有訓(xùn)練AI識(shí)別整個(gè)單詞，而是創(chuàng)建了一個(gè)系統(tǒng)，可以從音素的較小組件中解碼單詞。音素以與字母形成書(shū)面單詞相同的方式形成口語(yǔ)。例如，「Hello」包含四個(gè)音素：「HH」、「AH」、「L」和「OW」。

使用這種方法，計(jì)算機(jī)只需要學(xué)習(xí)39個(gè)音素，就可以破譯英語(yǔ)中的任何單詞。這既提高了系統(tǒng)的準(zhǔn)確性，又使速度提高了三倍。

但這只是研究的一個(gè)小序曲，重頭戲在AI對(duì)Ann意圖的解碼和映射。

電極被放置在大腦區(qū)域，研究小組發(fā)現(xiàn)這些區(qū)域?qū)φZ(yǔ)言至關(guān)重要

研究團(tuán)隊(duì)通過(guò)深度學(xué)習(xí)模型，將檢測(cè)到的神經(jīng)信號(hào)映射到語(yǔ)音單元、語(yǔ)音特征，以輸出文本、合成語(yǔ)音和驅(qū)動(dòng)虛擬人物。

剛剛提到，研究人員與Speech Graphics公司合作制作了患者的虛擬形象。

SG的技術(shù)根據(jù)對(duì)音頻輸入的分析，「逆向設(shè)計(jì)」出面部必要的肌肉骨骼動(dòng)作，然后將這些數(shù)據(jù)實(shí)時(shí)輸入游戲引擎，制作成一個(gè)無(wú)延遲的形象。

由于病人的精神信號(hào)可以直接映射到化身上，因此她也可以表達(dá)情感、甚至進(jìn)行非語(yǔ)言交流。

多模態(tài)語(yǔ)音解碼系統(tǒng)概述

研究人員設(shè)計(jì)了一個(gè)語(yǔ)音解碼系統(tǒng)，幫助因嚴(yán)重癱瘓和無(wú)法發(fā)聲的Ann重新與他人進(jìn)行溝通交流。

Ann與團(tuán)隊(duì)合作訓(xùn)練AI算法，以識(shí)別與音素相關(guān)的大腦信號(hào)（音素是形成口語(yǔ)的語(yǔ)音亞單元）

研究人員在Ann的大腦皮層上植入了一個(gè)有253個(gè)通道的高密度ECoG陣列，特別是覆蓋了與語(yǔ)言有關(guān)的大腦皮層區(qū)域，包括SMC和顳上回。

簡(jiǎn)單來(lái)說(shuō)，這些區(qū)域與研究人員的面部、嘴唇、舌頭和下巴的動(dòng)作有關(guān) (1a-c)。

通過(guò)該陣列，研究人員可以檢測(cè)到這些區(qū)域在Ann想要說(shuō)話時(shí)的電信號(hào)。

研究人員注意到當(dāng)Ann嘗試移動(dòng)她的嘴唇、舌頭和下巴時(shí)，陣列可以捕獲到不同的激活信號(hào) (1d)。

為了研究如何從大腦信號(hào)中解碼語(yǔ)言，研究人員讓Ann在看到屏幕上的句子后嘗試無(wú)聲地說(shuō)出這個(gè)句子，即做出發(fā)音的動(dòng)作。

研究人員從Ann頭部的253個(gè)ECoG電極捕獲到的信號(hào)中，提取了兩種主要的大腦活動(dòng)信號(hào)：高伽瑪活動(dòng)（70-150赫茲）和低頻信號(hào)（0.3-17赫茲）。

隨后便使用了深度學(xué)習(xí)模型去學(xué)習(xí)如何從這些大腦信號(hào)中預(yù)測(cè)發(fā)音、語(yǔ)音和口腔動(dòng)作，最終將這些預(yù)測(cè)轉(zhuǎn)化為文本、合成語(yǔ)音和虛擬化身的動(dòng)作。

文本解碼：

研究團(tuán)隊(duì)希望從大腦中解碼文本，特別是在患有發(fā)音困難的人嘗試說(shuō)話的情況下。

但他們?cè)缙诘呐υ庥隽私獯a速度慢和詞匯量小的限制。

本研究中，他們使用了電話解碼（phone decoding）的方法，這使他們能夠從大詞匯量中解碼任意短語(yǔ)，并實(shí)現(xiàn)接近自然說(shuō)話的速度。

為了評(píng)估實(shí)時(shí)性能，當(dāng)Ann嘗試默讀249個(gè)句子時(shí)，研究團(tuán)隊(duì)解碼了文本。這些句子是從一個(gè)包含1024個(gè)單詞的句子集中隨機(jī)選擇的，并且在模型訓(xùn)練時(shí)并未使用過(guò)。為了解碼，他們從ECoG信號(hào)中提取了特征，并使用了雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）進(jìn)行處理。

他們使用了幾個(gè)標(biāo)準(zhǔn)指標(biāo)來(lái)評(píng)估解碼性能，包括單詞錯(cuò)誤率（WER）、電話錯(cuò)誤率（PER）、字符錯(cuò)誤率（CER）和每分鐘單詞數(shù)（WPM）。

研究團(tuán)隊(duì)觀察到，當(dāng)解碼速度為78.3 WPM時(shí)，這已經(jīng)超過(guò)了Ann使用其輔助設(shè)備的通常通信速度，并且接近自然說(shuō)話的速度。

為了評(píng)估信號(hào)的穩(wěn)定性，他們進(jìn)行了一個(gè)單獨(dú)的任務(wù)，要求Ann默讀NATO的26個(gè)代碼詞或嘗試進(jìn)行四種手勢(shì)動(dòng)作。結(jié)果顯示，神經(jīng)網(wǎng)絡(luò)的分類(lèi)器性能非常好，平均準(zhǔn)確率高達(dá)96.8%。

最后，為了評(píng)估在沒(méi)有任何單詞之間暫停的情況下對(duì)預(yù)定義句子集的模型性能，他們對(duì)兩個(gè)不同的句子集進(jìn)行了模擬解碼，結(jié)果顯示對(duì)于這些經(jīng)常被用戶(hù)使用的有限、預(yù)定義的句子，解碼速度非常快且準(zhǔn)確性非常高。

語(yǔ)音合成

文本解碼的另一種方法是直接從記錄的神經(jīng)活動(dòng)中合成語(yǔ)音，這可以為無(wú)法說(shuō)話的人提供一條更自然、更有表現(xiàn)力的交流途徑。

以前對(duì)言語(yǔ)功能完好的人進(jìn)行的研究表明，在發(fā)聲或模仿說(shuō)話時(shí)，可以通過(guò)神經(jīng)活動(dòng)合成可理解的語(yǔ)音，但這種方法尚未在癱瘓者身上得到驗(yàn)證。

研究人員將在音頻-視覺(jué)任務(wù)條件下試圖默讀時(shí)的神經(jīng)活動(dòng)直接轉(zhuǎn)化為可聽(tīng)見(jiàn)的語(yǔ)音進(jìn)行了實(shí)時(shí)語(yǔ)音合成（圖3a）。

為了合成語(yǔ)音，研究人員將神經(jīng)活動(dòng)的時(shí)間窗口傳遞到一個(gè)雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）中。

在測(cè)試之前，研究人員訓(xùn)練RNN預(yù)測(cè)每個(gè)時(shí)間步驟的100個(gè)離散語(yǔ)音單元的概率。

為了創(chuàng)建訓(xùn)練的參考語(yǔ)音單元序列，研究人員使用了HuBERT，這是一個(gè)自監(jiān)督的語(yǔ)音表示學(xué)習(xí)模型，它將連續(xù)的語(yǔ)音波形編碼為捕獲潛在音位和發(fā)音表示的離散語(yǔ)音單元的時(shí)間序列。

在訓(xùn)練過(guò)程中，研究人員使用了CTC損失函數(shù)，使RNN能夠在沒(méi)有參與者的靜默言語(yǔ)嘗試和參考波形之間的對(duì)齊的情況下，學(xué)習(xí)從ECoG特征到這些參考波形中派生的語(yǔ)音單元之間的映射。

在預(yù)測(cè)了單元概率后，將每個(gè)時(shí)間步的最可能單元傳入一個(gè)預(yù)先訓(xùn)練的單元到語(yǔ)音模型中，該模型首先生成一個(gè)梅爾頻譜圖，然后會(huì)實(shí)時(shí)將該梅爾頻譜圖合成為聽(tīng)得見(jiàn)的語(yǔ)音波形。

在離線情況下，研究人員使用了一個(gè)在參與者受傷之前的短時(shí)間段內(nèi)訓(xùn)練的語(yǔ)音轉(zhuǎn)換模型，將解碼的語(yǔ)音處理成參與者自己的個(gè)性化合成聲音。

面部頭像解碼

研究人員開(kāi)發(fā)了一種面部化身BCI界面，用于將神經(jīng)活動(dòng)解碼成發(fā)音的語(yǔ)音手勢(shì)，并在視聽(tīng)任務(wù)條件下呈現(xiàn)出動(dòng)態(tài)的虛擬面部（圖4a）。

研究人員為了實(shí)現(xiàn)合成面部頭像的動(dòng)態(tài)動(dòng)畫(huà)，采用了一個(gè)被設(shè)計(jì)來(lái)將語(yǔ)音信號(hào)轉(zhuǎn)化為面部動(dòng)作動(dòng)畫(huà)的頭像動(dòng)畫(huà)系統(tǒng)（Speech Graphics）。

研究者采用了兩種辦法來(lái)為頭像制作動(dòng)畫(huà)：直接方法和聲學(xué)方法。直接方法是從神經(jīng)活動(dòng)中直接推測(cè)發(fā)音動(dòng)作，不通過(guò)任何語(yǔ)音中介。

聲學(xué)方法則用于實(shí)時(shí)音視頻合成，它確保解碼的語(yǔ)音音頻和頭像的動(dòng)作之間達(dá)成低延遲同步。

除了伴隨合成語(yǔ)音的發(fā)音動(dòng)作外，完整的頭像腦機(jī)接口還應(yīng)該能夠顯示與語(yǔ)音無(wú)關(guān)的口面動(dòng)作和表達(dá)情感的動(dòng)作。

為此，研究者收集了參與者在執(zhí)行額外兩項(xiàng)任務(wù)時(shí)的神經(jīng)數(shù)據(jù)，一是發(fā)音動(dòng)作任務(wù)，二是情感表達(dá)任務(wù)。

結(jié)果顯示，參與者可以控制頭像BCI來(lái)顯示發(fā)音動(dòng)作和強(qiáng)烈的情感表達(dá)，這揭示了多模態(tài)通信腦機(jī)接口恢復(fù)表達(dá)有意義的口面動(dòng)作的潛力。

發(fā)音表征驅(qū)動(dòng)解碼

在健康的說(shuō)話者中，SMC（包括前中央回和后中央回）的神經(jīng)表征編碼了口面肌肉的發(fā)音動(dòng)作。

將電極陣列植入到參與者的SMC中心時(shí)，研究人員推測(cè)：即使在癱瘓后，發(fā)音的神經(jīng)表示仍然存在，并且推動(dòng)了語(yǔ)音解碼的性能。

為了評(píng)估這一點(diǎn)，研究者擬合了一個(gè)線性的時(shí)間感受場(chǎng)編碼模型，根據(jù)在1024字通用文本任務(wù)條件下，文本解碼器計(jì)算的音素概率來(lái)預(yù)測(cè)每個(gè)電極的HGA。

對(duì)于每一個(gè)被激活的電極，研究者計(jì)算了每個(gè)音素的最大編碼權(quán)重，從而得到了一個(gè)音位調(diào)諧空間。在這個(gè)空間中，每個(gè)電極都有一個(gè)與其相關(guān)的音素編碼權(quán)重向量。