本文經(jīng)AI新媒體量子位（公眾號ID:QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處。 

只需動動手，就能「掌」控一切？

Facebook最近公布的腕帶式的AR傳感器，讓你在虛擬世界get緋紅女巫同款技能。

這一設(shè)備由Facebook的AR/VR研究部門——Facebook Reality Labs（FRL）研發(fā)，佩戴者可以通過手腕上的電運(yùn)動神經(jīng)信號，以手指動作控制AR眼鏡。

就連被稱為卷積網(wǎng)絡(luò)之父的圖靈獎獲得者、Facebook首席AI科學(xué)家Yann LeCun也為之點(diǎn)贊。

功能不斷升級

那么，它能用來做什么呢？

據(jù)官方介紹，無論是走在路上還是坐著，把手放在身前、兩側(cè)或是口袋里，都可以通過腕帶實(shí)現(xiàn)操控。

最初，腕帶只能通過拇指與食指的捏、放手勢，實(shí)現(xiàn)簡單的單擊操作。而后，又添加了更為豐富的控制功能，比如可以觸摸和移動虛擬對象。

除此之外，研究團(tuán)隊(duì)還在進(jìn)一步探索，力圖開發(fā)在桌子或膝上高速打字的功能，甚至實(shí)現(xiàn)比使用鍵盤更快的打字速度。

與物理鍵盤相比，虛擬鍵盤不僅可以隨時使用，而且能夠隨著時間推移，學(xué)習(xí)和適應(yīng)每個人不同的打字風(fēng)格，并產(chǎn)生適應(yīng)性的變化，實(shí)現(xiàn)更快的打字速度。

FRL團(tuán)隊(duì)在個性化模型方面取得了重要進(jìn)展，使適應(yīng)個人風(fēng)格的鍵盤模型的訓(xùn)練時間得以減少。

不僅如此，F(xiàn)RL研究科學(xué)主管Hrvoje Benko表示：

“我們相信，可穿戴的腕帶設(shè)備可以為AR眼鏡，提供超低摩擦、隨時可用的輸入，但它們本身并不是一個完整的解決方案。

就像鼠標(biāo)是用戶界面的一部分一樣，需要在意圖預(yù)測和用戶建模方面為他們提供幫助，以實(shí)時適應(yīng)用戶以及特定的環(huán)境。”

因此，F(xiàn)RL團(tuán)隊(duì)近期正致力于，探索適應(yīng)特定環(huán)境的自適應(yīng)界面，實(shí)現(xiàn)“智能點(diǎn)擊”。

也就是，無需用戶移動視線、瀏覽菜單，系統(tǒng)通過在不同環(huán)境中預(yù)測用戶意圖，主動提供自適應(yīng)界面，而用戶只需輕量級的反饋，就可以進(jìn)行控制。

FRL研究科學(xué)經(jīng)理Tanya Jonker也補(bǔ)充道：

“系統(tǒng)會學(xué)習(xí)有用戶位置和關(guān)鍵對象的信息，例如跑鞋或活動識別，根據(jù)用戶過去的行為預(yù)測意圖。

比如，往常你穿著某一雙鞋出門時，通常會啟動音樂程序。那么當(dāng)你再次穿上它出門，系統(tǒng)認(rèn)為你最有可能想要收聽音樂，于是顯示屏上會出現(xiàn)‘是否播放音樂？’選項(xiàng)，用戶使用簡單的手勢確認(rèn)或更改建議即可。”

利用這些微手勢，用戶無需停止正在做的事，或是為其分心，從而節(jié)省了時間。

Facebook官方介紹中也提到，實(shí)現(xiàn)這一功能，需要應(yīng)用機(jī)器學(xué)習(xí)、人機(jī)交互、用戶界面設(shè)計(jì)等技術(shù)，目前仍存在許多技術(shù)挑戰(zhàn)。

雖然利用超低摩擦的輸入方式，能夠?qū)崿F(xiàn)與自適應(yīng)界面的交互，但是要想對虛擬物體有所感知，還需要觸覺技術(shù)。

對此，F(xiàn)RL研究科學(xué)總監(jiān)Sean Keller表示：

“人們從出生時的第一次抓握，直到靈巧地操作物體和在鍵盤上打字，手和手指會擁有非常豐富的反饋。

我們利用觸覺信號來了解世界，觸覺使我們能夠使用工具和精細(xì)控制。從使用手術(shù)刀的外科醫(yī)生到感覺到琴鍵邊緣的鋼琴演奏家，這一切都取決于觸覺。”

利用腕帶，用戶無需進(jìn)行查看，就能夠通過觸覺作出識別，并進(jìn)行決策。比如：

虛擬弓箭就利用腕部的觸覺，使佩戴者有近似拉弓的感覺，從而知道自己是否做對了動作；

根據(jù)用戶設(shè)置，收到緊急郵件時，手環(huán)能發(fā)出比收到普通郵件更為強(qiáng)烈的震動；

當(dāng)有電話呼入時，通過不同的觸覺反饋，用戶即可得知對方的身份。

甚至，研究人員還補(bǔ)充說：“觸覺還能夠傳達(dá)不同的情感，這可能是改善社交溝通的一種新的方式。”

目前，F(xiàn)acebook團(tuán)隊(duì)正在構(gòu)建研究原型，包括擁有8個氣動波紋管的Bellowband，以及使用了6個震動觸動器和新穎的手腕擠壓機(jī)制的Tasbi，以進(jìn)一步探索的觸覺反饋的類型。

利用EMG技術(shù)實(shí)現(xiàn)控制

這些功能，都是依賴EMG（肌電圖）技術(shù)實(shí)現(xiàn)的。

EMG技術(shù)，就是使用傳感器，將通過手腕傳到手部的電運(yùn)動神經(jīng)信號，轉(zhuǎn)化為數(shù)字指令。用戶可以用這些指令來控制設(shè)備的功能，這種控制程度是高度個性化的，可以用于多種情況。

據(jù)Facebook介紹，通過手腕發(fā)出的信號非常清晰，哪怕是一毫米的手指運(yùn)動，EMG也可以感知，因此可以毫不費(fèi)力地輸入。甚至在未來，連移動手指的意圖也可能感知到。

現(xiàn)任神經(jīng)運(yùn)動接口主管的Thomas Reardon表示：

“我們要做的神經(jīng)界面，就是讓用戶利用周圍神經(jīng)系統(tǒng)的輸出，特別是腦外神經(jīng)，激活手和手指肌肉的動作，來直接控制機(jī)器。”

為什么要選擇手腕？

FRL團(tuán)隊(duì)對此作了解釋：

手是人們接觸世界的重要身體部分，戴在手腕上能夠利用手部豐富的控制功能，實(shí)現(xiàn)更好的交互功能。

與語音控制相比，穿戴設(shè)備更便于在公共場合使用；

類似手表的設(shè)計(jì)使其能夠用于日常生活和社交環(huán)境；

并且，手腕位置也適合舒適地佩戴一整天；

而設(shè)計(jì)成一款單獨(dú)的設(shè)備，能夠?qū)崿F(xiàn)更便捷的應(yīng)用，無需通過手機(jī)或是其他設(shè)備控制；

置于手腕的可穿戴設(shè)備還可以輕松地作為計(jì)算、電池和天線的平臺，同時支持多種傳感器。

網(wǎng)友關(guān)注

這項(xiàng)獲得LeCun點(diǎn)贊的技術(shù)，自然也引起了網(wǎng)友的廣泛關(guān)注。

不少網(wǎng)友為此感到驚喜：

“這是實(shí)際的延遲效果嗎？看起來很棒。”

還有一些網(wǎng)友，對這項(xiàng)技術(shù)的應(yīng)用提出了設(shè)想：

“這可以讓失去手的人，仍然能依靠神經(jīng)來模擬手勢，不是嗎?”

“毫無疑問，這可以用于連接假肢，并且推進(jìn)恢復(fù)和學(xué)習(xí)過程。”

不過，有人提出了質(zhì)疑：

“什么？這不是很多年以前的MYO手環(huán)嗎？”

事實(shí)上，這款基于EMG技術(shù)的腕帶的雛形MYO，最初由AR眼鏡公司North的前身Thalmic Labs開發(fā)，而后其專利被初創(chuàng)公司CTRL-labs收購。

2019年，F(xiàn)acebook斥資數(shù)億美元收購了CTRL-labs，原研究團(tuán)隊(duì)也隨之加入FRL。

與此同時，也有網(wǎng)友對此感到欣喜：

“早在幾年前，當(dāng)我第一次閱讀有關(guān)Myo的文章時，我就想知道它對于VR的潛力。很高興它取得現(xiàn)在的成果。”

這款手環(huán)主要用于配合Facebook正在研發(fā)的AR眼鏡使用，上市時間尚未公布。