噴上它就能憑空打字!鮑哲南團隊開發新型智能皮膚,可準確識別手部動作,打字手語不在話下
本文經AI新媒體量子位(公眾號ID:QbitAI)授權轉載,轉載請聯系出處。
注意看,這人的面前沒有鍵盤。
但他在桌上做出打字動作后,電腦屏幕上就出現了對應的字母:
△亞克力板只印刷了鍵位,不發出信號
這個神奇的“虛空打字”能力,來自一款智能皮膚。
與其他材料不同,它可以像噴霧一樣被附著在手上,其中的微型電子網絡可以感知皮膚的變形情況。
不止是憑空打字,有了它甚至能通過觸摸3D物體感知形狀、以及用電腦識別手語。
如果將它噴到臉上,還可以識別人臉面部表情,在元宇宙里做個有表情的人指日可待了(doge)
這款智能皮膚來自斯坦福鮑哲南團隊、韓國建國大學、首爾大學和KAIST,目前已經登上Nature Electronics。?
所以它究竟是如何識別手勢的?
超薄皮膚如何識別手指信號?
先來看看這塊皮膚是如何基于“超薄材料”收集手指信號的。
整體來看,它由一個無線信號收發模塊和一塊納米級網狀網絡組成。
其中,無線模塊用于收集并傳輸從人類手上感知到的皮膚變形狀態,當人類的手指皮膚因為拉伸產生變形時,相應部位就會改變網絡導電能力(電導率),從而成功傳遞手部運動信號。
至于納米級網絡的“網線”,則由一個“金包銀”的結構制成,即銀線外面鍍金。
這樣既能保證強大拉伸能力,又可以抵抗反復的摩擦力,同時還能確保一定的透氣性和生物相容性(降低過敏概率)。
將智能皮膚噴涂到手上,只需要將手伸進一個特殊的“印刷機”里:
在那之后,就是用AI算法來識別不同的手部信號、并判斷它具體在做什么動作了。
論文基于對比學習開發了一種AI算法,可以區分不同的未標記運動信號。
然而,雖然皮膚噴涂能很好地適應不同大小的手,但對于AI算法來說可不是這樣。
一方面,目前針對智能皮膚收集的AI數據有限,用來訓練遠遠不夠;另一方面,由于不同人手部差異較大,即使AI模型成功學習,運用到不同手上也會出現差異性的效果。
如何解決這一問題?
不同大小的手怎么適應?
作者們想到用元學習的方式,基于少量數據快速讓AI算法適應不同大小的手。
首先,基于已有的傳感器信號數據進行無監督學習,讓模型掌握基本識別能力。
隨后收集任意用戶擊打9宮格數字的少鏡頭標注數據集,快速訓練模型學會識別對應的動作,相當于給不同的人定制專屬模型。
這樣的思路還能被用在適應更多其他任務上。
不止是輸入9宮格數字,類似的預測還能被用在雙手鍵盤輸入上。
如果給兩只手都印上智能皮膚,這樣用戶連續輸入句子時,預測的字母就會出現在界面上。
據一作Kyun Kyu Kim介紹,如果能將這類智能皮膚進一步推廣到臉上,還能更精準、高效低成本地識別用戶表情。
作者介紹
論文作者來自斯坦福大學、韓國科學技術院(KAIST)、首爾大學和韓國建國大學。
一作Kyun Kyu Kim,目前在斯坦福大學任博士后研究員,本科畢業于高麗大學,并在首爾大學獲得碩博學位。研究方向是人機交互,尤其是納米材料和機器智能相結合的制造技術。
通訊作者Sungho Jo,KAIST助理教授,碩博畢業于MIT,研究方向為智能機器人、人機交互、計算智能、計算神經工程、仿生系統設計、仿生學習與控制等。
通訊作者Seung Hwan Ko,首爾大學副教授,主要研究下一代非傳統微/納米制造方法的開發,包括新材料開發、高分辨率直接制圖工藝開發和應用開發等。
通訊作者鮑哲南,斯坦福大學化學工程、材料科學與工程教授,美國國家工程院院士,研究方向是利用化學、物理和材料科學開發人造電子皮膚。
你想好把這個智能皮膚用在哪里了嗎?
論文地址:
?https://www.nature.com/articles/s41928-022-00888-7