“本文經(jīng)AI新媒體量子位（公眾號 ID: QbitAI）授權(quán)轉(zhuǎn)載，轉(zhuǎn)載請聯(lián)系出處”。

觸摸屏，也能出賣你的手機(jī)密碼。

[[261302]]

手機(jī)的內(nèi)置麥克風(fēng)，搭配AI算法，就能讓輸入的每一個字無處可逃。

你可能聽不到，但手指每在屏幕上輕輕點(diǎn)一下，都會發(fā)出一個聲波。離屏幕不到1厘米遠(yuǎn)的麥克風(fēng)，輕輕松松就能記錄下來。

劍橋大學(xué)的科學(xué)家們，開發(fā)了一只偷聽觸摸屏的AI。它能從細(xì)微的聲音中，還原出人類輸入的信息。

45名志愿者真人測試，數(shù)字、字母，都被AI“偷”了出來。

聲波出賣你

四顧無人時悄咪咪在觸摸屏上解個鎖，怎么就被聲波泄露了密碼呢?

“聽到你的觸摸”，這是論文的名字 (完整版：Hearing your touch: A new acoustic side channel on smartphones) 。在這里，研究人員揭秘了“作案思路”，其實(shí)并不難理解。

即使是在觸摸屏上輕悄悄地操作，手指的每一次輕微的敲擊都會產(chǎn)生聲波。當(dāng)戳擊屏幕不同位置時，聲波信息也會有相應(yīng)的變化。

△ 觸摸屏上按下“f”鍵時的聲波震動形狀

沒錯，關(guān)鍵信息就隱藏在這些形狀不同的聲波里。而這些信息，恰巧可以被手機(jī)內(nèi)置的麥克風(fēng)捕捉到。

研究人員反手開發(fā)了一個手機(jī)惡意應(yīng)用程序，當(dāng)這個程序被植入手機(jī)時，能夠調(diào)動內(nèi)置麥克風(fēng)，讓其秘密開始工作，記錄下觸摸時的聲波信息。

△ 實(shí)驗(yàn)所用的惡意聲波收集程序

他們收集了聲波形狀與觸摸位置的對應(yīng)信息，訓(xùn)練出了一個AI模型，還原輸入內(nèi)容。

至此，作案流程已經(jīng)基本成型：

惡意程序悄悄啟動→悄悄捕捉輸入密碼時的聲波→AI模型預(yù)測手指對應(yīng)在屏幕的位置→還原輸入的密碼和信息。

AI伙同麥克風(fēng)，分工明確，里應(yīng)外合，井然有序地就將你的隱私偷走了。

[[261303]]

現(xiàn)場驗(yàn)證

這套程序的效果如何?研究人員找來了45位志愿者，開始了一系列測試。

整套測試的機(jī)型選用了Google旗下的Nexus 5手機(jī)以及Nexus 9平板。前者為2013年首發(fā)，屏幕大小為4.95英寸，后者為2014年發(fā)布，屏幕為8.9英寸。兩款設(shè)備均內(nèi)置2個麥克風(fēng)。

△ 實(shí)驗(yàn)設(shè)備麥克風(fēng)位置示意：左為Nexus 5，右為Nexus 9

為了模擬真實(shí)世界的環(huán)境，研究人員沒有選擇安靜的實(shí)驗(yàn)室，而是選取了3種日常環(huán)境，測試在不同噪音環(huán)境下整個系統(tǒng)的準(zhǔn)確度：

• 公共休息室：周圍是聊天的人類，偶爾會出現(xiàn)煮咖啡時發(fā)出的較大噪音。
• 閱覽室：電腦鍵盤聲與小聲說話聲混合的環(huán)境。
• 圖書館：幾乎沒有說話聲，但電腦鍵盤聲環(huán)繞四周。

研究人員在這三個環(huán)境中，讓45名志愿者分別進(jìn)行了4組實(shí)驗(yàn)。

第一組志愿者需要隨機(jī)輸入數(shù)字1-9，每個數(shù)字各輸入10次，第二組需要輸入200組四位數(shù)字的密碼，第三組隨機(jī)輸入字母，第四組需要輸入5個字母組成的單詞，這些單詞均來自聊天語料庫NPS。

實(shí)驗(yàn)結(jié)果驗(yàn)證了這種攻擊方法可行性。

在20次實(shí)驗(yàn)中，AI能準(zhǔn)確還原150個四位數(shù)字密碼中的91個，還原準(zhǔn)確率為61%。

破解字母組成的暗號也不成問題。用27個單詞密碼測試時，只進(jìn)行10次實(shí)驗(yàn)，模型在手機(jī)上破解了7個單詞，在平板上成功還原出其中的19個。

就是這樣，你毫無察覺，但密碼不脛而走。

我有許多小mimi，都在聲波里

其實(shí)不用慌，因?yàn)锳I想拿到手機(jī)密碼，也不止這一種方法。

去年9月，英國蘭卡斯特大學(xué)發(fā)表的研究，用手機(jī)揚(yáng)聲器里的聲吶，竊取密碼，特別是圖形密碼。

聲吶的原理是，計算聲波從發(fā)出到返回之間的時差，來確定物體的位置，以及物體有沒有移動。這項(xiàng)研究里，AI分析麥克風(fēng)錄下的回聲，便可以追蹤用戶手指在智能手機(jī)屏幕上的移動軌跡了。

也是在你沒有察覺的時候，一切就發(fā)生了。

當(dāng)然，上面這些只是手機(jī)上的問題。

如今，從鍵盤到硬盤，哪一個聽不到你的秘密?

(請注意，這是一句嚴(yán)肅的話，沒有開車。)

就連家里的盆栽，可能也知道你說了什么。

所以，我們一個一個講。

聽一下鍵盤先

去年12月，就有個名叫Keytap的鍵盤竊聽法術(shù)，簡單有效，吸引了大片關(guān)注。

先用麥克風(fēng)采集一下敲擊各種按鍵的聲波，比如每個鍵收集三次。

再搭個簡單的預(yù)測模型，算出每個按鍵的平均波形：

把收集好的聲波的峰值對齊，避免延時影響;再用相似度指標(biāo) (Similarity Metric) 精細(xì)地對齊波形;對齊之后，做個簡單加權(quán)平均，就得到平均波形了。

最后，盡情敲鍵盤吧，只要和平均波形比對一下相似度，就能檢測出是哪個按鍵了。

還有開源代碼，大家可以直接玩耍。

硬盤偷聽，麥克風(fēng)也不用

這是密歇根大學(xué)和浙大學(xué)者腦洞的結(jié)晶。原原本本的機(jī)械硬盤，不加麥克風(fēng)，不做任何硬件改動，就變成了竊聽器，且音質(zhì)不俗：

硬盤工作的時候，主軸高速運(yùn)轉(zhuǎn)帶動盤片，上面的磁頭會感應(yīng)盤片上的磁場變化，通過改變磁場，來寫入數(shù)據(jù)。

這個過程非常精細(xì)。只要受到外部的聲波沖擊，磁頭就會發(fā)生偏移。硬盤的位置傳感器，產(chǎn)生的電壓信號里就會體現(xiàn)出這個偏移。

讓AI去分析這細(xì)小的偏移，科學(xué)家們還原了人類說的話，又還原了高保真的音樂，Shazam的聽歌識曲也能答對歌名。

[[261306]]

畢竟，硬盤的采樣率超過30,000赫茲，幾乎是CD級的錄音質(zhì)量。

薯片，不只是清脆

優(yōu)雅的聲音，可能是吃薯片最大的快感。

但偷聽人類說話，科學(xué)家們不是靠薯片碎裂發(fā)出的聲波，而是在視覺上動了心思。

MIT、微軟和Adobe組成的混合團(tuán)隊，用高速相機(jī)透過隔音玻璃，拍攝出薯片袋的振動，算法便能判斷說話的人是男是女，甚至還原講話的內(nèi)容。

研究人員說，聲音傳播時觸碰到周圍的物體，會在振動中形成一股微妙的視覺信號，肉眼不會發(fā)覺，但高速相機(jī)(每秒2000~6000幀)捕捉得到。AI分析視覺信號，便能聽出人類的談話了。

而且，不止薯片袋，鋁箔、水杯甚至植物盆栽，都可以用來偷聽。這些物件在房間里出現(xiàn)，人類又絲毫不會覺得奇怪，真是得天獨(dú)厚。

這項(xiàng)研究，中選了頂會SIGGRAPH 2014。

如此說來，或許世間萬物，都知道你的秘密。

不過還好，這些方法還在研究階段。

傳送門

這篇論文的研究人員共有四位，分別為劍橋大學(xué)的Ilia Shumailov、Jeff Yan、Ross Anderson及三星美國研究院Laurent Simon。

論文標(biāo)題：Hearing your touch: A new acoustic side channel on smartphones，地址：https://arxiv.org/abs/1903.11137