介紹

本文會講解一些關(guān)于keytap工具的技術(shù)細節(jié)。我也會分享一些自己關(guān)于這個項目的幾點想法。這個項目已經(jīng)開源，源碼在這里可以下載。

描述

該工具的主要目標是利用敲擊鍵盤時產(chǎn)生的聲音作為一種邊信道攻擊來猜測輸入文本的內(nèi)容。為了達到這個目標，該算法以訓(xùn)練集作為輸入，這個訓(xùn)練集包括音頻記錄和記錄期間你敲了哪些鍵盤按鍵。通過這些數(shù)據(jù)，該算法可以學(xué)習(xí)到不同按鍵敲擊的聲音，之后就可以通過捕獲的音頻來嘗試識別敲鍵盤的聲音。訓(xùn)練數(shù)據(jù)集的收集非常具體，采集收據(jù)的根據(jù)也就是鍵盤、麥克風(fēng)還有兩者之間的相對位置。任何因素發(fā)生了變化，這個方法就變得毫無意義了。不過好在，當(dāng)前的方法可以進行實時預(yù)測。

這個方法涉及到的主要步驟如下：

• 收集訓(xùn)練數(shù)據(jù)
• 創(chuàng)建預(yù)測模型，不斷學(xué)習(xí)
• 檢測到鍵盤輸入
• 預(yù)測具體的每一個輸入鍵

收集訓(xùn)練數(shù)據(jù)

這個收集訓(xùn)練數(shù)據(jù)的方法已經(jīng)忽略了兩次鍵盤敲擊之間的聲音。我們只保留實際按鍵前和按鍵后75-100ms的音頻。這樣做可能會有點不太精確，因為鍵盤敲擊的延遲時間是隨機的，程序捕獲這種事件，也會受到硬件和軟件因素的影響。

舉個例子，下圖是敲擊我鍵盤上的字母“g”的完整聲波：

從圖中可以看到，在按鍵峰值之后，還有一個釋放按鍵的峰值。而keytap直接忽略了這個釋放峰值。這個可能會提取到額外的信息，不過為了簡單起見，釋放峰值的這個數(shù)據(jù)就直接放棄不用了。所以，最終字母“g”這個按鍵的訓(xùn)練數(shù)據(jù)聲波圖如下：

當(dāng)然，這個75ms的間隙對打字速度有一定的限制，如果在這個時間段內(nèi)，按鍵有重疊的話，不同按鍵的訓(xùn)練數(shù)據(jù)就會混雜在一起。

從上圖中還可以觀察到一點就是某個按鍵的訓(xùn)練聲波圖越多越好，結(jié)合多個聲波圖，可以幫助減少環(huán)境噪音。而且，每個人按鍵的聲音可能稍有不同，這就取決于用戶按鍵的方式了。所以，你可能會捕獲到某個按鍵的不同的聲音。

創(chuàng)建預(yù)測模型

這時候就體現(xiàn)出人們的非凡創(chuàng)造性了，可以通過機器學(xué)習(xí)，人工智能和神經(jīng)網(wǎng)絡(luò)等技術(shù)來創(chuàng)建預(yù)測模型。不過keytap使用了最簡單的一種辦法。對于每一個訓(xùn)練按鍵，我們執(zhí)行以下3個步驟：

1.對齊收集到的波形峰值。這有助于避免檢測按鍵之前的隨機延遲時間，前面解釋過了。

2.基于相似性度量來優(yōu)化聲波的對齊方式，因為有時候，聲波的峰值并不是最佳指標，所以我們要選擇一個更加精確的方法。

3.對其波形進行簡單加權(quán)平均。權(quán)重由相似性度量定義。

我們并沒有直接跳到步驟2，而是要先執(zhí)行第一步，因為相似性度量的計算是很吃CPU的。而步驟1已經(jīng)有效的縮小了對齊的范圍并減少了計算量。

步驟3之后，我們最終會得到每個按鍵的平均波形。之后會將其與捕獲到的數(shù)據(jù)進行對比并預(yù)測最有可能的輸入按鍵。

keytap中使用的相似性度量是交叉相關(guān)(CC)，公式如下：

這里的Ai和Bi是被比較的兩種波形的波形樣本。CC值越高，波形越相似。當(dāng)然也可以使用其他的相似性度量的測試方法。

不同按鍵之間間隔的計時信息其實也可以加入到預(yù)測模型中，不過我避免了使用這種方法，因為它更加難以實現(xiàn)。

檢測鍵盤輸入

keytap使用相對簡單的閾值技術(shù)來檢測原始音頻中的按鍵事件。顯然，當(dāng)用戶敲擊按鍵時，我們預(yù)計會有一個很高的峰值，這也正是我們想要的效果。閾值相對于過去幾百毫秒的樣本平均強度而言是自適應(yīng)的。

這個方法并不是十分完美，但我現(xiàn)在還不知道更有效的方法來檢測按鍵事件。

預(yù)測敲了哪些按鍵

一旦確定了可能的按鍵事件，我們就可以定位到波形的峰值位置，計算該部分波形與訓(xùn)練數(shù)據(jù)中所有平均波形的相似性度量。我們允許在峰值附近有小范圍的調(diào)整(前面提到過)。我們認為相似性度量最高的將對應(yīng)的是敲擊的按鍵。

幾點觀察

我注意到即時這個算法沒有檢測到敲擊的正確按鍵，它仍然能夠預(yù)測到附近的按鍵，意思也就是定位到了正確鍵的下一個鍵。對于這個現(xiàn)象，我認為有下面兩種解釋：

1.鍵盤上相鄰的按鍵發(fā)出的聲音類似

2.在這個方法中，鍵相對于麥克風(fēng)的位置對預(yù)測起著決定性的作用

我認為第一種解釋不太可能，所以很可能是第二種解釋。

另外，我還觀察到機械鍵盤比非機械鍵盤更容易遭受這種鍵盤竊聽攻擊。

keytap2

我很篤定肯定有一種實現(xiàn)預(yù)測的方法是根本不需要收集訓(xùn)練數(shù)據(jù)的。假如用戶使用某種已知語言來輸入文本，比如英語，那么關(guān)于該語言的N元模型統(tǒng)計信息和按鍵檢測的相似性度量值結(jié)合起來就足夠檢測出輸入的文本了。實際上，歸根到底這其實就是破解置換密碼的一種攻擊。

keytap2嘗試著去證明這種攻擊。我也在做這方面的研究，但是我卡在了基于他們的CC公式對按鍵進行聚類分析的部分。但我認為至少我已經(jīng)準備好了置換密碼破解工作。如果在實際中破解成功的話，我將會提供更多的細節(jié)。

結(jié)束語

科學(xué)文獻上，關(guān)于這個主題的論文有很多。其中有一篇論文中的一個特別的方法給了我很大的啟發(fā)，就是Don’t Skype&Type！大家有興趣的可以看看。但大多數(shù)情況下，我都是自己獨立解決了問題，沒有閱讀別人論文中的細節(jié)和他們的研究成果，我覺得自己解決問題更有意思，更有挑戰(zhàn)性。

老實說，真沒想到這篇文章會受到巨大的關(guān)注，完全在意料之外。這一切始于我在一篇Hacker News中發(fā)布的一條評論，然后被一個著名的開發(fā)工程師注意到了。然后，我的Twitter消息就炸了。

不管怎樣，希望這篇文章對大家有所幫助，謝謝！