簡介

在過去的兩年中，我們一直在系統(tǒng)的收集和分析惡意軟件生成的數(shù)據包捕獲。在此期間，我們觀察到，有一種惡意軟件是使用基于TLS的加密來逃避檢測，而這種惡意軟件的樣本百分比正在穩(wěn)步增加。2015年8月，2.21%的惡意軟件樣本使用TLS，而到了2017年5月，數(shù)據增加到21.44%。在同一時間段內，使用TLS但是沒有和HTTP進行未加密連接的惡意軟件，從0.12%增加到4.45%。

識別加密網絡流量中包含的威脅會帶來一系列獨特的挑戰(zhàn)。監(jiān)控這些流量，使他們不受惡意軟件威脅和侵害是非常重要的，這樣做也是為了維護用戶的隱私。由于在TLS會話時，模式匹配效果較差，因此我們需要開發(fā)一種新方法，即能夠準確檢測惡意軟件的通信。為此，我們利用使用流的各個數(shù)據包長度，以及到達時間間隔來了解傳輸數(shù)據的行為特征，并使用ClientHello中包含的TLS元數(shù)據，來理解傳輸數(shù)據的TLS客戶端。 我們將這兩種視圖結合在一個受監(jiān)督的機器學習框架中，這樣我們便能夠在TLS通信中檢測已知和未知的威脅。

為了更直觀的了解，圖1提供了TLS會話的簡化視圖。在TLS 1.2中，大多數(shù)有趣的TLS握手消息都未加密，在圖1中我們用紅色標記。我們用于分類的所有TLS特定信息都來自ClientHello，它也可以在TLS 1.3中訪問。

數(shù)據

在這個項目的整個生命周期中，我們一直認為數(shù)據是我們成功的核心。我們與ThreatGrid和Cisco Infosec合作，獲取惡意包捕獲和實時企業(yè)數(shù)據。這些數(shù)據反饋對我們的幫助是巨大的，它能夠引導我們的分析，并且發(fā)展出最具信息量的流動特征。我們所分析的數(shù)據特性是十分有趣的，為了讓大家理解有趣在那里，我們首先關注一個特定的惡意軟件樣本，bestafera，它是著名的鍵盤記錄和數(shù)據泄露軟件。

通過數(shù)據包長度和時間進行行為分析

圖2顯示了兩個不同TLS會話的數(shù)據包長度和到達間隔：圖2a中的谷歌搜索和圖2b中的bestafera啟動連接。 x軸表示時間，向上的線表示從客戶端(源)發(fā)送到服務器(目的地)的數(shù)據包大小，向下的線表示從服務器發(fā)送到客戶端的數(shù)據包大小。紅線表示未加密的消息，黑線是加密的應用程序數(shù)據記錄的大小。

谷歌搜索遵循一種典型模式：客戶端的初始請求位于一個小的出站數(shù)據包中，然后是大量響應，它跨越許多MTU大小的數(shù)據包。這幾個來回的數(shù)據包是谷歌在我還在輸入時，自動完成的搜索。 最后，谷歌認為它對我輸入的內容有自己想法，所以發(fā)送了一組更新的結果。 bestafera與之通信的服務器首先發(fā)送一個包含自簽名證書的數(shù)據包，這可以看作是圖2b中第一個向下的細紅線。握手后，客戶端立即開始將數(shù)據泄露到服務器。然后是暫停，服務器定期發(fā)送計劃命令和控制消息。針對會話內容，數(shù)據包長度和到達時間間隔無法提供更深入的見解，但它們確實有助于推斷會話的行為方面。

使用TLS元數(shù)據對應用程序進行指紋識別

TLS ClientHello消息提供了兩個特別有趣的信息，他們可以用來區(qū)分不同的TLS庫和應用程序。客戶端向服務器提供了一個列表，這其中包括在客戶端的優(yōu)先級中訂購的合適密碼套件的列表。每個密碼套件定義了一組方法，例如加密算法和偽隨機函數(shù)，這些方法將使用TLS建立連接和傳輸數(shù)據?？蛻舳诉€可以發(fā)布一組TLS擴展，它可以向服務器提供密鑰交換所需的參數(shù)，例如ec_point_formats。

在提供的唯一密碼套件的數(shù)量和提供的不同子組中，密碼套件提供的向量是可以變化。類似的擴展列表也會根據連接的上下文而變化。因為大多數(shù)應用程序通常有不同的優(yōu)先級，所以，在實踐中，這些列表可以而且確實包含大量歧視性信息。例如，桌面瀏覽器傾向于更重的重量，更安全的加密算法，移動應用程序傾向于更高效的加密算法。他默認的密碼套件提供與TLS庫捆綁的客戶向量，而且他通常提供更廣泛的密碼套件，這樣可以幫助測試服務器配置。

大多數(shù)用戶級應用程序，以及在野外看到的大量TLS連接，都使用流行的TLS庫，如BoringSSL，NSS或OpenSSL。這些應用程序通常具有唯一的TLS指紋，因為開發(fā)人員會修改庫的默認值，這樣便能優(yōu)化它的應用程序。更明確地說，OpenSSL 1.0.1r中s_client的TLS指紋很可能與使用OpenSSL 1.0.1r進行通信的應用程序不同。這也是為什么bestafera的TLS指紋既有趣又獨特的原因——它使用OpenSSL 1.0.1r的默認設置來創(chuàng)建其TLS連接。

應用機器學習

特征表示

對于本文，我們關注的是三種數(shù)據類型的簡單特性：傳統(tǒng)的NetFlow、數(shù)據包長度以及從TLS ClientHello獲取的信息。這些數(shù)據類型都是從單個TLS會話中提取的，但我們還開發(fā)了包含多個流的特征模型。在訓練之前，將所有特征都歸一化為具有零均值和單位方差。

Legacy

我們使用了傳統(tǒng)NetFlow中存在的5個功能：流的持續(xù)時間、從客戶端發(fā)送的數(shù)據包數(shù)、從服務器發(fā)送的數(shù)據包數(shù)、從客戶端發(fā)送的字節(jié)數(shù)以及從服務器發(fā)送的字節(jié)數(shù)。

SPL

我們創(chuàng)建一個長度為20的特征向量，其中每個條目都是雙向流中相應的數(shù)據包大小。從客戶端到服務器的數(shù)據包大小是正數(shù)，從服務器到客戶端的數(shù)據包大小是負數(shù)。

TLS

我們分析了提供的密碼套件列表，以及ClientHello消息中包含的廣告擴展列表。在我們的數(shù)據中，我們觀察到176個獨特的密碼套件和21個獨特的擴展，這導致了長度為197的二進制特征向量。如果密碼套件或擴展名出現(xiàn)在ClientHello消息中，則相應的功能設置為1。

學習

所有的結果都使用了scikit-learn隨機森林實現(xiàn)。基于我們之前進行的縱向研究，我們將集合中樹木的數(shù)量設置為125棵，并且將樹的每一次分裂所考慮的特征數(shù)量設置為特征總數(shù)的平方根。隨機森林模型使用的特性集由遺留特性、SPL、TLS特性的某些子集組成，具體需要看實驗情況。

結果

我們從ThreatGrid的一個企業(yè)網絡Site1和324,771流量中抽取了1,621,910個TLS流量，然后訓練我們的隨機森林模型。然后，我們模擬了從單獨的企業(yè)網絡Site2中看不見的數(shù)據部署模型，以及在上一個數(shù)據集之后的兩個月內，收集的惡意軟件數(shù)據。表1顯示了該實驗在不同閾值下的結果。0.5是分類器的默認閾值，并且閾值越高，訓練的模型就越確定TLS流是由惡意軟件生成的。惡意軟件/良性的準確性是分開的，這樣便能證明特征子集超過了一個特定的類。例如，Legacy可以在良性集上實現(xiàn)接近完美的準確性，但這些功能無法推廣到惡意軟件數(shù)據集。

在0.99的閾值處，使用Legacy / SPL特征的分類器正確的分類了98.95%的良性樣本和69.81%的惡意樣本。如果我們將有關應用程序(TLS)的信息與網絡流量(SPL)的行為特征相結合，這些結果將得到顯著改善。Legacy / SPL / TLS的組合是良性和惡意軟件樣本上性能最佳的模型。 在0.95的閾值下，該模型分別對于良性和惡意保持數(shù)據集實現(xiàn)了99.99%和85.80%的準確度。