[[273013]]

0x00、前言

企業(yè)安全建設(shè)一般伴隨著安全業(yè)務(wù)需求而生，安全運(yùn)營中心建設(shè)過程中，應(yīng)急響應(yīng)處置流程，在清除階段，需要查找安全事件產(chǎn)生的根本原因并且提出和實(shí)施根治方案，這就對(duì)網(wǎng)絡(luò)層數(shù)據(jù)的回溯提出個(gè)更高的要求。那么如何在公有云上和專有云建設(shè)一套行之有效的全流量分析系統(tǒng)呢？下面提出一些方法和大家探討。

0x01、產(chǎn)品調(diào)研

在自己沒有建立這套系統(tǒng)之前，需要做一下產(chǎn)品調(diào)研，看看別人家都是怎么做的，當(dāng)然，要尋找到適合自己的企業(yè)的全流量解決方案，首先我們要帶著以下幾個(gè)問題去思考：

1.尋找到適合自己網(wǎng)絡(luò)環(huán)境的元數(shù)據(jù)的存儲(chǔ)方案，沒有好的數(shù)據(jù)，你的安全運(yùn)營團(tuán)隊(duì)無法展開調(diào)查。

2.你的網(wǎng)絡(luò)入侵檢測引擎是否能分析網(wǎng)絡(luò)異常流量，減少網(wǎng)絡(luò)回溯的次數(shù)

3.你建設(shè)的全流量系統(tǒng)最終能體現(xiàn)的安全能力是啥？如何使應(yīng)急響應(yīng)閉環(huán)。

1、針對(duì)網(wǎng)絡(luò)層數(shù)據(jù)，我們到底要存儲(chǔ)什么？

全流量安全建設(shè)一般分以下幾個(gè)階段：

第一階段：Network flow，只存儲(chǔ)五元組數(shù)據(jù)統(tǒng)計(jì)信息，大致對(duì)網(wǎng)絡(luò)流量有一個(gè)概況了解。

第二階段：Network IDS，通過基于內(nèi)容的規(guī)則匹配，例如：使用ET Pro規(guī)則，存儲(chǔ)安全告警事件，有基于規(guī)則安全引擎，可以發(fā)現(xiàn)簡單的入侵事件。

第三階段：Network Metadata，存儲(chǔ)高保真的元數(shù)據(jù)統(tǒng)計(jì)數(shù)據(jù)，為安全事件調(diào)查回溯做準(zhǔn)備。

第四階段：PCAP，全量存儲(chǔ)網(wǎng)絡(luò)流量數(shù)據(jù)，在調(diào)查某些細(xì)微流量的時(shí)候，提供證據(jù)支持。

針對(duì)公有云環(huán)境，面對(duì)海量數(shù)據(jù)交換，如何更有效的存儲(chǔ)元數(shù)據(jù)。

第一階段，通過IDS / IPS引擎采集netflow->kafka->ElasticSearch（近期熱數(shù)據(jù)）->hbase（長期冷數(shù)據(jù)）

第二階段：通過IDS / IPS引擎采集規(guī)則匹配數(shù)據(jù)->kafka->ElasticSearch（近期熱數(shù)據(jù)）

第三階段：個(gè)人理解需要對(duì)可疑流量做行為分析，對(duì)攻擊鏈分析（reconnaissance、

lateral movement、Command&Control 、Data exfiltration），

第四階段：使用packetbeat進(jìn)行解析（DNS、HTTP）->kafka->spark（過一遍攻擊發(fā)現(xiàn)、信息泄露、內(nèi)部威脅源等算法）->hbase（長期冷數(shù)據(jù)），攻擊回放的時(shí)候，通過自研的程序把數(shù)據(jù)從hbase中讀取出來，進(jìn)入到ElasticSearch中，通過kibana做查詢。

2、異常流量分析，我們需要AI么？

作為IDS簽名的補(bǔ)充，異常網(wǎng)絡(luò)流量分析是需要結(jié)合使用機(jī)器學(xué)習(xí)的，這里調(diào)研了Darktrace：

Darktrace：

機(jī)器學(xué)習(xí)的難點(diǎn)：

1.沒有任何兩個(gè)網(wǎng)絡(luò)是一樣的，要求機(jī)器學(xué)習(xí)算法要在每一個(gè)網(wǎng)絡(luò)中工作。

2.需要客戶極少的配置和調(diào)整模型

3.需要團(tuán)隊(duì)人員有較高安全能力和數(shù)學(xué)技能

4.必須立刻體現(xiàn)價(jià)值，伴隨著環(huán)境的變化，需要持續(xù)學(xué)習(xí)和適應(yīng)

5.必須具有線性可伸縮性

那么，機(jī)器學(xué)習(xí)具體怎么判定威脅的呢？以下為判斷流程：

無監(jiān)督學(xué)習(xí)實(shí)現(xiàn)手段：本方法是用于檢測計(jì)算機(jī)系統(tǒng)的網(wǎng)絡(luò)威脅。該方法包括接收輸入數(shù)據(jù)，從輸入數(shù)據(jù)派生指標(biāo)，利用異常模型分析指標(biāo)，計(jì)算威脅可能性，最終威脅判定。

首先，人們已經(jīng)認(rèn)識(shí)到，基于已知確定的威脅規(guī)則來保護(hù)網(wǎng)絡(luò)并不充分。因此，人們更需要的是可動(dòng)態(tài)適應(yīng)網(wǎng)絡(luò)安全威脅變化的方法。

第一階段：獲取的元數(shù)據(jù)

1.我們通過netflow獲取五元組以及傳輸數(shù)據(jù)大小。

2.通過pcap文件中解析出文件訪問、SSL證書、認(rèn)證成功失敗的信息。

第二階段：派生指標(biāo)

從這些原始數(shù)據(jù)源中，可以導(dǎo)出大量指標(biāo)以及每個(gè)指標(biāo)產(chǎn)生時(shí)間序列數(shù)據(jù)。數(shù)據(jù)被分成單獨(dú)的時(shí)間片（例如，觀察到的數(shù)量可以每1秒計(jì)算一次，每10秒或每60秒），可以在稍后階段組合，以便為所選內(nèi)部大小的任何倍數(shù)提供更長的范圍值。例如，如果選擇的基礎(chǔ)時(shí)間片長度為60秒，因此每個(gè)指標(biāo)時(shí)間序列存儲(chǔ)單個(gè)每60秒得到一個(gè)指標(biāo)值，那么，60秒（120秒，180秒，600秒等）的固定倍數(shù)的任何新的時(shí)間序列數(shù)據(jù)都可以計(jì)算出準(zhǔn)確度。

在能分析應(yīng)用層協(xié)議的情況下，可以定義更多類型的時(shí)間序列指標(biāo)：

1.網(wǎng)絡(luò)設(shè)備每個(gè)時(shí)間間隔生成的DNS請(qǐng)求數(shù)，也可以是任何可定義的目標(biāo)網(wǎng)絡(luò)范圍或總數(shù)。

2.SSH、LDAP、SMTP，POP或IMAP登錄的數(shù)量或機(jī)器每個(gè)時(shí)間間隔生成的登錄成功失敗信息。

3.通過文件共享協(xié)議傳輸?shù)臄?shù)據(jù)，例如：SMB、SMB2、FTP等。

第三階段：分析指標(biāo)

線性貝葉斯體系自動(dòng)確定多個(gè)時(shí)間序列數(shù)據(jù)的周期性，并且識(shí)別單一和多個(gè)時(shí)間序列數(shù)據(jù)，以防止惡意行為的發(fā)生。

探測器對(duì)第二級(jí)指標(biāo)計(jì)進(jìn)行分析。探測器是離散的數(shù)學(xué)模型針對(duì)不同的變量集與目標(biāo)網(wǎng)絡(luò)實(shí)現(xiàn)特定的數(shù)學(xué)方法。例如，HMM可能看起來特定于節(jié)點(diǎn)之間的分組的大小和傳輸時(shí)間。探針以層次結(jié)構(gòu)提供，該層次結(jié)構(gòu)是錯(cuò)誤排列的模型金字塔。每個(gè)探測器或模型都有效地充當(dāng)過濾器并將其輸出傳遞到金字塔上方的另一個(gè)模型。金字塔的頂部是HyperCylinder，它是最終的威脅決策模型。低階探測器各自監(jiān)視不同的全局屬性或特征軟件說明網(wǎng)絡(luò)和計(jì)算機(jī)。這些分支具有更高的內(nèi)部計(jì)算功能，如分組速度和形態(tài)，端點(diǎn)文件系統(tǒng)值，以及TCP / IP協(xié)議定義的事件。每個(gè)探測器都是特定的，并且根據(jù)諸如HMM之類的內(nèi)部數(shù)學(xué)模型來解決不同的環(huán)境因素。

第四階段：計(jì)算威脅可能性

啟發(fā)式是使用加權(quán)邏輯表達(dá)式的復(fù)雜鏈構(gòu)建的，表現(xiàn)為正則表達(dá)式，其中運(yùn)算時(shí)從數(shù)據(jù)測量/標(biāo)記化探測器的輸出和局部上下文信息中導(dǎo)出。這些邏輯表達(dá)式鏈然后存儲(chǔ)在和 /或在線庫并實(shí)時(shí)解析測量/標(biāo)記化探針的輸出。一個(gè)示例政策可以采取“警告我，如果任何員工受人力資源管理紀(jì)律情況（情境信息）在進(jìn)行比較以前的行為（模型輸出）時(shí)是否接受敏感信息（啟發(fā)式定義）”。 另外，提供了不同的探針金字塔陣列用于檢測特定類型的威脅

第五階段：威脅判斷

威脅檢測系統(tǒng)使用映射到觀察到的行為生命周期分析上的自動(dòng)自適應(yīng)周期性檢測來計(jì)算威脅風(fēng)險(xiǎn)參數(shù)，該威脅風(fēng)險(xiǎn)參數(shù)指示存在威脅的可能性。 這推斷出隨著時(shí)間的推移存在威脅，這些屬性本身已經(jīng)表明偏離了規(guī)范的集體或個(gè)人行為。自動(dòng)自適應(yīng)周期性檢測使用超級(jí)計(jì)算機(jī)計(jì)算的時(shí)間段在觀察到的網(wǎng)絡(luò)中最相關(guān)和/ 此外，生命分析確定了人類和/或機(jī)器在一段時(shí)間內(nèi)的行為方式，即他們典型地開始和停止工作。由于這些模型不斷地自我調(diào)整，因此它們本身就比已知的更難打敗。

3、安全應(yīng)急響應(yīng)閉環(huán)

當(dāng)我們有了基礎(chǔ)的網(wǎng)絡(luò)數(shù)據(jù)，也經(jīng)過監(jiān)督或者非監(jiān)督學(xué)習(xí)后，那么接下來需要做什么？在我們應(yīng)急響應(yīng)的安全實(shí)踐過程中，我們發(fā)現(xiàn)網(wǎng)絡(luò)獲取到安全威脅分類，需要進(jìn)一步豐富客戶端的數(shù)據(jù)，例如：EDR數(shù)據(jù)才能更真實(shí)有效的確定攻擊。否則無法形成閉環(huán)。那么如何把整個(gè)調(diào)查過程連接在一起呢？所以真正能形成戰(zhàn)斗力的解決方案：NTA+EDR+SOAR。

0x03、總結(jié)

1.擁有一套網(wǎng)絡(luò)元數(shù)據(jù)存儲(chǔ)方案，方便調(diào)查回溯。

2.企業(yè)應(yīng)該強(qiáng)烈考慮NTA使用全新的機(jī)器學(xué)習(xí)檢測手段來補(bǔ)充基于簽名檢測方法。NTA工具檢測到其他外圍安全工具遺漏的可疑網(wǎng)絡(luò)流量。

3.單存NTA解決方案是無法滿足用戶應(yīng)急響應(yīng)需求的，需要EDR豐富入侵證據(jù)，需要SOAR融入自動(dòng)化應(yīng)急響應(yīng)流程。