隨著互聯(lián)網(wǎng)、智能移動設(shè)備、物聯(lián)網(wǎng)技術(shù)和云計算的快速發(fā)展和不斷應(yīng)用，組織和企業(yè)的網(wǎng)絡(luò)和信息系統(tǒng)每天都在產(chǎn)生大量的數(shù)據(jù)，而且產(chǎn)生的速度越來越快，這使得我們已經(jīng)進(jìn)入了大數(shù)據(jù)時代。大數(shù)據(jù)時代的安全信息具有海量、高速、多樣、低價值密度等特點，如何對安全大數(shù)據(jù)進(jìn)行管理和分析，幫助用戶獲取智能的、深入的有價值的信息變成了信息安全分析和管理領(lǐng)域的重要課題之一。

盡管傳統(tǒng)的安全管理平臺在滿足客戶安全管理需求、支撐客戶安全管理工作方面起了很關(guān)鍵的作用，但隨著信息安全威脅的不斷變化，企業(yè)和組織的日常信息安全管理工作面臨著新的形勢。企業(yè)和組織需要應(yīng)對的攻擊和威脅變得日益復(fù)雜，這些威脅具有隱蔽性強(qiáng)、潛伏期長、持續(xù)性強(qiáng)的特點。針對復(fù)雜攻擊，企業(yè)和組織尤其需要加強(qiáng)對核心敏感數(shù)據(jù)和業(yè)務(wù)系統(tǒng)的保護(hù)，防止由于安全攻擊給企業(yè)和組織帶來損害。同時，企業(yè)和組織需依法加強(qiáng)對信息安全的管理以滿足國家政策法規(guī)的要求，這對企業(yè)和組織的信息安全管理和分析提出了新的挑戰(zhàn)。

傳統(tǒng)安全管理平臺的分析方法和處理能力已無法滿足海量數(shù)據(jù)環(huán)境下的信息安全分析和管理的需求，主要表現(xiàn)在以下幾個方面：

1) 高速海量安全數(shù)據(jù)的采集和存儲變得非常困難

不同規(guī)模的大型企業(yè)和組織每天發(fā)生的事件在上百億到上千億條之間。隨著企業(yè)和組織規(guī)模的擴(kuò)大，雇員的增加，部署設(shè)備的數(shù)量增加和性能擴(kuò)大，應(yīng)用系統(tǒng)的日益增多，IT環(huán)境向云計算架構(gòu)的遷移，大型組織和企業(yè)的用戶環(huán)境發(fā)生了很大的變化，安全信息的規(guī)模變得非常龐大和種類繁多。企業(yè)和組織為了應(yīng)對安全威脅的挑戰(zhàn)，需要采集的信息種類增加，數(shù)量增大，這使以日志和事件為代表的安全信息的采集規(guī)模變得日益龐大，由傳統(tǒng)的數(shù)千EPS（Event Per Second）提升到數(shù)萬EPS，如US CERT在2013年時每天利用SIEM分析的事件量為20億條；中國CNCERT2014年時每天捕獲的網(wǎng)絡(luò)安全事件約為2000億條，近10大類。如此海量的數(shù)據(jù)規(guī)模的采集和存儲，這對使用傳統(tǒng)技術(shù)如關(guān)系型數(shù)據(jù)庫（OldSQL）的安全管理平臺（SOC）來說是不可完成的任務(wù)。傳統(tǒng)的關(guān)系型數(shù)據(jù)庫技術(shù)架構(gòu)在處理數(shù)據(jù)擴(kuò)展上遇到了困難，當(dāng)數(shù)據(jù)表不斷擴(kuò)大，單臺機(jī)器存儲不夠用時，需要使用多臺機(jī)器，傳統(tǒng)的關(guān)系型數(shù)據(jù)庫為了應(yīng)對這種情況，需要使用復(fù)雜的技術(shù)將多個關(guān)系表分片到多臺機(jī)器上，但隨著數(shù)據(jù)量繼續(xù)增大，數(shù)量最多的數(shù)據(jù)表又無法放在一臺機(jī)器上，這將會成為瓶頸。因此，傳統(tǒng)的安全管理平臺的數(shù)據(jù)處理架構(gòu)無法滿足大數(shù)據(jù)流量的現(xiàn)實情況。

2) 異構(gòu)數(shù)據(jù)的存儲和管理變得困難

最新的安全檢測和分析技術(shù)不僅有對安全日志和事件的分析（日志審計），還有對原始流量的分析（IDS/ IPS），對網(wǎng)絡(luò)流的分析（NBA/DDoS Detector），對全包流量（Sniffer）和對文件的分析（APT檢測/沙箱/郵件阻斷系統(tǒng)）等，這些分析技術(shù)僅能對多種異構(gòu)數(shù)據(jù)進(jìn)行快速檢測和小數(shù)據(jù)存儲，而無法對海量的歷史數(shù)據(jù)進(jìn)行存儲及后期的分析，即無法檢測長周期數(shù)據(jù)，這使得后期的取證和分析變得困難。

3) 對歷史數(shù)據(jù)的分析能力偏弱

傳統(tǒng)的安全管理平臺可以保存歷史數(shù)據(jù)。當(dāng)安全分析人員創(chuàng)建一條關(guān)聯(lián)分析規(guī)則識別威脅時，想了解歷史數(shù)據(jù)中是否有相同的威脅，則需對歷史數(shù)據(jù)進(jìn)行檢測以發(fā)現(xiàn)歷史上已發(fā)生的威脅。隨著海量事件的增加，對歷史數(shù)據(jù)的分析和檢測變得異常困難。首先，以前保留大量的數(shù)據(jù)在經(jīng)濟(jì)上不可行，盡管隨著存儲成本的下降，使組織和企業(yè)可以保存較長時間的安全數(shù)據(jù)，同時還需要低成本的數(shù)據(jù)倉庫技術(shù)用于管理數(shù)據(jù)，隨著歷史數(shù)據(jù)的增大，搜索速度則快速下降，導(dǎo)致安全分析人員對歷史數(shù)據(jù)的分析效率和時間無法忍受，同時會耗費大量的計算資源，影響系統(tǒng)工作。針對其他的實時分析工具，由于無法保存歷史數(shù)據(jù)，更無法對歷史數(shù)據(jù)進(jìn)行檢測。低成本的海量數(shù)據(jù)的存儲與管理，快速高效的歷史數(shù)據(jù)的分析對傳統(tǒng)的安全管理平臺提出了挑戰(zhàn)。

4) 安全事件的調(diào)查效率較低

在信息安全分析和管理工作中，盡管有安全分析等自動化工具的大量建設(shè)和部署，但最重要的仍然是人——安全分析師。安全分析師的工作是無法被替代和減少的，只能越來越重要。而在大數(shù)據(jù)時代，安全分析師必須借助有效的分析工具才能完成對海量數(shù)據(jù)的分析和調(diào)查，否則將會被浩如煙海的數(shù)據(jù)累死而一無所獲。傳統(tǒng)的安全管理平臺通過對關(guān)系型數(shù)據(jù)庫的查詢來幫助安全分析人員完成安全事件的調(diào)查，隨著數(shù)據(jù)量增大，查詢效率變得非常低，查詢延時大，再加上復(fù)雜的組合查詢條件，查詢效率和時延根本無法滿足安全分析人員對事件調(diào)查的需求，亟需改變這種查詢低效的問題。

5) 有效的分析方法依然缺乏

事件關(guān)聯(lián)分析一直被認(rèn)為是傳統(tǒng)的安全管理平臺中識別安全威脅的關(guān)鍵技術(shù)。但多年以來，一直飽受詬病。傳統(tǒng)的關(guān)聯(lián)分析基本都屬于基于規(guī)則的關(guān)聯(lián)分析，即針對威脅的已知場景提取威脅特征，并依據(jù)這些特征對后續(xù)數(shù)據(jù)進(jìn)行匹配和分析，以發(fā)現(xiàn)符合特征的安全威脅，特征關(guān)聯(lián)只能快速識別規(guī)則所能描述的已知的問題，無法識別未知的攻擊，或者是尚未被描述成規(guī)則的攻擊和行為。當(dāng)前的攻擊和違規(guī)越來越隱蔽和復(fù)雜，如0Day漏洞和APT攻擊都利用了未知的漏洞和威脅方法，基于規(guī)則的分析則無能為力。這種被動關(guān)聯(lián)的效果嚴(yán)重受制于規(guī)則庫的積累。而規(guī)則的撰寫又需要專業(yè)的安全領(lǐng)域知識，因此實用性受到很大制約。客戶迫切需要一種更加有效的高級分析機(jī)制，借助機(jī)器學(xué)習(xí)技術(shù)和行為建模技術(shù)，智能化地去識別網(wǎng)絡(luò)中的攻擊，尤其是未知的攻擊行為。

傳統(tǒng)的關(guān)聯(lián)分析以事件為主要分析對象。由于事件自身存在很多局限性，分析出來的結(jié)果也難以準(zhǔn)確。因此，需要將更廣泛的安全要素信息納入關(guān)聯(lián)分析的范圍之中，包括情境信息（譬如資產(chǎn)信息、拓?fù)湫阅堋⒖捎眯耘c性能信息、弱點信息、威脅情報信息、身份信息、業(yè)務(wù)信息等）、網(wǎng)絡(luò)流信息，甚至是原始報文信息。

大數(shù)據(jù)時代的信息安全分析正在轉(zhuǎn)變成為如何對海量的數(shù)據(jù)進(jìn)行分析和挖掘。通過海量數(shù)據(jù)的深度挖掘與機(jī)器學(xué)習(xí)，使安全分析人員可以有效地應(yīng)對高級可持續(xù)性威脅（APT，Advanced Persistent Threat）和來自內(nèi)部人員的威脅，發(fā)現(xiàn)未知威脅。只有通過針對海量數(shù)據(jù)的分析挖掘才能使客戶應(yīng)對日益復(fù)雜的攻擊和威脅，實現(xiàn)由“被動發(fā)現(xiàn)”到“主動發(fā)現(xiàn)”的信息安全分析和管理的升級。

6) 對于趨勢性的東西預(yù)測較難，對早期預(yù)警的能力不足

隨著信息安全建設(shè)逐步引向深入，管理者越發(fā)體會到了安全工作是全局一盤棋。正所謂“不謀全局者，不足謀一域”，網(wǎng)絡(luò)安全管理工作急切需要獲悉全網(wǎng)的整體安全態(tài)勢。傳統(tǒng)的安全管理平臺對實時產(chǎn)生的數(shù)據(jù)進(jìn)行分析的能力較強(qiáng)，為組織的安全管理人員在海量數(shù)據(jù)態(tài)勢要素信息的獲取、分析和展示等諸多方面提供有力的支撐，幫助安全管理人員掌握整體安全態(tài)勢。但如何從當(dāng)前和歷史數(shù)據(jù)中對未來趨勢進(jìn)行預(yù)測的能力較弱。目前態(tài)勢感知和分析的方法還比較少，如何根據(jù)已有的數(shù)據(jù)產(chǎn)生早期預(yù)警，對可能發(fā)生的威脅進(jìn)行提前預(yù)防，這將能更好的提高組織的信息安全分析和管理水平。隨著處理數(shù)據(jù)規(guī)模的快速增長，如何從海量數(shù)據(jù)中快速感知當(dāng)前組織面臨的信息安全態(tài)勢對安全管理平臺提出了新的挑戰(zhàn)。

7) 系統(tǒng)交互能力有限，數(shù)據(jù)展示效果有待提高

盡管傳統(tǒng)的安全管理平臺提供了一些數(shù)據(jù)可視化的工具，可使安全分析的數(shù)據(jù)和結(jié)果可視化的呈現(xiàn)給安全分析人員。但現(xiàn)有系統(tǒng)的交互能力都較弱，安全分析人員使用安全管理平臺與數(shù)據(jù)進(jìn)行交互分析，如事件調(diào)查，歷史回溯，條件組合查詢，結(jié)果查看等的效果都有待提高，才能滿足安全分析人員的需求。無論何時，人都是信息安全分析和管理的第一要素，因此良好的人機(jī)交互才能為安全分析人員提供了一個有力的武器，良好的工作舞臺。

8) 如何進(jìn)行積極主動的安全管理？

當(dāng)前的安全管理平臺以安全事件為核心分析要素，偏事后分析，以被動響應(yīng)為主。安全事件是對已經(jīng)或者正在發(fā)生的行為的描述，分析結(jié)果更多地指導(dǎo)我們進(jìn)行故障處置和應(yīng)急響應(yīng)。對于客戶而言，更希望安全管理平臺能夠告訴他們哪里可能會出問題，而不僅僅是哪里出了問題。因此，積極主動的安全管理至關(guān)重要，客戶迫切需要一套前攝性的安全分析、管理機(jī)制和技術(shù)支撐手段，尤其是能夠主動地應(yīng)用各種安全威脅情報信息。

針對以上安管平臺面臨的新挑戰(zhàn)，我們該如何辦？

應(yīng)對安全大數(shù)據(jù)帶來的新問題，還需要用大數(shù)據(jù)的技術(shù)來解決。只有將大數(shù)據(jù)分析技術(shù)充分融合到現(xiàn)有的安管平臺技術(shù)架構(gòu)中才能使傳統(tǒng)的安管平臺煥發(fā)新生。我們將融合大數(shù)據(jù)技術(shù)的新一代安管平臺及其配套機(jī)制稱作SOC3.0。

在SOC3.0時代，安管平臺將繼續(xù)緊密圍繞業(yè)務(wù)、采用主動的和真正具有安全智能的管理技術(shù)，并采用融合大數(shù)據(jù)技術(shù)的軟件架構(gòu)，為組織的核心戰(zhàn)略和業(yè)務(wù)使命達(dá)成服務(wù)，滿足安全合規(guī)和監(jiān)管需求，為安全運維人員和分析師提供日常安全分析和威脅管理的工作利器，為組織運營管理提供決策支撐，真正成為組織信息安全保障體系中的核心和工作中樞。

在DT時代，融合大數(shù)據(jù)技術(shù)的SOC3.0應(yīng)具有以下技術(shù)特征：以數(shù)據(jù)為核心，有新技術(shù)提供低成本、高可靠、可彈性擴(kuò)展的數(shù)據(jù)處理能力，滿足組織對異構(gòu)海量安全數(shù)據(jù)的處理需求；以關(guān)聯(lián)分析（知所已知）和行為分析（知所未知）為兩翼，為安全管理人員提供智能化分析方法，以應(yīng)對日益復(fù)雜的隱蔽攻擊和威脅，從數(shù)據(jù)中發(fā)現(xiàn)價值；以運維和管理為動力，提供流程輔助、合規(guī)管控、安全分析和決策支持等能力；同時，通過可視化技術(shù)和人機(jī)交互為安全管理人員提供工作接口，展現(xiàn)數(shù)據(jù)價值。

最后，必須指出，SOC3.0不是對現(xiàn)有安管平臺的否定和顛覆，現(xiàn)有的安管平臺仍將具備應(yīng)用場景。SOC3.0是順應(yīng)大數(shù)據(jù)時代要求的產(chǎn)物，但目前、甚至最近幾年還有很多企業(yè)和組織的安全管理并非都居于大數(shù)據(jù)場景之下，我們也不能一味求變，還需要切合自身實際。因此，SOC3.0仍將與現(xiàn)有安管平臺并存一段時間。