本文將探討網絡安全中的大數據。更確切地說，探討繞過使用大數據的保護系統的難易程度;或者換句話說，如何欺騙高級威脅檢測系統。而有些營銷人員聲稱，沒有任何可疑的數據可以通過檢測系統的檢測。大數據分析系統可以作為檢測可疑活動(如SIEM和XDR)的主要工具之一。

大中型企業通常使用這樣的平臺。他們擁有龐大的網絡和云計算基礎設施，每小時都會發生數百萬個攻擊事件。自然，沒有辦法人工分析它們。它是通過大量使用技術手段進行的。值得注意的是，在大數據和網絡安全領域，專家的可用性是一個必要的組成部分。

這樣的系統有什么作用？

它們允許識別大量結構化和非結構化數據中未經授權活動的跡象。考慮到在一個平均由1萬個端點組成的網絡中，每天傳輸大約25TB的數據，掃描所有這些數據的任務變得非常困難。但是，有幾種算法可以提供幫助。

威脅檢測平臺(特別是XDR)的一個基本質量標準是異常檢測的準確性。通常，XDR解決方案包括負責收集和處理事件的SIEM平臺、檢測和響應異常所需的EDR模塊，以及收集有關用戶操作和/或端點、服務器和網絡設備的大量數據的UEBA系統，以及然后使用機器學習算法來構建行為模式，并嘗試識別異常情況。

這種異常的最簡單的例子是，例如在深夜，服務器突然開始主動與遠程主機通信，這是以前從未在日志中看到的。這種情況偶爾發生，不是經常發生，但這一事實看起來可疑。另一個例子：突然之間，從分配給單個員工的辦公設備中，每隔三四天就會有幾十兆字節的數據傳到某個地方，而根據訪問系統中的信息判斷，這可能有問題。

上面提供的例子通常非常明顯。還有一些不太常見的事件，它們之間的聯系一點也不明顯，但機器可以看到一切。

機器能看到一切嗎？

在弗蘭克?赫伯特所著的著名科幻小說《沙丘》中，沙蟲會摧毀任何發出具有節奏的聲音的東西。無論是人員還是機器。然而，沙漠居民已經學會了使用模仿沙漠自然噪音的特殊不規則步態來欺騙警惕的沙蟲。為了提高可靠性，他們使用了特殊的分散注意力的裝置，當這些裝置被激活時，會開始發出響亮的有節奏的敲擊聲。沙蟲們蜂擁而至，讓人們有時間去他們需要去的地方。

這些類比并不是巧合。事實上，想要繞過大數據分析系統的網絡犯罪分子將不得不花費大量時間和精力。這是一個好消息。俁可悲的是，任何安全系統都可以找到弱點。

上述安全系統的基礎是一種知識庫，它是有關潛在威脅以及有關受保護資源的結構和功能的信息的組合。該知識庫有助于確定什么是正常的事件過程，什么是異常。

大數據分析系統可以以多種不同的方式工作。例如，可以對Hadoop進行編程以檢測任何進入或離開網絡的事物。通過這種方式，可以在網絡犯罪分子的控制下識別受感染的電腦或服務器與主機之間的可疑通信。還可以配置系統日志的監控。

預警平臺可以從受保護的基礎設施內部收集和積累數據，確定什么被視為正常行為，從外部收集有關潛在威脅和風險的數據，使用大數據分析來確定是否在其保護范圍之外觀察到類似的事情。

黑客如何繞過保護

自然，網絡攻擊者知道此類系統的工作原理。他們能做什么?首先，進行針對性攻擊的操作人員將進行偵察。這一步可能需要很多時間。偵察的對象不僅是目標基礎設施的硬件系統和軟件，還包括其操作人員。員工分享自己的信息越多，就越容易對他或他的同事進行網絡釣魚攻擊。眾所周知，相當多的成功攻擊都是從網絡釣魚開始的。

網絡攻擊者的下一個任務是最小化他們對安全系統的可見性。這里有幾個選項。網絡犯罪分子可能會使用目標基礎設施中已有的合法開源工具(例如PowerShell和管理工具等)在受到網絡攻擊的網絡中移動。此外，他們可以使用無文件惡意軟件破壞系統工具，如果沒有檢測到，網絡攻擊者能夠在被攻擊的網絡中不被注意地移動。

然而，如果他們過于活躍和具有規律，檢測系統就會做出反應，這意味著黑客將不得不盡可能緩慢地行動，而且其間隔沒有規律。

例如，如果目標基礎設施中只有一兩臺機器每周甚至一個月被掃描一次，那么安全系統幾乎不可能檢測到任何東西。

如果網絡攻擊者所需的數據不是由一個受感染的帳戶收集的，而是由十幾個帳戶收集的，并且如果這些數據不是在一個遠程服務器上發送的，而是發送給許多遠程服務器，那么檢測系統工作所依據的威脅模型可能是錯誤的。

另一個糟糕的場景是這樣的：員工將一些文件復制到他的閃存驅動器中。離開大樓后，他把口袋里的垃圾扔進垃圾桶，其中包括一個閃存驅動器。數據泄露防護(DLP)系統可能無法始終抵御內部威脅，尤其是在專業人員積極主動地進行攻擊的情況下。

另一個值得關注的方面是針對少量典型場景訓練的開箱即用檢測系統。他們需要一些時間才能從其他系統(威脅源)獲得足夠的關于潛在威脅的信息，并使它們適應他們的模型。

如果網絡攻擊者設法想出一個不太典型的攻擊場景，他們就有機會在安全系統檢測到之前有時間實施它。

當然，當存在多個進入基礎設施的入口點時，網絡攻擊者會安排某種明顯的事件，例如DDoS攻擊或故意檢測到的將某些數據傳輸到遠程主機。而這只是一個煙幕彈，可以分散對實際攻擊的注意力，而實際攻擊是在完全不同的領域進行的。

人們可以在任何系統中找到漏洞并提出利用它們的方案。一般來說，無論是人類還是人工智能都無法預見一切，但有可能使網絡攻擊者的任務變得極其困難。為企業基礎設施提供所有可用的高級安全工具是可能且必要的。

如何進行保護

現在，網絡犯罪分子和XDR系統之間展開了一場軍競賽。黑客在尋找弱點，而防御者的任務是將進入點的數量降至最低。

對于大多數網絡犯罪分子來說，大公司可用的基于大數據的技術和工具通常過于昂貴。重大網絡攻擊和數據泄露是由高級網絡團伙執行的。盡管如此，在大多數情況下，當今的網絡事件始于對特定用戶的針對性攻擊。

首先，除了使用先進的技術保護手段外，企業還需要讓其用戶為可能的網絡釣魚攻擊做好準備，并訓練他們應對社會工程技巧。所有員工都應該至少對如何在工作場所內外確保自己的信息安全有基本的了解。由于向遠程工作的大規模過渡，這一點尤為重要。此外，有必要盡量減少可能的入口點的數量。這些可以是連接到企業網絡并可從外部訪問的任何設備。入侵者可以利用配置不正確的驅動器、非常舊但仍在運行的路由器和物聯網設備。