pache Hadoop 今年10歲了

[[175417]]

這個以處理大量數據的實驗做為開端的開源軟件框架，已經穩步成長為以前所未有的方式解鎖信息價值的成熟企業解決方案。今天，企業運用Hadoop解決各種各樣的問題，從改善人類健康，到挖掘最大金融投資潛力，等等等等。10年間，業內見證了一個以Hadoop為中心的龐大生態系統的誕生和快速發展。

現代企業場景里，安全和風險從業者迅速認識到，數據洞見是理解、識別和解決企業威脅的關鍵。

我們開始意識到，網絡安全，從很多方面上講，就是個數據分析問題。正是由于這個原因，Hadoop，攜其對海量數據的吸收、處理和分析能力，被廣泛采納來解決我們面臨的各種挑戰。

安全方面，Hadoop讓用戶可以圈住他們企業產出的所有數據。他們對網絡、用戶、終端乃至物聯網(IoT)產生的信息都有完全的訪問權——正是生產對可疑行為、異常和其他威脅指標的分析結果所需的那些東西。除此之外，Hadoop還能讓企業可以利用機器學習和各種靈活的即插即用程序，無論它們來自專利產品還是開源市場。有了Hadoop，你就有了足以應付當前和新興挑戰的解決方案。

情況并不總是這樣的。10年前，安全社區中很多人都覺得安全信息和事件管理(SIEM)，以及其他遺留產品就足夠了。我們以為這些就能提供生產必要分析結果所需的全部相關信息，可以應對網絡安全問題。但隨著云、移動、分布式計算和IoT的飛速發展，我們明白了，這些系統根本不夠強大到能處理所有動態數據源，也無法應付膨脹至今的巨大規模。

SIEM和其他遺留解決方案，本就不是為海量數據設計的;分析師想緊跟對手發展速度，確保有效檢測能力，用這些遺留系統也肯定是獲取不到所需全部分析結果或上下文的。

安全人員受制于此類工具提供的數據和分析時，解決風險的可能做法也同樣被限制了。受限的功能，讓我們這些負責公司防御的人，只能找到商用、已知和不怎么高級的攻擊。隨著Hadoop的出現，可用安全用例一下子擴展了許多。

多虧有了更大的數據集和更寬泛的可用分析技術，我們可以解答關于攻擊、威脅和風險的問題了。有了Hadoop，企業可以獲得用戶行為分析以識別和緩解內部人威脅，標定網絡中的可疑橫向移動，甚至跨部門共享威脅情報。

安全人員職業生涯總是圍繞著3個問題：更快的事件檢測，加強事件響應，以及理解這些情況對企業的影響。有了Hadoop，所有這三點都成為了可能，因為，從設計上，Hadoop就提供對信息、分析和上下文理解的訪問。

安全社區不再受單一應用風險視角的限制。Hadoop的靈活性，讓團隊可以獲取問題的解答，而不是只能看到各安全應用和系統吐出的不同觀點。值得指出的是，Hadoop處在集成專利和開源安全技術以產出全面網絡安全防御的前沿。比如說，在開源方面，開放網絡洞見(ONI)項目，便是采用開放數據模型和大數據分析，向Hadoop平臺引入高級威脅檢測解決方案的首批項目之一。

以上便是Hadoop何以快速成為網絡安全工具不二之選的總體介紹。該平臺還有很多實際應用，其開放性也讓網絡安全人員得以引入可以減少整體風險和暴露面的一系列功能。當然，這些，又是另一個值得探討的話題了。