Splunk實現與Hadoop的集成與監控
實時運營信息軟件供應商近期Splunk宣布Splunk Hadoop Connect和Splunk App for HadoopOps現已全面上市。Splunk Hadoop Connect可提供雙向集成,輕松可靠地完成在Splunk與Hadoop之間遷移數據。Splunk App for HadoopOps可對端到端Hadoop環境的健康和性能進行實時監控和分析。Splunk Hadoop Connect和 Splunk App for HadoopOps即日起可供下載。
Apache Hadoop項目管理委員會主席Arun Murthy表示:“Splunk Hadoop Connect讓Hadoop用戶更輕松地利用Splunk將大數據帶入企業。它讓Splunk和Hadoop更緊密地聯系在一起,為用戶開啟了無限可能。Hadoop未來發展的關鍵技術因素是利用Hadoop從數據中獲得情報的軟件。”
Edmunds.com生產工程高級總監John Martin表示:“我們不斷將數據傳輸至Splunk,以支持我們的運營、應用、安全團隊和高管人員并為他們提供情報。我們還部署Hadoop進行多批處理。Splunk和Hadoop的集成讓我們可以充分利用這兩個技術,并保證我們的Hadoop集群平穩運行。”

Splunk Hadoop Connect讓企業能夠充分享受兩家企業的技術。快速部署Splunk進行實時采集、檢索、分析和可視化,然后可靠地將事件轉發至Hadoop,進行長期歸檔和更多批量分析。企業機構可通過導入存儲在Hadoop中的數據進一步充分利用Splunk,從而在幾天內就輕松搭建起可靠、安全的企業級大數據項目。Splunk Hadoop Connect與Apache Hadoop兼容,并已經過Cloudera CDH和Hortonworks HDP發布的測試和認證。

Splunk App for HadoopOps為Hadoop提供實時端到端監控、分析和故障排除,所有這些都是在一個界面上完成的。現有Hadoop監控工具只關注Hadoop層。Splunk App for HadoopOps則通過涵蓋基礎設施,包括Hadoop、網絡、交換機、機架、操作系統和數據庫在內的所有層,從而實現超越。
Splunk產品營銷副總裁Sanjay Mehta表示:“通過將大數據轉化為實時情報,Splunk客戶每天都為我們帶來驚喜。我們希望讓Hadoop用戶更輕松地獲得這種價值。Splunk可通過輕松、迅速、彈性的方式來收集、分析用戶所有機器生成的數據并確保其安全,無論是在物理、虛擬還是云環境中。Splunk Hadoop Connect和Splunk App for HadoopOps有一個共同的開發目的,即:幫助Hadoop用戶從數據中獲得更多,同時更輕松地管理并監控其系統。”
451 Research數據管理與分析研究經理Matt Aslett表示:“Splunk采用一種方法論方式來定義其與Hadoop的共存關系。Splunk Hadoop Connect不僅能夠與Hadoop相集成,并且能夠與其進行互動,再加上利用Splunk App for HadoopOps來監控超越Hadoop本身的集群資源,意味著它能夠在‘提供管理和分析Splunk和Hadoop中數據的單一平臺’方面發揮更大作用。”
Splunk Hadoop Connect功能包括:
將事件從Splunk Enterprise™可靠導出至Hadoop,以便進行歸檔、進一步處理或進行更多批量處理。原始數據和處理前的數據都可發送。
利用Splunk Hadoop Connect用戶界面來探索Hadoop目錄,檢查文件并決定將導入Splunk的數據。
將Hadoop數據導入Splunk,并進行檢索,使其用于搜索、報告、分析和可視化,并通過基于角色的訪問控制而對其進行保護。
Splunk App for HadoopOps功能包括:
除了從不同數據中心進行多集群管理,還可端到端監控Hadoop集群、數據庫和網絡,并排除故障。
針對任何警告或錯誤情況的強大報警框架。
利用直觀的熱圖顯示,集中地實時查看Hadoop節點。
分析MapReduce的實時和歷史工作表現。