大數據帶來大困惑
最近,關于大數據的討論此起彼伏,企業也越來越關注大數據的管理問題。但事實上,很多企業并沒有真正理解什么是大數據,也沒有部署相關工具去有效地管理它們。
“很多人都不理解究竟什么是大數據,因為并沒有明確的定義,大家都感到很困惑。”LogLogic公司***營銷官Mandeep Khera這樣說。最近,LogLogic與IT安全研究公司Echelon One共同完成了一項大數據管理調查。調查發現,有49%的企業有些或者非常關心大數據管理問題,而有38%的企業并不明白什么是大數據,另外有27%的企業表示他們對大數據一知半解。此外,調查還發現59%的企業沒有部署相關工具來管理IT系統中的數據,而是轉向獨立系統和其他系統,甚至是使用電子表格。此次調查的對象是207位來自各行各業的主管或以上級別的個人。
“大數據是大量的非結構數據。如果管理得當,我們能從大數據中挖掘出有效信息,幫助企業解決安全、運營和法規遵從等問題。所有企業都正在從企業內部各種來源以及云基礎設施中收集越來越多的數據,而很多企業還沒有使用正確的工具和流程來管理這些數據。如果這種模式繼續下去,我們將會看到,這樣做的企業會遠遠落于人后,因為他們無法獲取對系統洞察力,從而幫助企業做出明智的決定。”Khera解釋說。
在此次調查中,62%受訪者表示他們已經在管理1TB以上的數據,以后還會有更多數據。全球數據量正在以瘋狂的速度增長。據稱,目前存在的90%數據來自于過去的兩年間,這些數據來自傳感器、交易記錄、圖像和視頻、社交媒體、日志等。
這就是大數據。如果正確使用大數據,它將為你提供夢寐以求的情報和洞察力。在安全方面,它可以讓你看到網絡中正在發生的事情,以保護企業免受高級持續性威脅和惡意軟件。同時,還能通過優化服務器和供應鏈管理來提高運營效率。它甚至還可以幫助你處理法規遵從的問題。
Khera表示,控制大數據的關鍵之一是日志管理,日志管理能夠整合來自企業范圍內的所有日志,建立索引存儲庫,并以常見的用戶界面顯示。要利用這些數據,需要具備數據規范化和關聯化,以及報告和發送告警的能力。
2012年2月,LogLogic委托IANS對其日志數據管理和法規遵從產品進行信息安全投資分析(簡稱為ISIA)。在走訪了幾位存在大數據處理問題的LogLogic客戶后,IANS表示:“大數據的日志管理與一般數據的日志管理之間主要區別是,如何管理規模龐大的日志信息。如果沒有簡單易用的用戶界面或者提供快速訪問的索引存儲庫,幾乎不可能從數據漩渦中找出有效情報。大數據管理解決方案必須跟上新信息產生的速度。這對于告警方面尤為重要,如果索引時間太長,關鍵的告警消息將被延遲,從而會造成嚴重問題。”
現實的情況是,目前只有54%的受訪者使用日志管理解決方案來管理日志數據。很多企業使用系統日志(syslog)或者電子表格進行日志管理,而LogLogic的調查顯示,33%的受訪者沒有對日志進行管理。大數據管理任重而道遠。