【51CTO.com原創稿件】最近，搞應用開發的小王遇到了十分頭痛的問題。公司產品在實際的應用中，產生了大量的用戶日志數據，這些日志的存儲、統計、分析和查詢可難倒了他和同事。因為服務器比較多，日志難以歸集;大量的日志數據需要備份處理，還要進行相關的統計和查詢分析。

目前，他們采取的方案就是scribe進行日志歸集后交給Hadoop處理。但是因為對于Hadoop研究不夠深入，處理起日志來挑戰較大。他們亟需一個可靠的便捷的解決方案。

其實，小王面臨的這種情況并不是個例。近日，日志易產品總監饒琛琳在接受51CTO記者采訪時表示，無論是服務器、網絡，還是應用，只要在運行中就會產生數據，形成日志。產生的這些日志本身是沒有價值的，只有加以分析關聯才會產生價值，了解到網絡中發生的事情，是否遭遇安全攻擊等，從而提升業務質量，提高系統或應用的安全性。然而，在日志的處理過程中，每個IT運維人員都會遇到這樣那樣的問題。而日志易這款產品的目標便是幫助企業，幫助IT人員，挖掘日志的價值，解決日志分析難題。

[[210505]]

日志易產品總監饒琛琳

企業日志分析難題解析

目前，有的企業有能力有技術管理日志，挖掘其中的價值，但是有的企業還沒有足夠的能力挖掘日志價值。不同行業在日志的處理方面存在著很大的區別。互聯網企業以及互聯網化比較好的企業基本上已經從單純的基礎記錄需求走向了數據分析需求，日志走向集中化。而互聯網化較差的企業和一些小企業還將日志放到自己的服務器上，甚至有時暫時關閉日志收集分析，碰到問題再臨時開啟，或者臨時查看服務器。這兩類企業在不同的發展階段也有不同的需求，遇到不同的疑難雜癥。

對此，饒琛琳指出，在日志的管理上，前一種類型的企業常見難點在于：很明確自己要分析的內容，但是無法做到及時分析。或者因為運維人員偏多，要做的分析人員上手難度大，寫代碼不是那么方便。另一種類型的企業更在于業務提升，當有跨集群、跨機房等需求的時候，缺乏一個快速分析日志的手段。

如何讓日志分析更容易?

為了解決以上企業所面臨的難題，讓企業的日志分析更容易，挖掘出日志的最大價值。饒琛琳表示，基于對企業用戶需求的深入了解，一方面，為了讓企業的日志分析更加靈活，讓企業的運維人員在不用深度了解編程語言的基礎上，達到快速靈活分析數據的效果。用戶可以通過日志易SPL(Search processing language)搜索處理語言，在搜索框中編寫復雜查詢語句，進行各種統計分析。“運維人員不需要去處理復雜的底層邏輯，只要知道我要哪個命令去干什么活的，那就行了。”

另一方面，以往，在日志管理分析能力不足的企業中，IT技術人員會采用多個開源軟件去實現。現在，通過日志易，企業可以部署一個日志集中管理平臺，實現日志數據的采集，存儲，分析等操作，減少人員利用開源軟件的學習成本，提高工作效率。

[[210506]]

據記者了解，日志易是一款專業的海量日志搜索分析產品，面向企業提供一站式的日志分析解決方案，實現對日志的集中采集和實時索引，在統一平臺完成日志實時檢索、安全告警、統計報表及關聯分析等多種功能，幫助用戶進行線上業務實時監控、業務異常原因定位、業務日志數據統計分析及安全與合規審計。目前，日志易簽約用戶已有近兩百家，在金融、能源、互聯網、電子商務、運營商等多個行業得到廣泛應用。

日志易發布1.10.1版本，深化對機器學習技術的應用

近日，日志易再升級，推出了1.10.1版本。此時，距離1.10版發布，僅僅過去2個月。

據饒琛琳介紹，新版本主要有兩大亮點：一是，在原有機器學習算法指令的基礎上，深化對機器學習技術的應用，進行了參數調優，提供了智能的模式發現功能。所謂模式發現，是日志易以聚類算法實現的對日志文本分析的功能，通過該功能用戶可以了解日志的類別。二是，增強了對復雜結構數據的處理和分析能力。利用開源項目做日志分析時，一些開源的底層技術實現上很難支持嵌套的數組，無法對復雜數據結構過濾并進行精準的統計，只能回復是否有查到。新版本日志易增加了對場景的統計處理功能，可以精準定位你要的是哪個數組的第幾個元素里的哪個哈希值。

此外，該版本還完善了對告警事件的分析處理功能，添加了全新的知識庫模塊、告警插件的管理模塊，改善了統計圖表配置，儀表盤實時統計和Agent管理界面等模塊的交互體驗。

饒琛琳表示：“與其他同類產品相比，日志易具有先發優勢，在很多的細節處理上高效穩定。擁有深厚的大數據量的維護經驗，能夠滿足大企業的需求。現在，有的日志易客戶每天新增的數據量達到了二三十個TB。就目前國內來說，在同類產品里是一個很稀缺的使用狀態。”

最后，談及日志易未來的發展規劃，饒琛琳說：“一方面，我們希望構建一個生態圈，促進客戶間的相互交流溝通，分享經驗。我們會把固化的經驗放到一個基于日志易上的APP，當兩個用戶的需求相似時，可以把之前固化的APP拿過來使用。另一方面，我們將在機器學習，人工智能方面繼續突破。”

【51CTO原創稿件，合作站點轉載請注明原文作者和出處為51CTO.com】