新浪微博系統開發工程師于炳哲:如何實現更好的日志運維?
原創2016年8月26-27日,由51CTO.com主辦的【WOT2016移動互聯網技術峰會】在北京粵財JW萬豪酒店隆重召開。自2012年以來,WOT品牌大會秉承專注技術、服務技術人員的理念已經成功舉辦十一屆,不僅積累了大量的專家資源,更獲得廣大IT從業者和技術愛好者的認可和好評,并成為業界重要的技術分享及人脈拓展。來自新浪微博系統開發工程師于炳哲,為我們帶來了主題為《日志漫談-不同規模下的日志運維與優化》的演講。演講結束,51CTO記者在***時間采訪了他。
新浪微博系統開發工程師 于炳哲
企業的日志運維會遇到很多不同的問題,最主要的是日志量的問題,當企業日志量過于龐大時,首先我們要考慮日志是否有一些可以進行日志合并對日志格式進行一定的規范,其次是考慮成本問題,日志越大企業實際的成本也就越大,所以要選擇有效的數據做一些有真正意義的事情。
不同的企業規模對日志的要求也不是相同的,這是一個漸進的過程,小企業的規模較小但發展特別快速,所以小企業日志通過一些企業的迭代進行架構迭代。大企業在日志方面顯得比較成熟,在成熟的環境下迭代就不再明顯,更加被強調出來的是各部門之間的解耦問題,保證好相應的解耦問題,是大企業在日志運維方面面臨的問題。
企業優化日志運維應該更好的與大數據相結合,相對于普通的日志監控,數據驅動是一種很好的優化選擇。
從龐大的日志中有效的挖掘有價值的數據不僅僅是后期操作就可以的,對日志的前期規劃也十分重要,為了方便信息的分類收集,就要把同類的信息收集到同一個通道當中,作為數據采樣,更不需要全量的龐大數據,量的減少可以更快的分析出整體的效果,企業也可以通過技術的組件做出相應的版塊監控。
日志分析首先考慮的就是企業的規模,根據企業結構來選擇適合企業的日志架構,其次是同步與異步架構設計需要提前整理好,再者企業日志分析往往需要根據業務方面和技術方面進行優化。***,企業日志的分析可以通過一些開源組件得到很好的解決,針對企業當中的業務的具體情況,相對應的開源組件可以進行符合業務的一些修改。