近年來運維技術飛速發展，運維團隊建設了各種系統，虛擬化、容器化、持續集成等等。但如何有效地利用這些系統最終實現站點的高可用、高性能、高可擴展?在大數據時代，智能運維是基于大數據之上的。大數據里90%都是非結構化數據，日志是重要的非結構化數據，日志無處不在，因此，從日志里面挖掘的價值非常高。

2017年9月27日，由中國新一代IT產業推進聯盟主辦，CIO時代APP承辦的"第62期CIO時代信息化大講堂"活動在北京CIO時代學院報告廳成功舉行。日志易項目總監趙亮作為本次活動的特邀講師，發表了題為《智能運維與海量日志分析》的主題演講。本次活動吸引了企業技術人員、高校學生、業界CIO等40多人參會，活動現場提問不斷，氣氛活躍。本次講座活動由CIO時代APP市場運營張林穎主持。

日志易項目總監 趙亮

他主要從智能運維、小功能介紹、場景分析及價值以及機器學習四個方面進行了詳細闡述。

日志是鮮活的，是可以發聲的。他表示，要把機器學習、人工智能應用在運維領域，來實現智能運維，然后兩者結合服務于三大模塊：服務臺、自動化、監控。機器學習、大數據在不同企業的落地技術是不一樣的，機器學習在整個行業里還處于一個發展的階段，跟實際要求的預期還存在一定的差距。

智能運維架構

1、數據采集，采集是基礎，包括日志、事件、性能指標。

2、數據存儲，主要是非結構化數據存儲，日志這種數據是非常典型的。

3、數據分析，把整個數據源進行整體的分析，主要把握深度分析、實時分析兩大模塊，也是智能運維中最為關鍵的環節，要很精準的做到非結構化數據分析，來達到想要的指標。

4、數據展現。可以通過可視化、自然語言來實現。

大數據技術應用于IT運維，通過數據分析提升IT運維。Gartner估計，到2017年15%的大企業會積極使用ITOA，而在2014年這一數字只有5%。

ITOA 四種數據源的比較

1、機器數據(日志)。日志無所不在，但不同應用輸出的日志內容的完整性、可用性不同。

2、通信數據(網絡抓包)。網絡流量信息全面，但一些事件未必觸發網絡流量。

3、代理數據(嵌入代碼)。代碼級精細監控，但侵入性，會帶來安全、穩定、性能問題。

4、探針數據(模擬用戶請求)。端到端監控，但不是真實用戶度量(Real User Measurement)。

日志管理系統演進

1、日志1.0 數據庫。固定的schema無法適任意日志格式，無法處理大數據量。

2、日志2.0 Hadoop/NoSQL。需要開發成本，批處理、實時性差，不支持全文檢索。

3、日志3.0 實時搜索分析。實時、靈活、全文檢索。

4、日志4.0。主要是應用機器學習、人工智能技術。

日志易的“小功能”主要表現在豐富的數據采集手段、多種數據整理方式、內置多種解析規則、細粒度權限設置、數據脫敏、日志生命周期管理、簡單多樣的告警手段幾個方面，使日志易的“小功能”專業而全面。

場景分析及價值

一、安全審計及合規

2017年6月1日，《中華人民共和國網絡安全法》正式實施，其對業務系統安全審計提出了新的要求。日志易既對外做SOC(安全運營中心)的支撐平臺，又對內做UBA(用戶行為分析)。很多企業在使用之后，滿足了合規要求。

二、統一日志管理

目前接入600多個子系統應用日志，202臺網絡設備日志，45臺F5設備日志，47臺存儲設備日志，每秒產生的200萬條日志，由于日志量龐大，為了降低防火墻策略的復雜度以及防火墻流量壓力，將網絡設備、服務器、業務應用日志通過專門網口接入到內網萬兆交換機，直接轉發到日志易集群。各業務系統服務器中部署日志易采集agent，用于增量讀取業務日志，目前已部署1300多個。

活動現場

在此次講座中，趙亮先生深度講解了日志易的內部技術原理，深入淺出。嘉賓們認真聽講，紛紛表示不虛此行。

“CIO時代信息化大講堂”活動每隔周三下午19:00-20:30定期舉辦公開講座，更多干貨分享以及活動動態，請關注CIO時代APP。掃描下方二維碼即可下載。