引言

監控工具是生產系統安全運營、確保業務連續穩定的關鍵一環。G行監控領域已經使用Zabbix、ITM、Nagios等成熟監控工具，有效支撐絕大多數監控需求場景，為G行運維工作提供堅實保障。然而，隨著業務發展和技術環境迭代升級，生產系統規模快速增長帶來的海量運維數據，以及新技術和新組件的引入，對監控平臺工具建設提出了更高的要求。我們逐漸發現傳統監控工具在以下領域存在短板：監控配置管理分散導致變更繁瑣，非標監控需求支持能力偏弱，在處理海量運維數據方面性能不足，影響了監控效率提升和監控質量。這些挑戰促使我們探索新的運維工具，與傳統工具相輔相成，提升監控系統的靈活性和效率。

傳統監控工具痛點分析

配置分散管理影響效率

傳統監控工具的配置文件和工具部署實例綁定，多實例部署的監控工具其配置文件在多個服務節點中分散管理。這種配置管理方式在實施批量監控策略部署和調整場景下， 管理員需要逐個節點對配置文件進行修改、驗證，不僅效率低且步驟繁瑣容易引發操作風險。此外，在實施復雜非標場景監控部署時，運維人員需要對配置文件進行深度修改，而配置文件分散管理會大幅增加人員工作量，容易引發文件修改錯誤的操作風險。

特殊需求場景支持能力不足

傳統監控工具中有閉源商業產品，也有開源社區軟件，均有廣泛的使用基礎和成熟的生態環境，在所擅長領域為95%以上的監控需求提供了解決方案，剩下5%的監控需求有較為明顯的非標特點，傳統監控工具所提供的通用解決方案在適配此類需求時缺乏靈活性。例如一些場景需要支持監控策略有靈活的生效時間，另一些場景需要支持同一個監控指標能夠配置多個數據計算公式等。要有效滿足這些需求場景，需要通過設計和實現新的監控工具來解決。

成熟產品存在性能瓶頸

隨著業務發展，生產系統的規模越來越大，復雜性也越來越高，監控工具需要采集和處理的數據量也急劇增大。要持續滿足監控報警準確、高效、及時的要求，工具的處理性能也需要不斷提高。傳統監控工具大多都已存在了數十年，受限于設計理念和軟件架構，性能瓶頸在技術浪潮的推進下日益凸顯。

解決方案

針對以上傳統監控工具的痛點，我們提出以自主研發為基礎，整合行內運維數據資產，引入大數據處理技術構建新的監控工具：閾值計算引擎，其核心組件包括配置管理臺、策略驅動、計算引擎。閾值計算引擎設計要點和嵌入監控系統后的工作機制如下：

設計要點

高頻數據計算：采用流處理技術實現數據的實時采集、處理和告警，確保故障及時發現。

集中式配置管理臺：設計實現集中式的配置管理臺，統一管理監控配置，解綁監控配置和監控工具，提高監控配置變更效率。

分布式計算引擎：計算模塊實例采用分布式架構部署，支持大規模并行數據處理，且可依據數據規模的變化進行彈性擴縮容，有效應對各種監控需求。

立足自主研發：結合G行監控運維現狀，立足自主研發，從多維度拓展工具能力，能夠覆蓋各種標準監控場景，同時靈活支持各種非標監控需求。

計算引擎上下游架構層次

數據采集層：利用G行統一數據采集系統完成各設備終端日志、性能數據和事件數據采集上報。

數據傳輸層：依托G行實時數據總線實現運維數據高效、可靠傳輸。

資源調度層：大數據處理任務的資源供給站，以Container為單元向計算任務提供CPU、內存、網絡等資源切片。

數據處理層：基于流處理框架實現日志、性能數據和監控策略數據的實時匹配和計算，對符合告警條件的數據輸出告警，并將告警信息傳遞給統一監控管理平臺告警管理中心。

告警通知層：根據計算結果生成告警，通過多種渠道通知運維人員。支持告警分級和告警抑制，減少誤報和重復告警。

策略驅動：負責將配置管理中心的策略、公式、設備信息通過緩存通道同步至計算引擎，與設備性能數據進行匹配計算。

配置管理臺：集中式的監控配置管理臺，負責統一維護和管理監控策略、設備信息和指標計算公式。

圖片

圖片

通過統一監控管理平臺集中配置策略和查看告警信息，整個工具實現了從策略配置到數據計算再到告警推送的全流程管理。

閾值計算引擎特點

配置管理集中化

通過將監控部署工藝流程中配置入口、策略管理、變更操作進行集中化管理，實現一站式監控策略上下線。

配置入口集中化：用戶通過統一監控管理平臺頁面作為設備信息和監控策略的管理入口，集中管理監控配置信息。

策略管理集中化：通過配置管理臺統一管理云上、云下監控策略，無需按照領域進行策略分類維護，降低管理成本。

變更操作集中化：用戶只需將準備好的監控策略文件和設備信息進行一鍵導入和綁定，即可完成策略變更操作。

具備個性化支持能力

通過實現非標數據規范化模塊和拓展監控策略數據模型提升個性化場景監控需求支持能力。

非標數據規范化：該模塊基于動態腳本語言、以及可配置化數據預處理模塊，用于統一各種非標準監控場景下所采集監控數據的格式。支持用戶在線交互式地數據預覽和標準化工作。對接不同格式的監控數據時，用戶可以在線預覽數據樣例，編寫數據處理腳本，驗證數據處理效果。

多維度調整監控策略模型：通過優化監控策略數據模型，擴展時間等維度屬性和實現策略模板的分組管理，完善個性化監控需求支持能力。

高效處理大規模數據

計算引擎設計上采用分布式彈性可擴展的部署模式，實現大規模數據計算的高吞吐和低延遲。計算模型設計模式升級和數據處理任務內存使用效率優化，進一步提升了任務執行效率。

高吞吐和低延遲：閾值計算引擎在數據處理方面具備高吞吐和低延遲特性，能夠及時處理海量運維數據，確保告警信息高效、及時地通知到位。具體來說流處理技術的引入可以將監控數據處理延遲提高到秒級。另外工作節點靈活擴展能夠依據數據處理量級快速對數據處理節點進行大規模擴容，滿足海量數據處理需求。

時間窗性能優化：很多監控需求的實現都基于時間窗概念，所謂時間窗是在指定時間范圍內捕獲無界的流動數據進行分析處理的技術，時間窗可以按一定步長向前滑動或滾動。從G行監控運維實際情況出發，我們實現了自適應時間窗，只在捕獲異常數據時才創建窗口。Flink內置的時間窗存在多窗口之間的數據拷貝和窗口步長固定問題，降低了流處理任務的內存使用效率和需求場景支持靈活度。立足實際需求場景的自研時間窗支持時間窗動態移動步長，同時避免時間窗在滑動時的數據拷貝和重復計算，提高了窗口數據計算和告警判斷的效率，也避免了內存密集型任務頻繁Full GC對任務性能的影響，有效提升工具運行穩定性。

圖片

應用效果

隨著新監控工具閾值計算引擎的投產運行，實現監控配置統一管理、快速下發、動態配置。目前G行實時監控超過10000臺服務器的系統容量指標，與傳統工具保持并行監控、交叉驗證，提供7*24實時監控服務，運行狀態穩定可靠。閾值計算引擎建設收益主要包括以下幾點：

監控實施效率提升：在上百臺設備批量新增、調整監控策略的變更場景下，相較于傳統監控工具需要逐臺操作監控服務而言，閾值計算引擎采用配置集中化管理，并為批量設備增加獨立的管理標簽，通過配置管理中心把標簽與監控策略進行綁定，即可完成策略調整，達到簡化監控變更實施工藝流程、提升實施效率的效果。

告警延遲降低：閾值計算引擎底層基于流處理技術，是實時數據驅動的工作模式，可以將數據處理時效達到秒級，有效降低告警延遲。

個性化監控水平提升：閾值計算引擎可以通過非標數據規范化模塊使用戶在線交互式的完成數據標準化處理，同時拓展監控策略多維度屬性信息來豐富策略使用場景，有效支持個性化監控需求。

誤報率降低：完成傳統監控工具部分功能模塊替換和升級，消除因產品缺陷導致的告警誤報。

后續優化和擴展

接下來，閾值計算引擎將在以下幾個方面進一步優化和擴展：

自服務能力建設：建設閾值計算引擎的自服務能力，進一步優化監控變更實施自動化率，提升運維效率。

監控預警和動態閾值：探索基于算法的監控預警和動態閾值調整能力，適應業務波動和系統負載變化，更早發現系統異常。

拓展覆蓋領域：在逐步推動云下環境監控場景全覆蓋基礎上，盡快開展云上環境監控對接，實現閾值計算引擎對生產環境的統一監控納管。

持續建設非標場景監控能力：當前金融科技數字化轉型如火如荼，新技術、新場景、新架構日新月異，傳統監控工具面臨諸多挑戰，快速滿足非標場景監控需求的能力需要更加完善和成熟。

基于大數據技術的閾值計算引擎為實時監控提供了一種全新的解決方案。它解決了G行傳統監控工具的痛點，有效提升監控實時性、準確性和效率。隨著技術的不斷演進，閾值計算引擎將在G行IT系統的運維中發揮更加重要的作用，為業務的穩定運行保駕護航。

圖片

作者：申晨

目前是一名監控管理員，負責統一監控管理平臺系統建設與運行維護工作，在程序設計與數據分析領域有較為豐富的工作經驗，歡迎交流。

圖片

編輯：鄭偉曼

目前從事監控運營管理工作，主要負責應用監控指標標準化和監控未達事件管理相關工作，最近愛好健身和烘焙，希望與大家積極交流！