轉轉B2C一站式服務告警治理的背后

作者：李迪山 2023-06-21 08:34:49

開發前端

怎么快速定位異常入手，通過自定義Promtheus的PromQL來聚焦當前業務需關注的異常，另外實現了H5監控大盤頁面，提升了在非工作日戶外無辦公設備問題定位的能力。

1 為什么寫這篇文章

轉轉B2C技術部主要負責商詳、商列等BFF層核心頁面業務，單接口甚至需要開線程池并行調用二十多個依賴服務，因此依賴的服務以及執行線程池的穩定性也就成為了B2C關注的重點。

那么站在技術視角看調用鏈路，會發現幾個特點：

CPU使用率高，線程池大量使用
RPC調用多，穩定性指望依賴的服務方
業務調用鏈路較長，無法精細化控制

本文就針對如何快速定位常見問題，以及后續日志的進一步治理計劃來進行講解。

2 現狀與問題

目前轉轉各個排查問題的工具是統一開放給公司的所有業務使用的，因此每次告警，都需借助統一的平臺如服務治理平臺、Grafana、Log日志平臺等工具進行排查，不完全貼合B2C常見問題排查場景，比如上游調用異常、超時等問題。

B2C技術部告警定位問題會遇到如下幾個問題：

線上常見告警問題無法快速識別

線上內置告警無法一眼定位出問題，需要根據業務新增新的Promtheus PromQL展示調用服務超時、異常榜單。

公司統一平臺無法快捷跳轉

發生緊急問題時，只能從收藏夾中選中公司各個公用平臺，然后手動輸入服務名稱、時間范圍、粘貼查詢語句等，效率較低。

戶外環境下無法定位常見問題

辦公設備不在身邊時，一旦發生告警，無法像在公司一樣方便的打開各個平臺進行問題定位。

3 解決方案

上面提出了幾個問題，那怎么進行監控治理呢。比如，怎么快速識別出問題的類型？怎么快捷跳轉對應的平臺？以及在戶外如何進行問題定位呢？針對這些問題提出了如下解決方案。

總架構設計圖如下

如圖可拆分為四部分，執行步驟為：規范梳理及調整 -> 日志收集 -> 日志告警及定位 -> 告警感知

3.1 規范梳理及調整

日志打印規范化：梳理項目不合理日志打印輸出。

日志打印級別優化：如輸入密碼為空日志級別由error降為warn級別。
該打的日志沒打：領券、預約、秒殺成功等關鍵節點操作需要輸出日志。
不該的打日志別打：移除掉定位問題無關的大日志，如打印整個商詳返回值。

類型與閾值規范：規范異常拋出類型及調整業務系統告警閾值。

無效錯誤堆棧日志屏蔽：如timeoutException異常的堆棧日志打印無效，可直接省略。
告警閾值過于固定：根據各業務調整閾值，達到99.99%系統穩定性告警閾值標準即可。

3.2 基于Apollo自定義日志Agent攔截(日志收集)

日志收集

Apollo配置中心控制異常+日志打印維度配置。
根據配置屏蔽無用Exception，并上報到Promtheus，以Grafana報表展示。
通過JavaAgent根據配置的業務、類、方法級別攔截日志打印，偽代碼如下。

public MethodVisitor visitMethod(int access, String name, String descriptor, String signature, String[] exceptions) {
            MethodVisitor methodVisitor = super.visitMethod(access, name, descriptor, signature, exceptions);
            if (STR_V.equals(descriptor) && infoLevel.contains(name)) {
                //  此處省略。。攔截日志處理邏輯----------
                return new LogMethodInsnVisitor(methodVisitor, className, name);
            } else {
                return methodVisitor;
            }
        }