程序員因重復記錄日志撐爆ELK被辭退!
由于日志配置繁雜,很多同學喜歡直接cv其他項目或網上博客的配置文件,而不仔細研究每個配置項。最常見的就是重復記錄日志,這不但給查看和統計帶來不必要麻煩,還會增加磁盤和日志收集系統負擔。
下面看幾個常見導致該錯誤的案例,大家引以為戒,避免被辭退。
1 logger配置繼承關系錯誤
圖片
定義方法記錄debug、info、warn、error四種日志:
Logback配置
配置看沒啥問題,但執行方法后明顯記錄重復了:
錯因
CONSOLE這個Appender同時掛載到倆Logger,定義的
如此配置的初衷是啥?
本想實現自定義logger配置,讓應用內日志暫時開啟DEBUG級別。
其實,這無需重復掛載Appender,去掉
- <logger name="org.javaedge.logging" level="DEBUG"/>
若自定義
- 應用日志輸出到文件app.log
- 其他框架日志輸出到控制臺
可設置
2 配置LevelFilter錯誤
記錄日志到控制臺時,將日志按級別記錄到倆文件
執行結果
info.log 文件包含INFO、WARN和ERROR三級日志,不符預期
error.log包含WARN和ERROR倆級別日志,導致日志重復收集圖片
事故問責
一些公司使用自動化ELK方案收集日志,日志會同時輸出到控制臺和文件,開發人員在本地測試不會關心文件中記錄的日志,而在測試和生產環境又因為開發人員沒有服務器訪問權限,所以原始日志文件中的重復問題難以發現。
到底為何重復?
ThresholdFilter源碼解析
圖片
- 當日志級別 ≥ 配置級別 返回NEUTRAL,繼續調用過濾器鏈上的下個過濾器
- 否則返回DENY,直接拒絕記錄日志
該案例我們將 ThresholdFilter 置 WARN,因此可記錄WARN和ERROR級日志。
LevelFilter
用于比較日志級別,然后進行相應處理。
- 若匹配就調用onMatch定義的處理方式:默認交給下一個過濾器處理(AbstractMatcherFilter基類中定義的默認值)
- 否則調用onMismatch定義的處理方式:默認也是交給下一個過濾器
和ThresholdFilter不同,LevelFilter僅配置level無法真正起作用。
由于未配置onMatch和onMismatch屬性,所以該過濾器失效,導致INFO以上級別日志都記錄了。
修正
配置LevelFilter的onMatch屬性為ACCEPT,表示接收INFO級別的日志;配置onMismatch屬性為DENY,表示除了INFO級別都不記錄:
如此,_info.log文件只會有INFO級日志,不會再出現日志重復。
本文轉載自微信公眾號「 JavaEdge」,可以通過以下二維碼關注。轉載本文請聯系 JavaEdge公眾號。