線上服務CPU100%問題快速定位實戰(zhàn)
功能問題,通過日志,單步調試相對比較好定位。
性能問題,例如線上服務器CPU100%,如何找到相關服務,如何定位問題代碼,更考驗技術人的功底。
58到家架構部,運維部,58速運技術部聯(lián)合進行了一次線上服務CPU問題排查實戰(zhàn)演練,同學們反饋有收獲,特將實戰(zhàn)演練的試題和答案公布出來,希望對大家也有幫助。
題目
某服務器上部署了若干tomcat實例,即若干垂直切分的Java站點服務,以及若干Java微服務,突然收到運維的CPU異常告警。
問:如何定位是哪個服務進程導致CPU過載,哪個線程導致CPU過載,哪段代碼導致CPU過載?
步驟一、找到最耗CPU的進程
工具:top
方法:
- 執(zhí)行top -c ,顯示進程運行信息列表
- 鍵入P (大寫p),進程按照CPU使用率排序
圖示:
如上圖,最耗CPU的進程PID為10765
步驟二:找到最耗CPU的線程
工具:top
方法:
- top -Hp 10765 ,顯示一個進程的線程運行信息列表
- 鍵入P (大寫p),線程按照CPU使用率排序
圖示:
如上圖,進程10765內,最耗CPU的線程PID為10804
步驟三:將線程PID轉化為16進制
工具:printf
方法:
- printf “%x\n” 10804
圖示:
如上圖,10804對應的16進制是0x2a34,當然,這一步可以用計算器。
之所以要轉化為16進制,是因為堆棧里,線程id是用16進制表示的。
步驟四:查看堆棧,找到線程在干嘛
工具:pstack/jstack/grep
方法:
- jstack 10765 | grep ‘0x2a34’ -C5 --color
打印進程堆棧
通過線程id,過濾得到線程堆棧
圖示:
如上圖,找到了耗CPU高的線程對應的線程名稱“AsyncLogger-1”,以及看到了該線程正在執(zhí)行代碼的堆棧。
希望對經常進行線上CPU問題排查的同學有幫助,如果有更好的實踐,也歡迎分享。
【本文為51CTO專欄作者“58沈劍”原創(chuàng)稿件,轉載請聯(lián)系原作者】