【工具】

SystemTap是Linux下的動態跟蹤工具，可以方便的監控、跟蹤運行中的程序或Linux內核操作，我們通過寫SystemTap腳本（與C語言類似），編譯為內核模塊，然后加載到內核中運行，它帶來的性能損耗比較小。

【兩個應用舉例】

一、 分析SQL語句在執行各個階段的消耗

比如我們想統計一句SQL在解析階段的執行時間，可以在mysqld進程的對應parse_sql函數上加探測點，統計函數執行時間。

腳本如下：

示例如下，當前QPS約1.6W，包含了SQL執行過程中解析、redo、binlog、undo、網絡、IO讀、IO寫上的消耗，由于涉及的函數較多，這部分后續還需要整理完善。

也可以用來分析一句SQL的執行性能：

二、SQL執行時間統計分布

對于應用來說，主要關心數據庫的吞吐量和響應時間，下面從應用負載的角度去衡量，服務器上當前執行SQL語句的性能分布情況。

下圖是1秒聚合的SQL語句的執行時間分布圖，表示大部分SQL的執行時間在128us以下：

【性能開銷】

用sysbench做了簡單壓測，并發8線程時，運行stap腳本QPS從3.5W降到3.3W，性能損耗約6%；當并發32線程時，運行stap腳本QPS從9W降到7W，性能損耗約22%

【應用場景】

Systemtap功能非常強大，可以對mysqld進程下近25000個函數以及kernel下35000個函數自定義腳本進行跟蹤統計，可用來分析內存、CPU、IO、網絡等各種問題。

SystemTap的使用可以參考下面的文章：

1、聽阿里云CDN安防技術專家金九講SystemTap使用技巧

https://yq.aliyun.com/articles/174916?utm_content=m_28902

2、巧用Systemtap注入延遲模擬IO設備抖動

http://blog.yufeng.info/archives/2935

3、MYSQL數據庫網卡軟中斷不平衡問題及解決方案