MySQL性能突發事件問題排查技巧
經過多年的實際經驗，整理了一些材料，已Linux環境下MySQL性能突發事件問題排查技巧分享給大家。
作為DBA在面對性能上突發問題的時候，是否出現過束手無策，無從下手的經歷。 其實性能無非問題點在于存儲、操作系統， 應用程序，數據庫 等方面。
性能分析問題 并沒有想象的那么難，當了解到一些常用的Linux 系統命令和MySQL的基礎排查命令的時候，所有問題點都可以定位到。
先上一個Linux性能工具圖譜圖，Brendan D. Gregg動態追蹤工具 DTrace 的作者。
有點復雜，不用太care，只要你理解了下面的常用命令和分析點，那就可以確定絕大數性能上問題。
Linux 平臺基礎常用的性能收集工具：
1. top — Linux 系統進程監控
top命令是Linux下常用的性能分析工具，能夠實時顯示系統中各個進程的資源占用狀況，類似于Windows的任務管理器。并且它也是 Linux 系統管理員經常使用的監控系統性能的工具。Top命令可以定期顯示所有正在運行和實際運行并且更新到列表中，它顯示出 CPU 的使用、內存的使用、交換內存、緩存大小、緩沖區大小、過程控制、用戶和更多命令。它也會顯示內存和 CPU 使用率過高的正在運行的進程。
2. vmstat — 虛擬內存統計
vmstat 命令是用于顯示虛擬內存、內核線程、磁盤、系統進程、I/O 模塊、中斷、CPU 活躍狀態等更多信息。
3. lsof — 打開文件列表
lsof 命令對于很多 Linux/Unix 系統都可以使用，主要以列表的形式顯示打開的文件和進程。打開的文件主要包括磁盤文件、網絡套接字、管道、設備和進程。這個命令很容易看出哪些文件正在使用。
4. tcpdump — 網絡數據包分析器
tcpdump 是一種使用最廣泛的命令行網絡數據包分析，將網絡中傳送的數據包完全截獲下來提供分析。它支持針對網絡層、協議、主機、網絡或端口的過濾 并提供and、or、not等邏輯語句來幫助你去掉無用的信息。
包可通過tcpdump命令解析，也可以保存成后綴為pcap的文件，使用wireshark等軟件進行查看。
3. netstat — 網絡統計
netstat 命令是一個監控網絡數據包傳入和傳出的統計界面的命令行工具。它對于許多系統管理員去監控網絡性能和解決網絡相關問題是一個非常有用的工具。
4. iostat — 輸入/輸出統計
iostat 是收集和展示系統輸入和輸出存儲設備統計的簡單工具。這個工具通常用于查找存儲設備性能問題，包括設備、本地磁盤、例如 NFS 遠程磁盤。
除了上述 還有 其他一些Linux 常用的工具sar，htop， IPTraf ， iotop ，iftop ，iptraf 等。
MySQL常用性能突發事件分析命令：
1. SHOW PROCESSLIST; —當前MySQL數據庫的運行的所有線程
2. INNODB_TRX; — 當前運行的所有事務
## 當前運行的所有事務 ，還有具體的語句
3. INNODB_LOCKS; — 當前出現的鎖
## 當前事務出現的鎖的語句信息
4. INNODB_LOCK_WAITS; — 鎖等待的對應關系計
## 鎖等待的對應關系
5. SHOW OPEN TABLES where In_use >0; — 當前打開表
查看哪些表在使用中，In_use列表示有多少線程正在使用某張表，Name_locked表示表名是否被鎖，這一般發生在Drop或Rename命令操作這張表時。所以這條命令不能幫助解答我們常見的問題：當前某張表是否有死鎖，誰擁有表上的這個鎖等。
下面比較重點部分，請注意!
6. SHOW ENGINE INNODB STATUS \G; —Innodb狀態
顯示除了大量的內部信息，輸出內容比較復雜難懂,輸出內容中包含了一些平均值的統計信息，這些平均值是自上次輸出結果生成以來的統計數。
具體分析如下：
①.Header
這部分簡單的打印，輸出的時間，以及自從上次輸出的間隔時間。
②.BACKGROUND THREAD
③. SEMAPHORES 信號量
OS WAIT ARRAY INFO 操作系統等待數組的信息，它是一個插槽數組，innodb使用了多少次操作系統的等待
保留統計(reservation count)顯示了innodb分配插槽的頻度
信號計數(signal count) 衡量的是線程通過數組得到信號的頻度
RW-shared spins：#這行顯示讀寫的共享鎖的計數器
RW-excl spins：#這行顯示讀寫的排他鎖的計數器
RW-sx spins：#這行顯示共享排它鎖計數器
*備注：5.7.2增加了一種新的讀寫鎖類型稱為SX共享排他鎖
鎖的擁有則可以讀表中的任何數據，如果在相應的行上能夠獲得X鎖，則可以修改該行。
④. TRANSACTIONS
包含Innodb 事務(transactions)的統計信息，還有當前活動的事務列表。
transaction id： 這個ID是一個系統變量隨時每次新的transaction產生而增加。
Purge done：正在進行清空(purge)操作的transaction ID。你可以通過查看第transaction id和第Purge done ID的區別，明白沒有被purge的事務落后的情況。
History listlength：記錄了undo spaces內unpurged的事務的個數。
⑤. FILE I/O
顯示了I/O Helper thread的狀態，包括一些統計信息
pending operations, pending的log和buffer pool thread的fsync()調用
399 OS file：行顯示了reads, writes, and fsync()調用次數。
0.00 reads/s…… : 顯示了每秒的統計信息
備注：“aio”表示“ 異步I/O(asynchronous I/O).”
⑥. INSERT BUFFER AND ADAPTIVE HASH INDEX
Ibuf：insertbuffer的一些信息，包括free list, segment size
Hash table：顯示了hash table的一些信息***一行顯示了每秒進行了多少次hash搜索，以及非hash搜索
⑦. LOG
Log sequence number表示的是redo log buffer中的lsn
Log flushed up to表示的是redo log file中的lsn
Pages flushed up to表示的緩沖池最舊臟頁的lsn
Last checkpoint at 指的就是最近一個物理頁刷新到磁盤時，它的fil_page_lsn的變量值。
⑧. BUFFER POOL AND MEMORY
當前內存使用狀態
Pages read ahead：顯示了每秒線性預讀跟隨機預讀的次數
備注：InnoDB 提供了兩種預讀的方式，一種是 Linear read ahead，由參數innodb_read_ahead_threshold控制，當你連續讀取一個 extent 的 threshold 個 page 的時候，會觸發下一個 extent 64個page的預讀。另外一種是Random read-ahead，由參數innodb_random_read_ahead控制，當你連續讀取設定的數量的page后，會觸發讀取這個extent的剩余page。InnoDB 的預讀功能是使用后臺線程異步完成。
⑨. ROW OPERATIONS
0 queries inside InnoDB, 0 queries in queue：顯示了有多少線程在Innodb內核
read views open inside InnoDB：顯示了有多少read view被打開了，一個read view是一致性保證的MVCC “snapshot”
備注：innodb多版本并發(MVCC)通過read view來確定一致性讀時的數據庫snapshot, innodb的read view確定一條記錄能否看到，
在RC隔離級別下，是每個SELECT都會獲取***的read view;
在RR隔離級別下，則是當事務中的***個SELECT請求才創建read view
7. SHOW STATUS LIKE 'innodb_row_lock_%'; — 鎖性能狀態
查看當前鎖性能狀態
解釋如下：
Innodb_row_lock_current_waits：當前等待鎖的數量
Innodb_row_lock_time：系統啟動到現在、鎖定的總時間長度
Innodb_row_lock_time_avg：每次平均鎖定的時間
Innodb_row_lock_time_max：最長一次鎖定時間
Innodb_row_lock_waits：系統啟動到現在、總共鎖定次數
8. SQL語句EXPLAIN; — 查詢優化器
EXPLAIN執行計劃部分，略過(后續專題分享)
作為一個DBA，問題排查技巧是每個工程師都需要掌握的核心技能。
作者介紹：崔虎龍，云和恩墨-開源架構部-MySQL技術顧問，長期服務于數據中心(金融，游戲，物流)行業，熟悉數據中心運營管理的流程及規范，自動化運維 等方面。擅長MySQL，Redis，MongoDB 數據庫高可用設計 和 運維故障處理，備份恢復，升級遷移，性能優化 。
