成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

用十條命令在一分鐘內檢查Linux服務器性能

作者：Brendan Gregg
系統 Linux 系統運維
如果你的Linux服務器突然負載暴增，告警短信快發爆你的手機，如何在最短時間內找出Linux性能問題所在？

[[171626]]

如果你的Linux服務器突然負載暴增，告警短信快發爆你的手機，如何在最短時間內找出Linux性能問題所在?Netflix性能工程團隊的Brendan Gregg寫下了這篇博文，來看他們是怎樣通過十條命令在一分鐘內對機器性能問題進行診斷。

概述

通過執行以下命令，可以在1分鐘內對系統資源使用情況有個大致的了解。

  1. uptime 
  2. dmesg | tail 
  3. vmstat 1 
  4. mpstat -P ALL 1 
  5. pidstat 1 
  6. iostat -xz 1 
  7. free -m 
  8. sar -n DEV 1 
  9. sar -n TCP,ETCP 1 
  10. top 

其中一些命令需要安裝sysstat包，有一些由procps包提供。這些命令的輸出，有助于快速定位性能瓶頸，檢查出所有資源(CPU、內存、磁盤IO等)的利用率(utilization)、飽和度(saturation)和錯誤(error)度量，也就是所謂的USE方法。

下面我們來逐一介紹下這些命令，有關這些命令更多的參數和說明，請參照命令的手冊。

(1) uptime

  1. $ uptime 
  2. 23:51:26 up 21:31,  1 user,  load average: 30.02, 26.43, 19.02 

這個命令可以快速查看機器的負載情況。在Linux系統中，這些數據表示等待CPU資源的進程和阻塞在不可中斷IO進程(進程狀態為D)的數量。這些數據可以讓我們對系統資源使用有一個宏觀的了解。

命令的輸出分別表示1分鐘、5分鐘、15分鐘的平均負載情況。通過這三個數據，可以了解服務器負載是在趨于緊張還是區域緩解。如果1分鐘平均負載很高，而15分鐘平均負載很低，說明服務器正在命令高負載情況，需要進一步排查CPU資源都消耗在了哪里。反之，如果15分鐘平均負載很高，1分鐘平均負載較低，則有可能是CPU資源緊張時刻已經過去。

上面例子中的輸出，可以看見最近1分鐘的平均負載非常高，且遠高于最近15分鐘負載，因此我們需要繼續排查當前系統中有什么進程消耗了大量的資源。可以通過下文將會介紹的vmstat、mpstat等命令進一步排查。

(2) dmesg | tail

  1. $ dmesg | tail 
  2. [1880957.563150] perl invoked oom-killer: gfp_mask=0x280da, order=0, oom_score_adj=0 
  3. [...] 
  4. [1880957.563400] Out of memory: Kill process 18694 (perl) score 246 or sacrifice child 
  5. [1880957.563408] Killed process 18694 (perl) total-vm:1972392kB, anon-rss:1953348kB, file-rss:0kB 
  6. [2320864.954447] TCP: Possible SYN flooding on port 7001. Dropping request.  Check SNMP counters. 

該命令會輸出系統日志的***10行。示例中的輸出，可以看見一次內核的oom kill和一次TCP丟包。這些日志可以幫助排查性能問題。千萬不要忘了這一步。

(3) vmstat 1

  1. $ vmstat 1 
  2. procs ---------memory---------- ---swap-- -----io---- -system-- ------cpu----- 
  3.  r  b swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st 
  4. 34  0    0 200889792  73708 591828    0    0     0     5    6   10 96  1  3  0  0 
  5. 32  0    0 200889920  73708 591860    0    0     0   592 13284 4282 98  1  1  0  0 
  6. 32  0    0 200890112  73708 591860    0    0     0     0 9501 2154 99  1  0  0  0 
  7. 32  0    0 200889568  73712 591856    0    0     0    48 11900 2459 99  0  0  0  0 
  8. 32  0    0 200890208  73712 591860    0    0     0     0 15898 4840 98  1  1  0  0 
  9. ^C 

vmstat(8) 命令，每行會輸出一些系統核心指標，這些指標可以讓我們更詳細的了解系統狀態。后面跟的參數1，表示每秒輸出一次統計信息，表頭提示了每一列的含義，這幾介紹一些和性能調優相關的列：

  • r：等待在CPU資源的進程數。這個數據比平均負載更加能夠體現CPU負載情況，數據中不包含等待IO的進程。如果這個數值大于機器CPU核數，那么機器的CPU資源已經飽和。
  • free：系統可用內存數(以千字節為單位)，如果剩余內存不足，也會導致系統性能問題。下文介紹到的free命令，可以更詳細的了解系統內存的使用情況。
  • si, so：交換區寫入和讀取的數量。如果這個數據不為0，說明系統已經在使用交換區(swap)，機器物理內存已經不足。
  • us, sy, id, wa, st：這些都代表了CPU時間的消耗，它們分別表示用戶時間(user)、系統(內核)時間(sys)、空閑時間(idle)、IO等待時間(wait)和被偷走的時間(stolen，一般被其他虛擬機消耗)。上述這些CPU時間，可以讓我們很快了解CPU是否出于繁忙狀態。一般情況下，如果用戶時間和系統時間相加非常大，CPU出于忙于執行指令。如果IO等待時間很長，那么系統的瓶頸可能在磁盤IO。

示例命令的輸出可以看見，大量CPU時間消耗在用戶態，也就是用戶應用程序消耗了CPU時間。這不一定是性能問題，需要結合r隊列，一起分析。

(4) mpstat -P ALL 1

  1. $ mpstat -P ALL 1 
  2. Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015  _x86_64_ (32 CPU) 
  3. 07:38:49 PM  CPU   %usr  %nice   %sys %iowait   %irq  %soft  %steal  %guest  %gnice  %idle 
  4. 07:38:50 PM  all  98.47   0.00   0.75    0.00   0.00   0.00    0.00    0.00    0.00   0.78 
  5. 07:38:50 PM    0  96.04   0.00   2.97    0.00   0.00   0.00    0.00    0.00    0.00   0.99 
  6. 07:38:50 PM    1  97.00   0.00   1.00    0.00   0.00   0.00    0.00    0.00    0.00   2.00 
  7. 07:38:50 PM    2  98.00   0.00   1.00    0.00   0.00   0.00    0.00    0.00    0.00   1.00 
  8. 07:38:50 PM    3  96.97   0.00   0.00    0.00   0.00   0.00    0.00    0.00    0.00   3.03 
  9. [...] 

該命令可以顯示每個CPU的占用情況，如果有一個CPU占用率特別高，那么有可能是一個單線程應用程序引起的。

(5) pidstat 1

  1. $ pidstat 1 
  2. Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015    _x86_64_    (32 CPU) 
  3. 07:41:02 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command 
  4. 07:41:03 PM     0         9    0.00    0.94    0.00    0.94     1  rcuos/0 
  5. 07:41:03 PM     0      4214    5.66    5.66    0.00   11.32    15  mesos-slave 
  6. 07:41:03 PM     0      4354    0.94    0.94    0.00    1.89     8  java 
  7. 07:41:03 PM     0      6521 1596.23    1.89    0.00 1598.11    27  java 
  8. 07:41:03 PM     0      6564 1571.70    7.55    0.00 1579.25    28  java 
  9. 07:41:03 PM 60004     60154    0.94    4.72    0.00    5.66     9  pidstat 
  10. 07:41:03 PM   UID       PID    %usr %system  %guest    %CPU   CPU  Command 
  11. 07:41:04 PM     0      4214    6.00    2.00    0.00    8.00    15  mesos-slave 
  12. 07:41:04 PM     0      6521 1590.00    1.00    0.00 1591.00    27  java 
  13. 07:41:04 PM     0      6564 1573.00   10.00    0.00 1583.00    28  java 
  14. 07:41:04 PM   108      6718    1.00    0.00    0.00    1.00     0  snmp-pass 
  15. 07:41:04 PM 60004     60154    1.00    4.00    0.00    5.00     9  pidstat 
  16. ^C 

pidstat命令輸出進程的CPU占用率，該命令會持續輸出，并且不會覆蓋之前的數據，可以方便觀察系統動態。如上的輸出，可以看見兩個JAVA進程占用了將近1600%的CPU時間，既消耗了大約16個CPU核心的運算資源。

(6) iostat -xz 1

  1. $ iostat -xz 1 
  2. Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015  _x86_64_ (32 CPU) 
  3. avg-cpu:  %user   %nice %system %iowait  %steal   %idle 
  4.           73.96    0.00    3.73    0.03    0.06   22.21 
  5. Device:   rrqm/s   wrqm/s     r/s     w/s    rkB/s    wkB/s avgrq-sz avgqu-sz   await r_await w_await  svctm  %util 
  6. xvda        0.00     0.23    0.21    0.18     4.52     2.08    34.37     0.00    9.98   13.80    5.42   2.44   0.09 
  7. xvdb        0.01     0.00    1.02    8.94   127.97   598.53   145.79     0.00    0.43    1.78    0.28   0.25   0.25 
  8. xvdc        0.01     0.00    1.02    8.86   127.79   595.94   146.50     0.00    0.45    1.82    0.30   0.27   0.26 
  9. dm-0        0.00     0.00    0.69    2.32    10.47    31.69    28.01     0.01    3.23    0.71    3.98   0.13   0.04 
  10. dm-1        0.00     0.00    0.00    0.94     0.01     3.78     8.00     0.33  345.84    0.04  346.81   0.01   0.00 
  11. dm-2        0.00     0.00    0.09    0.07     1.35     0.36    22.50     0.00    2.55    0.23    5.62   1.78   0.03 
  12. [...] 
  13. ^C 

iostat命令主要用于查看機器磁盤IO情況。該命令輸出的列，主要含義是：

  • r/s, w/s, rkB/s, wkB/s：分別表示每秒讀寫次數和每秒讀寫數據量(千字節)。讀寫量過大，可能會引起性能問題。
  • await：IO操作的平均等待時間，單位是毫秒。這是應用程序在和磁盤交互時，需要消耗的時間，包括IO等待和實際操作的耗時。如果這個數值過大，可能是硬件設備遇到了瓶頸或者出現故障。
  • avgqu-sz：向設備發出的請求平均數量。如果這個數值大于1，可能是硬件設備已經飽和(部分前端硬件設備支持并行寫入)。
  • %util：設備利用率。這個數值表示設備的繁忙程度，經驗值是如果超過60，可能會影響IO性能(可以參照IO操作平均等待時間)。如果到達100%，說明硬件設備已經飽和。如果顯示的是邏輯設備的數據，那么設備利用率不代表后端實際的硬件設備已經飽和。值得注意的是，即使IO性能不理想，也不一定意味這應用程序性能會不好，可以利用諸如預讀取、寫緩存等策略提升應用性能。

(7) free –m

  1. $ free -m 
  2.              total       used       free     shared    buffers     cached 
  3. Mem:        245998      24545     221453         83         59        541 
  4. -/+ buffers/cache:      23944     222053 
  5. Swap:            0          0          0 

free命令可以查看系統內存的使用情況，-m參數表示按照兆字節展示。***兩列分別表示用于IO緩存的內存數，和用于文件系統頁緩存的內存數。需要注意的是，第二行-/+ buffers/cache，看上去緩存占用了大量內存空間。這是Linux系統的內存使用策略，盡可能的利用內存，如果應用程序需要內存，這部分內存會立即被回收并分配給應用程序。因此，這部分內存一般也被當成是可用內存。

如果可用內存非常少，系統可能會動用交換區(如果配置了的話)，這樣會增加IO開銷(可以在iostat命令中提現)，降低系統性能。

(8) sar -n DEV 1

  1. $ sar -n DEV 1 
  2. Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015     _x86_64_    (32 CPU) 
  3. 12:16:48 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil 
  4. 12:16:49 AM      eth0  18763.00   5032.00  20686.42    478.30      0.00      0.00      0.00      0.00 
  5. 12:16:49 AM        lo     14.00     14.00      1.36      1.36      0.00      0.00      0.00      0.00 
  6. 12:16:49 AM   docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00 
  7. 12:16:49 AM     IFACE   rxpck/s   txpck/s    rxkB/s    txkB/s   rxcmp/s   txcmp/s  rxmcst/s   %ifutil 
  8. 12:16:50 AM      eth0  19763.00   5101.00  21999.10    482.56      0.00      0.00      0.00      0.00 
  9. 12:16:50 AM        lo     20.00     20.00      3.25      3.25      0.00      0.00      0.00      0.00 
  10. 12:16:50 AM   docker0      0.00      0.00      0.00      0.00      0.00      0.00      0.00      0.00 
  11. ^C 

sar命令在這里可以查看網絡設備的吞吐率。在排查性能問題時，可以通過網絡設備的吞吐量，判斷網絡設備是否已經飽和。如示例輸出中，eth0網卡設備，吞吐率大概在22 Mbytes/s，既176 Mbits/sec，沒有達到1Gbit/sec的硬件上限。

(9) sar -n TCP,ETCP 1

  1. $ sar -n TCP,ETCP 1 
  2. Linux 3.13.0-49-generic (titanclusters-xxxxx)  07/14/2015    _x86_64_    (32 CPU) 
  3. 12:17:19 AM  active/s passive/s    iseg/s    oseg/s 
  4. 12:17:20 AM      1.00      0.00  10233.00  18846.00 
  5. 12:17:19 AM  atmptf/s  estres/s retrans/s isegerr/s   orsts/s 
  6. 12:17:20 AM      0.00      0.00      0.00      0.00      0.00 
  7. 12:17:20 AM  active/s passive/s    iseg/s    oseg/s 
  8. 12:17:21 AM      1.00      0.00   8359.00   6039.00 
  9. 12:17:20 AM  atmptf/s  estres/s retrans/s isegerr/s   orsts/s 
  10. 12:17:21 AM      0.00      0.00      0.00      0.00      0.00 
  11. ^C 

sar命令在這里用于查看TCP連接狀態，其中包括：

  • active/s：每秒本地發起的TCP連接數，既通過connect調用創建的TCP連接;
  • passive/s：每秒遠程發起的TCP連接數，即通過accept調用創建的TCP連接;
  • retrans/s：每秒TCP重傳數量;

TCP連接數可以用來判斷性能問題是否由于建立了過多的連接，進一步可以判斷是主動發起的連接，還是被動接受的連接。TCP重傳可能是因為網絡環境惡劣，或者服務器壓力過大導致丟包。

(10)top

  1. $ top 
  2. top - 00:15:40 up 21:56,  1 user,  load average: 31.09, 29.87, 29.92 
  3. Tasks: 871 total,   1 running, 868 sleeping,   0 stopped,   2 zombie 
  4. %Cpu(s): 96.8 us,  0.4 sy,  0.0 ni,  2.7 id,  0.1 wa,  0.0 hi,  0.0 si,  0.0 st 
  5. KiB Mem:  25190241+total, 24921688 used, 22698073+free,    60448 buffers 
  6. KiB Swap:        0 total,        0 used,        0 free.   554208 cached Mem 
  7.    PID USER      PR  NI    VIRT    RES    SHR S  %CPU %MEM     TIME+ COMMAND 
  8.  20248 root      20   0  0.227t 0.012t  18748 S  3090  5.2  29812:58 java 
  9.   4213 root      20   0 2722544  64640  44232 S  23.5  0.0 233:35.37 mesos-slave 
  10.  66128 titancl+  20   0   24344   2332   1172 R   1.0  0.0   0:00.07 top 
  11.   5235 root      20   0 38.227g 547004  49996 S   0.7  0.2   2:02.74 java 
  12.   4299 root      20   0 20.015g 2.682g  16836 S   0.3  1.1  33:14.42 java 
  13.      1 root      20   0   33620   2920   1496 S   0.0  0.0   0:03.82 init 
  14.      2 root      20   0       0      0      0 S   0.0  0.0   0:00.02 kthreadd 
  15.      3 root      20   0       0      0      0 S   0.0  0.0   0:05.35 ksoftirqd/0 
  16.      5 root       0 -20       0      0      0 S   0.0  0.0   0:00.00 kworker/0:0H 
  17.      6 root      20   0       0      0      0 S   0.0  0.0   0:06.94 kworker/u256:0 
  18.      8 root      20   0       0      0      0 S   0.0  0.0   2:38.05 rcu_sched 

top命令包含了前面好幾個命令的檢查的內容。比如系統負載情況(uptime)、系統內存使用情況(free)、系統CPU使用情況(vmstat)等。因此通過這個命令，可以相對全面的查看系統負載的來源。同時，top命令支持排序，可以按照不同的列排序，方便查找出諸如內存占用最多的進程、CPU占用率***的進程等。

但是，top命令相對于前面一些命令，輸出是一個瞬間值，如果不持續盯著，可能會錯過一些線索。這時可能需要暫停top命令刷新，來記錄和比對數據。

總結

排查Linux服務器性能問題還有很多工具，上面介紹的一些命令，可以幫助我們快速的定位問題。例如前面的示例輸出，多個證據證明有JAVA進程占用了大量CPU資源，之后的性能調優就可以針對應用程序進行。

責任編輯：趙寧寧 來源： 運維之美
Linux服務器性能
相關推薦

2019-07-30 07:16:24

Linux服務器性能命令

2022-06-02 08:46:04

網卡網絡服務器

2017-03-30 19:28:26

HBase分布式數據

2024-06-21 15:03:00

2009-09-21 16:20:12

2017-02-21 13:00:27

LoadAverage負載Load

2018-07-31 16:10:51

Redo Undo數據庫數據

2018-06-26 05:23:19

線程安全函數代碼

2017-07-06 08:12:02

索引查詢SQL

2020-05-21 19:46:19

區塊鏈數字貨幣比特幣

2022-07-18 06:16:07

單點登錄系統

2009-12-02 17:21:19

Cisco路由器配置

2018-12-12 08:40:11

服務器TomcatJava

2018-12-12 22:51:24

Java包裝語言

2020-07-17 07:44:25

云計算邊緣計算IT

2016-09-12 17:28:45

云存儲應用軟件存儲設備

2020-07-09 07:37:06

數據庫Redis工具

2011-02-21 17:48:35

vsFTPd

2021-12-19 22:44:16

Linux安全服務器

2009-11-25 09:33:27

Cisco路由器密碼設
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板： 国产欧美视频一区 | 国产精品a久久久久 | 国产69精品久久久久777 | 免费在线观看毛片 | 亚洲国产成人精品女人 | 日本不卡免费新一二三区 | 福利视频一区 | 久久网一区二区三区 | 亚洲在线一区二区 | 国产精品一区二 | 欧美男人天堂 | 欧美精品在线观看 | 日韩靠逼| 亚洲狠狠 | 欧美色性| 久色一区| 97超碰成人 | 成人在线一区二区 | 日本精品视频在线观看 | 亚洲资源在线 | 日韩精品在线播放 | sese视频在线观看 | 中文字幕第十页 | 在线观看成年人视频 | 深夜爽视频 | 日韩精品一区二区三区在线观看 | 亚洲精品乱码8久久久久久日本 | 色狠狠一区 | 日本一卡精品视频免费 | 国产精品成人免费 | 久久久久久国产精品久久 | 中日韩欧美一级片 | 欧美一区二区三区在线观看 | 国产区一区 | 97伦理最新伦理 | 日韩精品一区二区三区在线观看 | 91精品在线播放 | 欧美一区二区在线视频 | 嫩草影院网址 | 8x国产精品视频一区二区 | 精品欧美色视频网站在线观看 |