聽說你會內存分析？來，pprof一下

作者：xin猿意碼 2024-03-01 18:55:54

開發前端

就像我那位面對內存泄露問題的朋友一樣，后臺開發者們時常需要對內存使用情況進行精細的分析和調試，才能確保我們的應用運行得又快又穩。

1. 引言

大家好，我是小?，一個漂泊江湖多年的 985 非科班程序員，曾混跡于國企、互聯網大廠和創業公司的后臺開發攻城獅。

自從春節回家后，更新就擱淺了，回來之后也一直比較忙，拖更了很久。不知道大家春節過的咋樣，工作倆周還適應否？

今天我們談一談內存分析的問題，記得有一次，我遇到了一位做后臺開發的朋友，連續好幾天都苦惱地盯著他的電腦界面。

經過聊天后，得知他的 Go 語言程序性能遭遇了瓶頸，內存消耗居高不下。

這時，他的系統就像是一輛油耗驚人的老舊汽車，不斷地需要加油，但是汽車的續航并沒有得到提升！

圖片

為了優化性能，他決定對內存使用情況進行一番深入的探索。我坐到他身旁，開始了一次關于 Go 語言內存性能分析的奇妙之旅。

2. 性能分析入門

內存泄露或者效率問題困擾著很多Go語言開發者。但好消息是，Go語言內置了一套強大的性能分析工具pprof，讓我們能夠深入程序內部，一探究竟。

現在，就讓這位后臺開發的朋友帶我們邁出探索內存世界的第一步吧！

2.1 開啟pprof調試

要使用pprof，你首先需要在Go程序中啟用HTTP調試端口。可以通過引入net/http/pprof包并啟動一個HTTP服務：

import _ "net/http/pprof"

go func() {
   http.ListenAndServe("0.0.0.0:8080", nil)
}()

啟動后，通過訪問 http://localhost:8080/debug/pprof/，你將看到服務器當前的運行狀態，包括 goroutine、堆棧、GC 等信息：

圖片

2.2 初探內存分析

點擊頁面上的 heap 項或者通過命令行 go tool pprof http://localhost:8080/debug/pprof/heap 可以獲取當前的內存使用情況。

你將能查看到內存分配的統計和內存使用的詳情，包括哪些函數分配了多少內存。

比如，我們點擊頁面上的 heap，進入 http://localhost:8080/debug/pprof/heap?debug=1 頁面，可以看到具體的顯示。

其中顯示的內容會比較多，但是主體分為 2 個部分。

1）當前內存

第一部分打印了服務當前用到的內存：

圖片

其含義為：

heap profile: 22(系統占用的對象個數): 11069648(占用內存的字節數) [36(已分配的對象數): 11148160(已分配內存的字節數)] @ heap/1048576(2*MemProfileRate)
1: 1540096 [1: 1540096] (前面4個數跟第一行的一樣，此行以后是每次記錄的，后面的地址是記錄中的棧指針)
@ 0xdfabae 0xe0cc46 0x449206 0x449151 0x449151 0x43bbc6 0x46f941

2）匯總說明

第二部分是系統的整體匯總信息：

圖片

Go 語言我們可以關注以下2個字段：

PauseNs 記錄每次 gc 暫停的時間(納秒)，最多記錄 256 個最新記錄。
NumGC 記錄 gc 發生的次數。

其它內存數值可以通過這張表查看：

圖片

2.3 利用go tool pprof深入分析

更進一步，go tool pprof提供了一個交互式界面，你可以運行 top 命令來查看內存使用最多的幾個函數。例如：

首先，通過命令打開內存管理頁面（其中 -inuse_space 可以省略）：

go tool pprof -inuse_space http://local:8080/debug/pprof/heap

進入管理頁面后輸入：

(pprof) top10

它將列出內存使用最多的 10 個函數，這對定位性能瓶頸非常有用：

圖片

其中，資源開銷的字段說明如下：

flat：函數自身的運行耗時。
flat%：函數自身在 CPU 運行耗時總比例。
sum%：函數自身累積使用 CPU 總比例。
cum：函數自身及其調用函數的運行總耗時。
cum%：函數自身及其調用函數的運行耗時總比例。
Name：函數名。

在大多數的情況下，我們可以通過這五列得出一個應用程序的運行情況，知道當前是什么函數，正在做什么事情，占用了多少資源，誰又是占用資源的大頭，以此來得到一個初步的分析方向。

2.4 圖形化分析工具

對于想要更直觀了解的人，pprof 還支持將分析結果生成一張圖：

(pprof) web

這個命令將在瀏覽器中打開一張調用圖，清楚地顯示函數調用關系和每個函數的內存使用：

圖片

這里可以看到總的內存消耗量，并標識了每一層的 inuse 內存大小、文件名、函數，到下一層函數大小，非常詳細。

PS：用 go tool pprof -http=:8081 http://local:8080/debug/pprof/heap 命令可以直接打開瀏覽器看調用棧圖（如果8081端口被占用了，則換一個）

3. 使用技巧和注意事項

3.1 了解pprof的工作原理

pprof 通過記錄內存分配調用棧來工作，它每分配 512KB 內存就會采樣一次。

這意味著它不會捕捉到每一個內存分配事件，但是它能在不影響程序性能的情況下給出一個很好的總體內存使用情況。

3.2 實際使用內存與pprof數據的差異

因為 pprof 是采樣，所以可能顯示的數據比實際使用的少，也可能不包含內核空間的內存使用情況。

如果我們在系統的節點上用 top 查看進程占用內存，會發現比 pprof 采集的內存更大些，這是正常現象。

但若是大很多，就要考慮下，是不是有大量內存被 GC 但還沒來得及返還給操作系統，是不是某些內核態操作（比如 IO）消耗了大量內存。

如何提高采樣率

通過修改runtime.MemProfileRate值可以提高采樣率，但會增加程序運行的開銷。

比如改成 1 的話，每一次分配都會采樣，這樣就很全面但是性能也是最差的。

4. 實際案例分析

假設在生產中遇到內存使用急劇上升的情況，你可以通過前面的步驟記錄內存使用狀態，并通過 go tool pprof 來分析內存占用。

如果遇到內存持續升高的情況，可能需要檢查是否存在內存泄露，是否大量內存被分配后未能及時回收等問題。

除了內存問題，如果還想分析 CPU 的占用，我們可以采用火焰圖來分析。

4.1 性能數據采集

為了更加直觀地查看 CPU 和延時信息，我們可以通過命令采集一段時間的性能數據（獲取最近 10 秒程序運行的 cpuprofile，-seconds 參數不填默認為30）：

go tool pprof https://server.cn/press_pprof/debug/pprof/profile -seconds 10

等 10s 后會生成一個 pprof.server.samples.cpu.001.pb.gz 文件（默認在 C:\Users\pprof 目錄下，注意后面有用到），和之前一樣，我們可以用 top 命令查看最近一段時間的 CPU 耗時：

圖片

這時，我們可以在命令行輸入 web 命令，查看 CPU 的調用棧圖：

圖片

為了更直觀查看耗時與性能，我們可以使用命令在瀏覽器打開火焰圖：

go tool pprof -http=:8081 C:/Users/pprof/pprof.server.samples.cpu.001.pb.gz

如果出現錯誤提示 Could not execute dot; may need to install graphviz.，那么意味著你需要安裝 graphviz 組件。

通過 PProf 所提供的可視化界面，我們能夠更方便、更直觀的看到 Go 應用程序的調用鏈、使用情況等。另外在 View 菜單欄中，PProf 還支持多種分析方式的切換，如下：

圖片

接下來我們將基于 CPU Profiling 所抓取的 Profile 進行一一介紹，而其它 Profile 類型的分析模式也是互通的，只要我們了解了一種，其余的也就會了。

4.2 top

查詢性能的具體信息，逆序排序，和上面的 top 視圖數據一致，這里不再贅述：

圖片

4.3 Graph

該視圖展示的為整體的函數調用流程，框越大、線越粗、框顏色越鮮艷（紅色）就代表它占用的時間越久，開銷越大。相反若框顏色越淡，越小則代表在整體的函數調用流程中，它的開銷是相對較小的。

因此我們可以用此視圖去分析誰才是開銷大頭，它又是因為什么調用流程而被調用的。

圖片

4.4 Peek

此視圖相較于 Top 視圖，增加了所屬的上下文信息的展示，也就是函數的輸出調用者/被調用者。

圖片

4.5 Flame Graph

Flame Graph（火焰圖）它是可動態的，調用順序由上到下（A -> B -> C -> D），每一塊代表一個函數、顏色越鮮艷（紅）、區塊越大代表占用 CPU 的時間更長，同時它也支持點擊塊深入進行分析。

我們選擇頁面上的 root 區塊，將會進入到其屬下的下一層級，如下：

圖片

這樣子我們就可以根據不同函數的多維度層級進行分析，能夠更好的觀察其流轉并發現問題。

5. 小結