Golang 的 GMP:并發編程的藝術
前言
在 Golang 的并發編程中,GMP 是一個重要的概念,它代表了 Goroutine、M(線程)和 P(調度器)。這個強大的三位一體的并發模型使得 Golang 在處理并發任務時非常高效和靈活。通過 GMP 的組合,Golang 實現了一種高效的并發模型。它充分利用了多核處理器的優勢,并通過輕量級的 Goroutine 實現了高并發的編程模式。但是GPM到底是怎么工作的呢?今天這篇文章就為您解開GPM的神秘面紗。
調度器的由來
單進程系統
早期的計算機都是單進程操作系統,各個進程之間都是順序執行,也就是進程A執行完了才能執行進程B。
「對于cpu來說,進程和線程是一樣的,這里我們就不討論進程和線程的區別了」。
存在的問題
- 單一執行流程,計算機只能一個任務一個任務的處理。
- 如果進程A阻塞,會帶來很多cpu浪費的時間。
多進程/線程操作系統
基于以上的問題,于是就出現了多進程/線程操作系統。
- 系統把cpu分成了一段一段的時間片(微妙級別)。
- cpu在第一個時間片執行進程A,然后切換到進程B執行,再切換到進程C,一直這樣輪詢的執行。
- 因為cpu被分成的時間片是微妙級別的,所以直觀的感覺就是進程A,B,C是在同時執行的。
- 多進程/線程操作系統的確解決了阻塞的問題,但是又出現了新的問題。
存在的問題
- 因為cpu需要不斷地進程A,B,C之間切換,切換肯定避免不了各種復制,計算等消耗,所以在切換過程中浪費掉了很多時間成本,所以「進程/線程越多」,切換「成本就越大」,也就越「浪費」。
- 在這種模式下運行CPU在切換動作上浪費的時間成本大概是40%,只有60%的時間是在執行程序。
- 進程和線程對內存的占用是比較大的,在32位的操作系統中,進程占用的虛擬內存大概是4GB,現成占用內存大概是4M。
協程的誕生
對于一個線程來說其實分為兩部分,「用戶空間」和「內核空間」。
- 內核空間主要是指操作系統底層,包括進程開辟,分配物理內存資源,磁盤資源等。
- 用戶空間主要是編碼業務邏輯部分。
- 于是有人想到能不能把線程的內核空間和用戶空間分開。并且讓他們互相綁定在一起。
- 對于cpu來說,只需要關注內核空間的線程就可以了。
當然如果只是這樣把用戶空間的協程和內核空間的線程一一綁定還是沒有解決問題的,如果開啟的比較多,那么對應的線程也會跟著一起增加,cpu頻繁切換的問題還是沒有解決,于是就引入了「調度器」的概念。
引入調度器來在各個協程之間切換,cpu只需要關注內核空間的線程即可,這樣「解決了cpu在各個協程之間不斷切換的問題」。
存在的問題
這樣設計雖然解決了cpu頻繁切換的問題,但是如果協程A發生了阻塞,肯定會導致協程B無法被執行。而且如果計算機是多核,那么是無法利用到多核的優勢的。顯然是不合理的。
對于多核的計算機,在內核空間可以開啟多個線程(具體開啟幾個由計算內核決定,人為無法控制),所以問題的核心點就轉移到了協程調度器上面,不管是什么語言,「協程調度器」做的越好,相對的「cpu利用率」也就越高。
go對協程的處理
內存控制和靈活調度
- 首先golang對協程改名為gorountine,并且把多余的空間都去掉,控制每個協程的內存在幾KB大小,所以golang可以開啟大量協程。
- golang對協程的調度非常靈活,可以經常在各個協程之間切換。
go對早期調度器的處理(GM模型)
golang在早起調度器處理是比較簡單的,具體流程如下:
- 首先會有一個全局的go協程隊列,并且加鎖,防止資源競爭。
- M獲取鎖之后會去嘗試執行gorountine,執行完畢再把gorountine重新放回隊列中。
GM模型存在以下問題
- 創建、銷毀、調度G都需要每個M獲取鎖,這就形成了激烈的鎖競爭。
- M轉移G會造成延遲和額外的系統負載。
- 系統調用(cpu在M之間切換)導致頻繁的線程阻塞和取消阻塞操作增加了系統開銷。
- 比如我再一個G中又開辟了一個G1,那么G1和G當然在一個M上執行是比較合適的,因為存在一些共享內存,但是顯然這種調度模式是無法做到的 基于以上問題,golang針對這塊做了一些改進,也就是我們今天的主角,GMP模型。
GMP模型
GMP模型簡介
GMP模型主要指的是G(gorountine協程),M(thread線程),P(processor處理器)之間的關系。
全局隊列
存放等待運行的G。
P的本地隊列
- 存放等待運行的G。
- P的本地隊列存放的G是有數量限制的,一般是不超過256G。
- 如果創建一個G,是會優先放在p的本地隊列中,如果滿了則會放到全局隊列中去。
P列表
- 在程序啟動的過程時創建。
- 最多有GOMAXPROCS個(可配置)。
- 可以通過環境變量$GOMAXPROCS來設置P的個數,也可以在程序中通過runtime.GOMAXPROCS()來設置。
M列表
- 當前操作系統分配到當前go程序的內核線程數。
- go語言本身,限制M的最大數量是10000。
- 可以通過runtime/debug包中的setMaxThreads來設置。
- 如果有一個M阻塞,則會創建一個新的M。
- 如果有M空閑,那么會回收或者睡眠。
調度器的設計策略
復用線程
work stealing機制
- M1對應的P上面G1正在執行,G2和G3處于等待中的狀態。
- M2對應的P處于空閑狀態。
這種情況下M2對應的P會從M1對應的P的本地隊列中把G3偷取過來執行,提高CPU的利用率,這種機制叫做「work stealing機制」。
hand off機制
如果M1和M2都在正常執行,但是M1對應的G1發生了阻塞,那么勢必會影響到G2的執行,那么GMP是如何解決的呢?
- golang會新創建一個M3,用來接管之前的P1剩下的G(G2)。
- M1和G1進行綁定再繼續執行,執行完畢之后把M1設置為睡眠狀態等待下一次被利用,或者直接銷毀。
并行利用
并行利用其實比較好理解,其實也就是開啟了多少個P,P的個數是有GOMAXPROCS來決定的,一般都會設置為 「CPU核數/2」。
搶占策略
對于傳統的co-routine來說,如果一個C和cpu進行了綁定,那么只有他主動釋放,另外一個C才能和cpu進行綁定。但是在golang中,如果一個G和cpu進行了綁定,那么時間限制最多為10ms,另外一個G就可以直接和cpu綁定。
搶占策略。
全局隊列
- 全局隊列的本質是對work stealing的一種補充。
- 如上圖,M2對應的本地隊列沒有G,會優先從M1的本地隊列中偷取。
- 如果M1的本地隊列中也沒有G,那么就會從全局隊列中去偷取G3。
- 因為全局隊列涉及到加鎖和解鎖,所以效率相對要低一些。
go的啟動周期(M0和G0)
要想了解go的啟動周期,首先得了解M0和G0的概念。
M0
- 在一個進程中是唯一的。
- 啟動程序后編號為0的主線程。
- 在全局變量runtime.m0中,不需要在heap上分配。
- 負責初始化操作和啟動第一個G。
- 啟動第一個G之后,M0就和其他的M一樣了。
G0
- 在一個線程中是唯一的。
- 每次啟動一個M,都會第一個創建的gorountine,就是G0。
- G0僅僅用于負責調度其他G,G0不指向任何可執行的函數。
- 每個M都會有一個自己的G0。
- 在調度或者系統調用的時候,會使用M切換到G0來調度。
- M0的G0會放在全局空間。
執行流程
package main
import "fmt"
func main() {
fmt.Println("Hello World")
}
比如我們看上斷代碼的執行流程。
初始化操作
在執行到main函數之前,會有一些初始化的操作,比如創建M0,創建G0等等。
執行具體函數
當執行main函數的時候,M0已經和其他的M是一樣的了,main函數會進入M0對應的p的本地隊列中,然后和M0綁定執行,如果執行超時(10ms),則會重新放到M0對應的本地隊列中。一直到執行到exit或者panic為止。