成人免费xxxxx在线视频软件_久久精品久久久_亚洲国产精品久久久_天天色天天色_亚洲人成一区_欧美一级欧美三级在线观看

Go語言是如何處理棧的

開發 前端
Go 1.4Beta1剛剛發布,在Go 1.4Beta1中,Go語言的stack處理方式由之前的"segmented stacks"改為了"continuous stacks"。關于Go語言對stack的處理機制、發展歷史、存在問題等,CloudFlare的一篇官方blog進行了系統的闡述。

Go 1.4Beta1剛剛發布,在Go 1.4Beta1中,Go語言的stack處理方式由之前的"segmented stacks"改為了"continuous stacks"。關于Go語言對stack的處理機制、發展歷史、存在問題等,CloudFlare的一篇官方blog進行了系統的闡述,這里的內容就是 翻譯自CloudFlare的那篇blog:《How Stacks are Handled in Go》。

在CloudFlare,我們使用Go語言實現各種服務和應用。在這篇博文中,我們將帶領大家深入挖掘一些Go的某些紛繁復雜的技術細節。

Go語言的重要特性之一是goroutines。它們是代價低廉、協同調度的執行線程,被用于實現各種操作,諸如timeout、生成器、相互競 爭的后端程序。為了使goroutines可以適應更多地任務,我們不僅需要保證每個goroutines的內存最小占用量,還要保證人們可以使 用***配置將它們啟動起來。

為了實現這個目標,Go語言采用了棧管理,這一與其他編程語言類似的方案,但在具體實現層面,又與其他語言有著較大的不同。

一、線程棧(thread stacks)介紹

在我們研究Go的棧處理方式之前,我們先來看看傳統語言,比如C是如何進行棧管理的。

當你啟動一個C實現的thread時,C標準庫會負責分配一塊內存作為這個線程的棧。標準庫分配這塊內存,告訴內核它的位置并讓內核處理這個線程 的執行。不過當這塊內存不夠用時,問題就來了,我們來看一下下面這個函數:

  1. int a(int m, int n) { 
  2.     if (m == 0) { 
  3.         return n + 1; 
  4.     } else if (m > 0 && n == 0) { 
  5.         return a(m – 1, 1); 
  6.     } else { 
  7.         return a(m – 1, a(m, n – 1)); 
  8.     } 

這個函數大量使用遞歸,執行a(4, 5)就會降所有棧內存耗盡。要解決這個問題,你可以調整標準庫給線程棧分配的內存塊的大小。但是全線提高棧大小意味著每個線程都會提高棧的內存使用量,即 便它們不是大量采用遞歸方式的。這樣一來,你將用光所有內存,即便你的程序還尚未使用棧上的內存。

另外一種可選的解決方法則是為每個線程單獨確定棧大小。這樣一來你就不得不完成這樣的任務:根據每個線程的需要,估算它們的棧內存的大小。這將是 創建線程的難度超出我們的期望。想搞清楚一般情況下一個線程棧需要多少內存是不可行的,即便是通常情況也是非常困難的。

二、Go是如何應對這個問題的

Go運行時會試圖按需為goroutine提供它們所需要的棧空間,而不是為每個goroutine分配一個固定大小的棧空間。這樣可以把程序員 們從決定棧空間大小的煩心事中解脫了出來。不過Go核心團隊正在嘗試切換到另外一種方案,這里我將嘗試闡述舊方案以及它的缺點,新方案以及為何要 做出如此改變。

三、分段棧(Segmented Stacks)

分段棧(segmented stacks)是Go語言最初用來處理棧的方案。當創建一個goroutine時,Go運行時會分配一段8K字節的內存用于棧供goroutine運行使 用,我們讓goroutine在這個棧上完成其任務處理。

當我們用光這8K字節的棧空間后,問題隨之而來。為了解決這個問題,每個go函數在函數入口處都會有一小段代碼(called prologue),這段代碼會檢查是否用光了已分配的棧空間,如果用光了,這段代碼會調用morestack函數。

morestack函數會分配一段新內存用作棧空間,接下來它會將有關棧的各種數據信息寫入棧底的一個struct中(譯注:下圖中Stack info),包括上一段棧的地址。有點我們擁有了一個新的棧段(stack segment),我們將重啟goroutine,從導致棧空間用光的那個函數(譯注:下圖中的Foobar)開始執行。這就是所謂的“棧分裂 (stack split)”。

下面的棧示意圖剛好是我們進行棧分裂后的情形:

在新棧的底部,我們插入了一個棧入口函數lessstack。我們不會調用該函數,設置這個函數就是用于我們從那個導致我們用光棧空間的函數(譯 注:Foobar)返回時用的。當那個函數(譯注:Foobar)返回時,我們回到lessstack(這個棧幀),lessstack會查找 stack底部的那個struct,并調整棧指針(stack pointer),使得我們返回到前一段棧空間。這樣做之后,我們就可以將這個新棧段(stack segment)釋放掉,并繼續執行我們的程序了。

四、分段棧(Segmented stacks)的問題

分段棧給了我們具備按需伸縮能力的棧。程序員們無需擔心計算棧的大小了,啟動一個新的goroutine代價低廉并且程序員不會知道棧將增長多 大。

這就是直到目前Go語言處理stack增長的方法,但是這個方法有個瑕疵。那就是棧縮小會是一個相對代價高昂的操作。如果你在一個循環遇到棧分裂 (stack split),你會最有感觸。一個函數會增加棧空間,做棧分裂,返回并釋放棧段(stack segment)。如果你在一個循環中進行這些,你會付出很大的代價(性能方面)。

這就是所謂的“hot split”問題。它也是Go核心開發組更換到一個新的棧管理方案-棧拷貝(stack copying)的主要原因。

五、棧拷貝(stack copying)

棧拷貝初始階段與分段棧類似。goroutine在棧上運行著,當用光棧空間,它遇到與舊方案中相同的棧溢出檢查。但是與舊方案采用的保留一個返 回前一段棧的link不同,新方案創建一個兩倍于原stack大小的新stack,并將舊棧拷貝到其中。這意味著當棧實際使用的空間縮小為原先的 大小時,go運行時不用做任何事情。棧縮小是一個無任何代價的操作。此外,當棧再次增長時,運行時也無需做任何事情,我們只需要重用之前分配的空 閑空間即可。

六、棧是怎么拷貝的

拷貝棧聽起來簡單,但實際上它是一件有難度的事情。因為Go中棧上的變量都有自己的地址,一旦你擁有指向棧上變量的指針,這種情況下你就無法如你 所愿。當你移動棧時,指向原棧的指針都將變為無效指針。

幸運的是,只有在棧上分配的指針才能指向棧上的地址。這點對于內存安全是極其必要的,否則,程序可能會訪問到已不再使用了的棧上的地址。

由于我們需要知道那些需要被垃圾收集器回收的指針的位置,因此我們知道棧上哪些部分是指針。當我們移動棧時,我們可以更新棧里地指針使其指向新的 目標地址,并且所有相關的指針都要被照顧到。

由于我們使用垃圾回收的信息來協助完成棧拷貝,因此所有出現在棧上的函數都必須具備這些信息。但事情不總是這樣的。因為Go運行時的大部分代碼是 用C編寫的,大量的運行時調用沒有指針信息可用,這樣就無法進行拷貝。一旦這種情況發生,我們又不得不退回到分段棧方案,并接受為其付出的高昂代 價。

這就是當前Go運行時開發者大規模重寫Go runtime的原因。那些無法用Go重寫的代碼,比如調度器和垃圾收集器的內核,將在一個特殊的棧上執行,這個特殊棧的size由runtime開發者 單獨計算確定。

除了讓棧拷貝成為可能之外,這個方法還會使得我們在未來能夠實現出并發垃圾回收等特性。

七、關于虛擬內存

另外一種不同的棧處理方式就是在虛擬內存中分配大內存段。由于物理內存只是在真正使用時才會被分配,因此看起來好似你可以分配一個大內存段并讓操 作系統處理它。下面是這種方法的一些問題

首先,32位系統只能支持4G字節虛擬內存,并且應用只能用到其中的3G空間。由于同時運行百萬goroutines的情況并不少見,因此你很可 能用光虛擬內存,即便我們假設每個goroutine的stack只有8K。

第二,然而我們可以在64位系統中分配大內存,它依賴于過量內存使用。所謂過量使用是指當你分配的內存大小超出物理內存大小時,依賴操作系統保證 在需要時能夠分配出物理內存。然而,允許過量使用可能會導致一些風險。由于一些進程分配了超出機器物理內存大小的內存,如果這些進程使用更多內存 時,操作系統將不得不為它們補充分配內存。這會導致操作系統將一些內存段放入磁盤緩存,這常常會增加不可預測的處理延遲。正是考慮到這個原因,一 些新系統關閉了對過量使用的支持。

八、結論

為了使goroutine使用代價更加低廉,更快速,適合更多task情況,Go開發組做出了很多努力。棧管理只是其中一小部分。如果你想了解更 多關于棧拷貝的細節,可以參考其設計文檔。此外,如果你想了解更多有關Go運行 時重寫的細節,這里有一個mail list

 
責任編輯:張偉 來源: Tony Bai
相關推薦

2017-09-22 15:25:40

Go語言其他語言錯誤處理

2021-03-24 10:40:26

Python垃圾語言

2023-10-04 07:35:03

2023-04-03 08:02:16

切片擴容GO

2023-09-19 22:41:30

控制器HTTP

2024-12-25 10:24:31

2015-08-31 10:14:30

程序員處理代碼糟糕代碼

2015-09-01 11:20:58

程序員糟糕代碼

2021-01-18 05:13:04

TomcatHttp

2025-02-13 09:02:04

2021-03-02 13:53:37

人工智能深度學習Google mBER

2019-08-15 10:20:19

云計算技術安全

2018-12-25 09:44:42

2023-03-06 08:37:58

JavaNIO

2020-08-05 12:27:18

Go語言碼農

2025-04-02 05:23:00

GoChannel數據

2014-11-17 10:05:12

Go語言

2021-04-29 09:02:44

語言Go 處理

2012-12-12 09:49:41

2020-12-29 09:11:33

LinuxLinux內核
點贊
收藏

51CTO技術棧公眾號

主站蜘蛛池模板: 欧美日韩亚洲一区 | 久久精品国产免费 | 四虎网站在线观看 | 日韩三级电影在线看 | 中文字幕在线观看日韩 | 国产一级一级毛片 | 国产精品一区二 | 女女百合av大片一区二区三区九县 | 99久久久无码国产精品 | 亚洲成人一区 | 亚洲欧美综合 | 成人免费久久 | 欧美一区二区免费 | 日韩欧美一区二区三区 | 成年人视频免费在线观看 | 91xx在线观看 | h在线播放 | 国产精品成人在线 | 国产免费观看久久黄av片涩av | 女人夜夜春 | 一本一道久久a久久精品蜜桃 | 精品成人佐山爱一区二区 | 四虎影视在线 | 国产线视频精品免费观看视频 | 国产一区二区免费电影 | 亚洲欧美日韩成人在线 | 九九亚洲 | 国产婷婷综合 | 在线观看免费福利 | 蜜桃臀av一区二区三区 | www.青青草 | 成人国产精品久久久 | 91网站在线观看视频 | 欧美一区二区三区在线播放 | 国产精品国产自产拍高清 | 玖玖免费| 亚州毛片| 青青草在线视频免费观看 | 国产天天操 | 久久小视频| 亚洲视频二区 |