Java并發(fā)編程吐血1個(gè)月總結(jié)最全面的100道面試題

作者：石杉的架構(gòu)筆記 2022-08-30 17:41:53

這篇文章，給大家聊聊一個(gè)百萬級并發(fā)的中間件系統(tǒng)的內(nèi)核代碼里的鎖性能優(yōu)化。

一、大部分人對Java并發(fā)仍停留在理論階段
二、中間件系統(tǒng)的內(nèi)核機(jī)制：雙緩沖機(jī)制
三、百萬并發(fā)的技術(shù)挑戰(zhàn)
四、內(nèi)存數(shù)據(jù)寫入的鎖機(jī)制以及串行化問題
五、片機(jī)制 + 分段加鎖機(jī)制
六、緩沖區(qū)寫滿時(shí)的雙緩沖交換
七、且慢！刷寫磁盤不是會(huì)導(dǎo)致鎖持有時(shí)間過長嗎？
八、內(nèi)存 + 磁盤并行寫機(jī)制
九、為什么必須要用雙緩沖機(jī)制？
十、總結(jié)

這篇文章，給大家聊聊一個(gè)百萬級并發(fā)的中間件系統(tǒng)的內(nèi)核代碼里的鎖性能優(yōu)化。

很多同學(xué)都對Java并發(fā)編程很感興趣，學(xué)習(xí)了很多相關(guān)的技術(shù)和知識。比如volatile、Atomic、synchronized底層、讀寫鎖、AQS、并發(fā)包下的集合類、線程池，等等。

一、對Java并發(fā)仍停留在理論階段

很多同學(xué)對Java并發(fā)編程的知識，可能看了很多的書，也通過不少視頻課程進(jìn)行了學(xué)習(xí)。

但是，大部分人可能還是停留在理論的底層，主要是了解理論，基本對并發(fā)相關(guān)的技術(shù)很少實(shí)踐和使用，更很少做過復(fù)雜的中間件系統(tǒng)。

實(shí)際上，真正把這些技術(shù)落地到中間件系統(tǒng)開發(fā)中去實(shí)踐的時(shí)候，是會(huì)遇到大量的問題，需要對并發(fā)相關(guān)技術(shù)的底層有深入的理解和掌握。

然后，結(jié)合自己實(shí)際的業(yè)務(wù)場景來進(jìn)行對應(yīng)的技術(shù)優(yōu)化、機(jī)制優(yōu)化，才能實(shí)現(xiàn)最好的效果。

因此，本文將從筆者曾經(jīng)帶過的一個(gè)高并發(fā)中間件項(xiàng)目的內(nèi)核機(jī)制出發(fā)，來看看一個(gè)實(shí)際的場景中遇到的并發(fā)相關(guān)的問題。

同時(shí)，我們也將一步步通過對應(yīng)的偽代碼演進(jìn)，來分析其背后涉及到的并發(fā)的性能優(yōu)化思想和實(shí)踐，最后來看看優(yōu)化之后的效果。

二、中間件系統(tǒng)的內(nèi)核機(jī)制：雙緩沖機(jī)制

這個(gè)中間件項(xiàng)目整體就不做闡述了，因?yàn)樯婕昂诵捻?xiàng)目問題。我們僅僅拿其中涉及到的一個(gè)內(nèi)核機(jī)制以及對應(yīng)的場景來給大家做一下說明。

其實(shí)這個(gè)例子是大量的開源中間件系統(tǒng)、大數(shù)據(jù)系統(tǒng)中都有涉及到的一個(gè)場景，就是：核心數(shù)據(jù)寫磁盤文件。

比如，大數(shù)據(jù)領(lǐng)域里的hadoop、hbase、elasitcsearch，Java中間件領(lǐng)域里的redis、mq，這些都會(huì)涉及到核心數(shù)據(jù)寫磁盤文件的問題。

而很多大型互聯(lián)網(wǎng)公司自研的中年間系統(tǒng)，同樣也會(huì)有這個(gè)場景。只不過不同的中間件系統(tǒng)，他的作用和目標(biāo)是不一樣的，所以在核心數(shù)據(jù)寫磁盤文件的機(jī)制設(shè)計(jì)上，是有一些區(qū)別的。

那么我們公司自研的中間件項(xiàng)目，簡單來說，需要實(shí)現(xiàn)的一個(gè)效果是：開辟兩塊內(nèi)存空間，也就是經(jīng)典的內(nèi)存雙緩沖機(jī)制。

然后核心數(shù)據(jù)進(jìn)來全部寫第一塊緩沖區(qū)，寫滿了之后，由一個(gè)線程進(jìn)行那塊緩沖區(qū)的數(shù)據(jù)批量刷到磁盤文件的工作，其他線程同時(shí)可以繼續(xù)寫另外一塊緩沖區(qū)。

我們想要實(shí)現(xiàn)的就是這樣的一個(gè)效果。這樣的話，一塊緩沖區(qū)刷磁盤的同時(shí)，另外一塊緩沖區(qū)可以接受其他線程的寫入，兩不耽誤。核心數(shù)據(jù)寫入是不會(huì)斷的，可以持續(xù)不斷的寫入這個(gè)中間件系統(tǒng)中。

我們來看看下面的那張圖，也來了解一下這個(gè)場景。

如上圖，首先是很多線程需要寫緩沖區(qū)1，然后是緩沖區(qū)1寫滿之后，就會(huì)由寫滿的那個(gè)線程把緩沖區(qū)1的數(shù)據(jù)刷入磁盤文件，其他線程繼續(xù)寫緩沖區(qū)2。

這樣，數(shù)據(jù)批量刷磁盤和持續(xù)寫內(nèi)存緩沖，兩個(gè)事兒就不會(huì)耽誤了，這是中間件系統(tǒng)設(shè)計(jì)中極為常用的一個(gè)機(jī)制，大家看下面的圖。

三、百萬并發(fā)的技術(shù)挑戰(zhàn)

?先給大家說一下這個(gè)中間件系統(tǒng)的背景：這是一個(gè)服務(wù)某個(gè)特殊場景下的中間件系統(tǒng)，整體是集群部署。

然后每個(gè)實(shí)例部署的都是高配置機(jī)器，定位是單機(jī)承載并發(fā)達(dá)到萬級甚至十萬級，整體集群足以支撐百萬級并發(fā)，因此對單機(jī)的寫入性能和吞吐要求極為高。

在超高并發(fā)的要求之下，上圖中的那個(gè)內(nèi)核機(jī)制的設(shè)計(jì)就顯得尤為重要了。弄的不好，就容易導(dǎo)致寫入并發(fā)性能過差，達(dá)不到上述的要求。

此外在這里多提一句，類似的這種機(jī)制在很多其他的系統(tǒng)里都有涉及。比如之前一篇文章：《降級機(jī)制設(shè)計(jì)不當(dāng)，線上系統(tǒng)瞬間崩潰...》，那里面講的一個(gè)系統(tǒng)也有類似機(jī)制。

只不過不同的是，那篇文章是用這個(gè)機(jī)制來做MQ集群整體故障時(shí)的容災(zāi)降級機(jī)制，跟本文的高并發(fā)中間件系統(tǒng)還有點(diǎn)不太一樣，所以在設(shè)計(jì)上考慮的一些細(xì)節(jié)也是不同的。

而且，之前那篇文章的主題是講這種內(nèi)存雙緩沖機(jī)制的一個(gè)線上問題：瞬時(shí)超高并發(fā)下的系統(tǒng)卡死問題。?

四、內(nèi)存數(shù)據(jù)寫入的鎖機(jī)制以及串行化問題

首先我們先考慮第一個(gè)問題，你多個(gè)線程會(huì)并發(fā)寫同一塊內(nèi)存緩沖，這個(gè)肯定有問題啊！

因?yàn)閮?nèi)存共享數(shù)據(jù)并發(fā)寫入的時(shí)候，必須是要加鎖的，否則必然會(huì)有并發(fā)安全問題，導(dǎo)致內(nèi)存數(shù)據(jù)錯(cuò)亂。

所以在這里，我們寫了下面的偽代碼，先考慮一下線程如何寫入內(nèi)存緩沖。

好了，這行代碼弄好之后，對應(yīng)著下面的這幅圖，大家看一下。

看到這里，就遇到了Java并發(fā)的第一個(gè)性能問題了，你要知道高并發(fā)場景下，大量線程會(huì)并發(fā)寫內(nèi)存的，你要是直接這樣加一個(gè)鎖，必然會(huì)導(dǎo)致所有線程都是串行化。

即一個(gè)線程加鎖，寫數(shù)據(jù)，然后釋放鎖。接著下一個(gè)線程干同樣的事情。這種串行化必然導(dǎo)致系統(tǒng)整體的并發(fā)性能和吞吐量會(huì)大幅度降低的。

五、內(nèi)存緩沖分片機(jī)制+分段枷鎖機(jī)制

因此在這里必須要對內(nèi)存雙緩沖機(jī)制引入分段加鎖機(jī)制，也就是將內(nèi)存緩沖切分為多個(gè)分片，每個(gè)內(nèi)存緩沖分片就對應(yīng)一個(gè)鎖。

這樣的話，你完全可以根據(jù)自己的系統(tǒng)壓測結(jié)果，調(diào)整內(nèi)存分片數(shù)量，提升鎖的數(shù)量，進(jìn)而允許大量線程高并發(fā)寫入內(nèi)存。

我們看下面的偽代碼，對這塊就實(shí)現(xiàn)了內(nèi)存緩沖分片機(jī)制：

好！我們再來看看，目前為止的圖是什么樣子的：

這里因?yàn)槊總€(gè)線程僅僅就是加鎖，寫內(nèi)存，然后釋放鎖。

所以，每個(gè)線程持有鎖的時(shí)間是很短很短的，單個(gè)內(nèi)存分片的并發(fā)寫入經(jīng)過壓測，達(dá)到每秒幾百甚至上千是沒問題的，因此線上系統(tǒng)我們是單機(jī)開辟幾十個(gè)到上百個(gè)內(nèi)存緩沖分片的。

經(jīng)過壓測，這足以支撐每秒數(shù)萬的并發(fā)寫入，如果將機(jī)器資源使用的極限，每秒十萬并發(fā)也是可以支持的。

六、緩沖區(qū)寫滿時(shí)的雙緩沖交換

那么當(dāng)一塊緩沖區(qū)寫滿的時(shí)候，是不是就必須要交換兩塊緩沖區(qū)？接著需要有一個(gè)線程來將寫滿的緩沖區(qū)數(shù)據(jù)刷寫到磁盤文件中？

此時(shí)的偽代碼，大家考慮一下，是不是如下所示：

同樣，我們通過下面的圖來看看這個(gè)機(jī)制的實(shí)現(xiàn)：

七、且慢！刷寫磁盤不是會(huì)導(dǎo)致鎖持有時(shí)間過長嗎？

且慢，各位同學(xué)，如果按照上面的偽代碼思路，一定會(huì)有一個(gè)問題：要是一個(gè)線程，他獲取了鎖，開始寫內(nèi)存數(shù)據(jù)。

然后，發(fā)現(xiàn)內(nèi)存滿了，接著直接在持有鎖的過程中，還去執(zhí)行數(shù)據(jù)刷磁盤的操作，這樣是有問題的。

要知道，數(shù)據(jù)刷磁盤是很慢的，根據(jù)數(shù)據(jù)的多少，搞不好要幾十毫秒，甚至幾百毫秒。

這樣的話，豈不是一個(gè)線程會(huì)持有鎖長達(dá)幾十毫秒，甚至幾百毫秒？

這當(dāng)然不行了，后面的線程此時(shí)都在等待獲取鎖然后寫緩沖區(qū)2，你怎么能一直占有鎖呢？

一旦你按照這個(gè)思路來寫代碼，必然導(dǎo)致高并發(fā)場景下，一個(gè)線程持有鎖上百毫秒。刷數(shù)據(jù)到磁盤的時(shí)候，后續(xù)上百個(gè)工作線程全部卡在等待鎖的那個(gè)環(huán)節(jié)，啥都干不了，嚴(yán)重的情況下，甚至又會(huì)導(dǎo)致系統(tǒng)整體呈現(xiàn)卡死的狀態(tài)。