既然是億級用戶應用，那么高并發必然是其架構設計的核心要素，今天，冰河將介紹萬億級流量場景下，高并發基礎架構設計的一些通用設計方案。

高并發架構設計的要點

高并發意味著系統要應對海量請求。從冰河多年的面試經驗來看，很多面試者在面對“什么是高并發架構”的問題時，往往會粗略地認為一個系統的設計是否滿足高并發架構，就是看這個系統是否可以應對海量請求。再細問具體的細節時，回答往往顯得模棱兩可，比如每秒多少個請求才是高并發請求、系統的性能表現如何、系統的可用性表現如何，等等。

為了可以清晰地評判一個系統的設計是否滿足高并發架構，在正式給出通用的高并發架構設計方案前，我們先要厘清形成高并發系統的必要條件、高并發系統的衡量指標和高并發場景分類。

形成高并發系統的必要條件

• 高性能： 性能代表一個系統的并行處理能力，在同樣的硬件設備條件下，性能越高，越能節約硬件資源；同時性能關乎用戶體驗，如果系統響應時間過長，用戶就會產生抱怨。
• 高可用性： 系統可以長期穩定、正常地對外提供服務，而不是經常出故障、宕機、崩潰。
• 可擴展性： 系統可以通過水平擴容的方式，從容應對請求量的日漸遞增乃至突發的請求量激增。

我們可以將形成高并發系統的必要條件類比為一個籃球運動員的各項屬性：“高性能”相當于這個球員在賽場上的表現力強，“高可用性”相當于這個球員在賽場上總可以穩定發揮，“可擴展性”相當于這個球員的未來成長性好。

高并發系統的衡量指標

1. 高性能指標

一個很容易想到的可以體現系統性能的指標是，在一段時間內系統的平均響應時間。例如，在一段時間內有10000個請求被成功響應，那么在這段時間內系統的平均響應時間是這10000個請求響應時間的平均值。

然而，平均值有明顯的硬傷并在很多數據統計場景中為大家所調侃。假設你和傳奇籃球巨星姚明被分到同一組，你的身高是174cm，姚明的身高是226cm，那么這組的平均身高是2m！這看起來非常不合理。

假設在10000個請求中有9900個請求的響應時間分別是1ms，另外100個請求的響應時間分別是100ms，那么平均響應時間僅為1.99ms，完全掩蓋了那100個請求的100ms響應時間的問題。平均值的主要缺點是易受極端值的影響，這里的極端值是指偏大值或偏小值——當出現偏大值時，平均值將會增大；當出現偏小值時，平均值將會減小。

冰河推薦的系統性能的衡量指標是響應時間PCTn統計方式，PCTn表示請求響  應時間按從小到大排序后第n分位的響應時間。假設在一段時間內100個請求的響應時間從小到大排序如圖所示，則第99分位的響應時間是100ms，即PCT99= 100ms。

分位值越大，對響應時間長的請求越敏感。比如統計10000個請求的響應時間：

• PCT50=1ms，表示在10000個請求中50%的請求響應時間都在1ms以內。
• PCT99=800ms，表示在10000個請求中99%的請求響應時間都在800ms以內。
• PCT999=1.2s，表示在10000個請求中99.9%的請求響應時間都在1.2s以內。

從冰河總結的經驗數據來看，請求的平均響應時間=200ms，且PCT99=1s的高并發系統基本能夠滿足高性能要求。如果請求的響應時間在200ms以內，那么用戶不會感受到延遲；而如果請求的響應時間超過1s，那么用戶會明顯感受到延遲。

2. 高可用性指標

可用性=系統正常運行時間/系統總運行時間，表示一個系統正常運行的時間占比，也可以將其理解為一個系統對外可用的概率。我們一般使用N個9來描述系統的可用性如何，如表所示。

高可用性要求系統至少保證3個9或4個9的可用性。在實際的系統指標監控中，很多公司會取3個9和4個9的中位數：99.95%（3個9、1個5），作為系統可用性監控的閾值。當監控到系統可用性低于99.95%時及時發出告警信息，以便系統維護者可以及時做出優化，如系統可用性補救、擴容、分析故障原因、系統改造等。

3. 可擴展性指標

面對到來的突發流量，我們明顯來不及對系統做架構改造，而更快捷、有效的做法是增加系統集群中的節點來水平擴展系統的服務能力。可擴展性=吞吐量提升比例/集群節點增加比例。在最理想的情況下，集群節點增加幾倍，系統吞吐量就能增加幾倍。一般來說，擁有70%～80%可擴展性的系統基本能夠滿足可擴展性要求。

高并發場景分類

我們使用計算機實現各種業務功能，最終將體現在對數據的兩種操作上，即讀和寫，于是高并發請求可以被歸類為高并發讀和高并發寫。

比如有的業務場景讀多寫少，需要重點解決高并發讀的問題；有的業務場景寫多讀少，需要重點解決高并發寫的問題；而有的業務場景讀多寫多，則需要同時解決高并發讀和高并發寫的問題。將高并發場景劃分為高并發讀場景和高并發寫場景，是因為在這兩種場景中往往有不同的高并發解決方案。

數據庫讀/寫分離

大部分互聯網應用都是讀多寫少的，比如刷帖的請求永遠比發帖的請求多，瀏覽商品的請求永遠比下單購買商品的請求多。數據庫承受的高并發請求壓力，主要來自讀請求。

我們可以把數據庫按照讀/寫請求分成專門負責處理寫請求的數據庫（寫庫）和專門負責處理讀請求的數據庫（讀庫），讓所有的寫請求都落到寫庫，寫庫將寫請求處理后的最新數據同步到讀庫，所有的讀請求都從讀庫中讀取數據。這就是數據庫讀/寫分離的思路。

數據庫讀/寫分離使大量的讀請求從數據庫中分離出來，減少了數據庫訪問壓力，縮短了請求響應時間。

讀/寫分離架構

我們通常使用數據庫主從復制技術實現讀/寫分離架構，將數據庫主節點Master作為“寫庫”，將數據庫從節點Slave作為“讀庫”，一個Master可以與多個Slave連接，如圖所示。

市面上各主流數據庫都實現了主從復制技術。

讀/寫請求路由方式

在數據庫讀/寫分離架構下，把寫請求交給Master處理，而把讀請求交給Slave處理，那么由什么角色來執行這樣的讀/寫請求路由呢？一般可以采用如下兩種方式。

1. 基于數據庫Proxy代理的方式

在業務服務和數據庫服務器之間增加數據庫Proxy代理節點（下文簡稱Proxy），業務服務對數據庫的一切操作都需要經過Proxy轉發。Proxy收到業務服務的數據庫操作請求后，根據請求中的SQL語句進行歸類，將屬于寫操作的請求（如insert/delete/update語句）轉發到數據庫Master，將屬于讀操作的請求（如select語句）轉發到數據庫任意一個Slave，完成讀/寫分離的路由。

開源項目如中心化代理形式的MySQL-Proxy和Mycat，以及本地代理形式的MySQL-Router等都實現了讀/寫分離功能。

2. 基于應用內嵌的方式

基于應用內嵌的方式與基于數據庫Proxy代理的方式的主要區別是，它在業務服務進程內進行請求讀/寫分離，數據庫連接框架開源項目如gorm、shardingjdbc等都實現了此形式的讀/寫分離功能。

主從延遲與解決方案

數據庫讀/寫分離架構依賴數據庫主從復制技術，而數據庫主從復制存在數據復制延遲（主從延遲），因此會導致在數據復制延遲期間主從數據的不一致，Slave獲取不到最新數據。針對主從延遲問題有如下三種解決方案。

1. 同步數據復制

數據庫主從復制默認是異步模式，Master在寫完數據后就返回成功了，而不管Slave是否收到此數據。我們可以將主從復制配置為同步模式，Master在寫完數據后，要等到全部Slave都收到此數據后才返回成功。

這種方案可以保證數據庫每次寫操作成功后，Master和Slave都能讀取到最新數據。這種方案相對簡單，將數據庫主從復制修改為同步模式即可，無須改造業務服務。

但是由于在處理業務寫請求時，Master要等到全部Slave都收到數據后才能返回成功，寫請求的延遲將大大增加，數據庫的吞吐量也會有明顯的下滑。這種方案的實用價值較低，僅適合在低并發請求的業務場景中使用。

2. 強制讀主

不同的業務場景對主從延遲的容忍性不一樣。例如，用戶a剛剛發布了一條狀態，他瀏覽個人主頁時應該展示這條狀態，這個場景不太能容忍主從延遲；而好友用戶b此時瀏覽用戶a的個人主頁時，可以暫時看不到用戶a最新發布的狀態，這個場景可以容忍主從延遲。

我們可以對業務場景按照主從延遲容忍性的高低進行劃分，對于主從延遲容忍性高的場景，執行正常的讀/寫分離邏輯；而對于主從延遲容忍性低的場景，強制將讀請求路由到數據庫Master，即強制讀主。

3. 會話分離

比如某會話在數據庫中執行了寫操作，那么在接下來極短的一段時間內，此會話的讀請求暫時被強制路由到數據庫Master，與“強制讀主”方案中的例子很像，保證每個用戶的寫操作立刻對自己可見。暫時強制讀主的時間可以被設定為略高于數據庫完成主從數據復制的延遲時間，盡量使強制讀主的時間段覆蓋主從數據復制的實際延遲時間。

本地緩存

在計算機世界中，緩存（Cache）無處不在，如CPU緩存、DNS緩存、瀏覽器緩存等。值得一提的是，Cache在我國臺灣地區被譯為“快取”，更直接地體現了它的用途：快速讀取。緩存的本質是通過空間換時間的思路來保證數據的快速讀取。

業務服務一般需要通過網絡調用向其他服務或數據庫發送讀數據請求。為了提高數據的讀取效率，業務服務進程可以將已經獲取到的數據緩存到本地內存中，之后業務服務進程收到相同的數據請求時就可以直接從本地內存中獲取數據返回，將網絡請求轉化為高效的內存存取邏輯。

這就是本地緩存的主要用途。在本書后面的核心服務設計篇中會大量應用本地緩存，本節先重點介紹本地緩存的技術原理。

基本的緩存淘汰策略

雖然緩存使用空間換時間可以提高數據的讀取效率，但是內存資源的珍貴決定了本地緩存不可無限擴張，需要在占用空間和節約時間之間進行權衡。這就要求本地緩存能自動淘汰一些緩存的數據，淘汰策略應該盡量保證淘汰不再被使用的數據，保證有較高的緩存命中率?；镜木彺嫣蕴呗匀缦隆?/p>

• FIFO（First In First Out）策略： 優先淘汰最早進入緩存的數據。這是最簡單的淘汰策略，可以基于隊列實現。但是此策略的緩存命中率較低，越是被頻繁訪問的數據是越早進入隊列的，于是會被越早地淘汰。此策略在實踐中很少使用。
• LFU（Least Frequently Used）策略： 優先淘汰最不常用的數據。LFU策略會為每條緩存數據維護一個訪問計數，數據每被訪問一次，其訪問計數就加1，訪問計數最小的數據是被淘汰的目標。此策略很適合緩存在短時間內會被頻繁訪問的熱點數據，但是最近最新緩存的數據總會被淘汰，而早期訪問頻率高但最近一直未被訪問的數據會長期占用緩存。
• LRU（Least Recent Used）策略： 優先淘汰緩存中最近最少使用的數據。此策略一般基于雙向鏈表和哈希表配合實現。雙向鏈表負責存儲緩存數據，并總是將最近被訪問的數據放置在尾部，使緩存數據在雙向鏈表中按照最近訪問時間由遠及近排序，每次被淘汰的都是位于雙向鏈表頭部的數據。哈希表負責定位數據在雙向鏈表中的位置，以便實現快速數據訪問。此策略可以有效提高短期內熱點數據的緩存命中率，但如果是偶發性地訪問冷數據，或者批量訪問數據，則會導致熱點數據被淘汰，進而降低緩存命中率。

LRU策略和LFU策略的缺點是都會導致緩存命中率大幅下降。近年來，業界出現了一些更復雜、效果更好的緩存淘汰策略，比如W-TinyLFU策略。

分布式緩存

由于本地緩存把數據緩存在服務進程的內存中，不需要網絡開銷，故而性能非常高。但是把數據緩存到內存中也有較多限制，舉例如下。

• 無法共享： 多個服務進程之間無法共享本地緩存。
• 編程語言限制： 本地緩存與程序綁定，用Golang語言開發的本地緩存組件不可以直接為用Java語言開發的服務器所使用。
• 可擴展性差： 由于服務進程攜帶了數據，因此服務是有狀態的。有狀態的服務不具備較好的可擴展性。
• 內存易失性： 服務進程重啟，緩存數據全部丟失。

我們需要一種支持多進程共享、與編程語言無關、可擴展、數據可持久化的緩存，這種緩存就是分布式緩存。

分布式緩存選型

主流的分布式緩存開源項目有Memcached和Redis，兩者都是優秀的緩存產品，并且都具有緩存數據共享、與編程語言無關的能力。不過，相對于Memcached而言，Redis更為流行，主要體現如下。

• 數據類型豐富： Memcached僅支持字符串數據類型緩存，而Redis支持字符串、列表、集合、哈希、有序集合等數據類型緩存。
• 數據可持久化： Redis通過RDB機制和AOF機制支持數據持久化，而Memcached沒有數據持久化能力。
• 高可用性： Redis支持主從復制模式，在服務器遇到故障后，它可以通過主從切換操作保證緩存服務不間斷。Redis具有較高的可用性。
• 分布式能力： Memcached本身并不支持分布式，因此只能通過客戶端，以一致性哈希這樣的負載均衡算法來實現基于Memcached的分布式緩存系統。而Redis有官方出品的無中心分布式方案Redis Cluster，業界也有豆瓣Codis和推特Twemproxy的中心化分布式方案。

由于Redis支持豐富的數據類型和數據持久化，同時擁有高可用性和高可擴展性，因此它成為大部分互聯網應用分布式緩存的首選。

如何使用Redis緩存

使用Redis緩存的邏輯如下。

• 嘗試在Redis緩存中查找數據，如果命中緩存，則返回數據。
• 如果在Redis緩存中找不到數據，則從數據庫中讀取數據。
• 將從數據庫中讀取到的數據保存到Redis緩存中，并為此數據設置一個過期時間。
• 下次在Redis緩存中查找同樣的數據，就會命中緩存。

將數據保存到Redis緩存時，需要為數據設置一個合適的過期時間，這樣做有以下兩個好處。

• 如果沒有為緩存數據設置過期時間，那么數據會一直堆積在Redis內存中，尤其是那些不再被訪問或者命中率極低的緩存數據，它們一直占據Redis內存會造成大量的資源浪費。設置過期時間可以使Redis自動刪除那些不再被訪問的緩存數據，而對于經常被訪問的緩存數據，每次被訪問時都重置過期時間，可以保證緩存命中率高。
• 當數據庫與Redis緩存由于各種故障出現了數據不一致的情況時，過期時間是一個很好的兜底手段。例如，設置緩存數據的過期時間為10s，那么數據庫和Redis緩存即使出現數據不一致的情況，最多也就持續10s。過期時間可以保證數據庫和Redis緩存僅在此時間段內有數據不一致的情況，因此可以保證數據的最終一致性。

在上述邏輯中，有一個極有可能帶來風險的操作：某請求訪問的數據在Redis緩存中不存在，此請求會訪問數據庫讀取數據；而如果有大量的請求訪問數據庫，則可能導致數據庫崩潰。Redis緩存中不存在某數據，只可能有兩種原因：一是在Redis緩存中從未存儲過此數據，二是此數據已經過期。下面我們就這兩種原因來做有針對性的優化。

緩存穿透

當用戶試圖請求一條連數據庫中都不存在的非法數據時，Redis緩存會顯得形同虛設。

• 嘗試在Redis緩存中查找此數據，如果命中，則返回數據。
• 如果在Redis緩存中找不到此數據，則從數據庫中讀取數據。
• 如果在數據庫中也找不到此數據，則最終向用戶返回空數據

可以看到，Redis緩存完全無法阻擋此類請求直接訪問數據庫。如果黑客惡意持續發起請求來訪問某條不存在的非法數據，那么這些非法請求會全部穿透Redis緩存而直接訪問數據庫，最終導致數據庫崩潰。這種情況被稱為“緩存穿透”。

為了防止出現緩存穿透的情況，當在數據庫中也找不到某數據時，可以在Redis緩存中為此數據保存一個空值，用于表示此數據為空。這樣一來，之后對此數據的請求均會被Redis緩存攔截，從而阻斷非法請求對數據庫的騷擾。

不過，如果黑客訪問的不是一條非法數據，而是大量不同的非法數據，那么此方案會使得Redis緩存中存儲大量無用的空數據，甚至會逐出較多的合法數據，大大降低了Redis緩存命中率，數據庫再次面臨風險。我們可以使用布隆過濾器來解決緩存穿透問題。

布隆過濾器由一個固定長度為m的二進制向量和k個哈希函數組成。當某數據被加入布隆過濾器中后，k個哈希函數為此數據計算出k個哈希值并與m取模，并且在二進制向量對應的N個位置上設置值為1；如果想要查詢某數據是否在布隆過濾器中，則可以通過相同的哈希計算后在二進制向量中查看這k個位置值：

• 如果有任意一個位置值為0，則說明被查詢的數據一定不存在；
• 如果所有的位置值都為1，則說明被查詢的數據可能存在。之所以說可能存在，是因為哈希函數免不了會有數據碰撞的可能，在這種情況下會造成對某數據的誤判，不過可以通過調整m和k的值來降低誤判率。

雖然布隆過濾器對于“數據存在”有一定的誤判，但是對于“數據不存在”的判定是準確的。布隆過濾器很適合用來防止緩存穿透：將數據庫中的全部數據加入布隆過濾器中，當用戶請求訪問某數據但是在Redis緩存中找不到時，檢查布隆過濾器中是否記錄了此數據。

如果布隆過濾器認為數據不存在，則用戶請求不再訪問數據庫；如果布隆過濾器認為數據可能存在，則用戶請求繼續訪問數據庫；如果在數據庫中找不到此數據，則在Redis緩存中設置空值。雖然布隆過濾器對“數據存在”有一定的誤判，但是誤判率較低。最后在Redis緩存中設置的空值也很少，不會影響Redis緩存命中率。

緩存雪崩

如果在同一時間Redis緩存中的數據大面積過期，則會導致請求全部涌向數據庫。這種情況被稱為“緩存雪崩”。緩存雪崩與緩存穿透的區別是，前者是很多緩存數據不存在造成的，后者是一條緩存數據不存在導致的。

緩存雪崩一般有兩種誘因：大量數據有相同的過期時間，或者Redis服務宕機。第一種誘因的解決方案比較簡單，可以在為緩存數據設置過期時間時，讓過期時間的值在預設的小范圍內隨機分布，避免大部分緩存數據有相同的過期時間。第二種誘因取決于Redis的可用性，選取高可用的Redis集群架構可以極大地降低Redis服務宕機的概率。

高并發讀場景總結：CQRS

無論是數據庫讀/寫分離、本地緩存還是分布式緩存，其本質上都是讀/寫分離，這也是在微服務架構中經常被提及的CQRS模式。CQRS（Command Query Responsibility  Segregation，命令查詢職責分離）是一種將數據的讀取操作與更新操作分離的模式。query指的是讀取操作，而command是對會引起數據變化的操作的總稱，新增、刪除、修改這些操作都是命令。

CQRS的簡要架構與實現

為了避免引入微服務領域驅動設計的相關概念，下圖給出了CQRS的簡要架構。

• 當業務服務收到客戶端發起的command請求（即寫請求）時，會將此請求交給寫數據存儲來處理。
• 寫數據存儲完成數據變更后，將數據變更消息發送到消息隊列。
• 讀數據存儲負責監聽消息隊列，當它收到數據變更消息后，將數據寫入自身。
• 當業務服務收到客戶端發起的query請求（即讀請求）時，將此請求交給讀數據存儲來處理。
• 讀數據存儲將此請求希望訪問的數據返回。

寫數據存儲、讀數據存儲、數據傳輸通道均是較為寬泛的代稱，其中寫數據存儲和讀數據存儲在不同的高并發場景下有不同的具體指代，數據傳輸通道在不同的高并發場景下有不同的形式體現，可能是消息隊列、定時任務等。

• 對于數據庫讀/寫分離來說，寫數據存儲是 Master，讀數據存儲是 Slave，消息隊列的實現形式是數據庫主從復制。
• 對于分布式緩存場景來說，寫數據存儲是數據庫，讀數據存儲是 Redis 緩存，消息隊列的實現形式是使用消息中間件監聽數據庫的binlog數據變更日志。

無論是何種場景，都應該為寫數據存儲選擇適合高并發寫入的存儲系統，為讀數據存儲選擇適合高并發讀取的存儲系統，消息隊列作為數據傳輸通道要足夠健壯，保證數據不丟失。