當(dāng)我們在談?wù)摳卟l(fā)的時候究竟在談什么?
什么是高并發(fā)?
高并發(fā)是互聯(lián)網(wǎng)分布式系統(tǒng)架構(gòu)的性能指標(biāo)之一,它通常是指單位時間內(nèi)系統(tǒng)能夠同時處理的請求數(shù),
簡單點(diǎn)說，就是QPS(Queries per second)。
那么我們在談?wù)摳卟l(fā)的時候，究竟在談些什么東西呢？
高并發(fā)究竟是什么?
這里先給出結(jié)論:
高并發(fā)的基本表現(xiàn)為單位時間內(nèi)系統(tǒng)能夠同時處理的請求數(shù),
高并發(fā)的核心是對CPU資源的有效壓榨。
舉個例子，如果我們開發(fā)了一個叫做MD5窮舉的應(yīng)用，每個請求都會攜帶一個md5加密字符串，最終系統(tǒng)窮舉出所有的結(jié)果，并返回原始字符串。這個時候我們的應(yīng)用場景或者說應(yīng)用業(yè)務(wù)是屬于CPU密集型而不是IO密集型。這個時候CPU一直在做有效計算，甚至可以把CPU利用率跑滿，這時我們談?wù)摳卟l(fā)并沒有任何意義。(當(dāng)然，我們可以通過加機(jī)器也就是加CPU來提高并發(fā)能力,這個是一個正常猿都知道廢話方案，談?wù)摷訖C(jī)器沒有什么意義，沒有任何高并發(fā)是加機(jī)器解決不了，如果有,那說明你加的機(jī)器還不夠多!🐶)
對于大多數(shù)互聯(lián)網(wǎng)應(yīng)用來說,CPU不是也不應(yīng)該是系統(tǒng)的瓶頸，系統(tǒng)的大部分時間的狀況都是CPU在等I/O (硬盤/內(nèi)存/網(wǎng)絡(luò)) 的讀/寫操作完成。
這個時候就可能有人會說，我看系統(tǒng)監(jiān)控的時候，內(nèi)存和網(wǎng)絡(luò)都很正常，但是CPU利用率卻跑滿了這是為什么？
這是一個好問題,后文我會給出實際的例子，再次強(qiáng)調(diào)上文說的 '有效壓榨' 這4個字,這4個字會圍繞本文的全部內(nèi)容！
控制變量法
萬事萬物都是互相聯(lián)系的，當(dāng)我們在談?wù)摳卟l(fā)的時候，系統(tǒng)的每個環(huán)節(jié)應(yīng)該都是需要與之相匹配的。我們先來回顧一下一個經(jīng)典C/S的HTTP請求流程。
如圖中的序號所示:
1 我們會經(jīng)過DNS服務(wù)器的解析，請求到達(dá)負(fù)載均衡集群
2 負(fù)載均衡服務(wù)器會根據(jù)配置的規(guī)則，想請求分?jǐn)偟椒?wù)層。服務(wù)層也是我們的業(yè)務(wù)核心層，這里可能也會有一些PRC、MQ的一些調(diào)用等等
3 再經(jīng)過緩存層
4 最后持久化數(shù)據(jù)
5 返回數(shù)據(jù)給客戶端
要達(dá)到高并發(fā)，我們需要 負(fù)載均衡、服務(wù)層、緩存層、持久層 都是高可用、高性能的，甚至在第5步，我們也可以通過 壓縮靜態(tài)文件、HTTP2推送靜態(tài)文件、CDN來做優(yōu)化，這里的每一層我們都可以寫幾本書來談優(yōu)化。
本文主要討論服務(wù)層這一塊，即圖紅線圈出來的那部分。不再考慮講述數(shù)據(jù)庫、緩存相關(guān)的影響。
高中的知識告訴我們，這個叫 控制變量法。
再談并發(fā)
- 網(wǎng)絡(luò)編程模型的演變歷史
并發(fā)問題一直是服務(wù)端編程中的重點(diǎn)和難點(diǎn)問題，為了優(yōu)系統(tǒng)的并發(fā)量，從最初的Fork進(jìn)程開始，到進(jìn)程池/線程池,再到epoll事件驅(qū)動(Nginx、node.js反人類回調(diào)),再到協(xié)程。
從上中可以很明顯的看出，整個演變的過程，就是對CPU有效性能壓榨的過程。
什么?不明顯?
- 那我們再談?wù)勆舷挛那袚Q
在談?wù)撋舷挛那袚Q之前，我們再明確兩個名詞的概念。
并行：兩個事件同一時刻完成。
并發(fā)：兩個事件在同一時間段內(nèi)交替發(fā)生,從宏觀上看，兩個事件都發(fā)生了。
線程是操作系統(tǒng)調(diào)度的最小單位，進(jìn)程是資源分配的最小單位。由于CPU是串行的,因此對于單核CPU來說,同一時刻一定是只有一個線程在占用CPU資源的。因此，Linux作為一個多任務(wù)(進(jìn)程)系統(tǒng)，會頻繁的發(fā)生進(jìn)程/線程切換。
在每個任務(wù)運(yùn)行前，CPU都需要知道從哪里加載，從哪里運(yùn)行，這些信息保存在CPU寄存器和操作系統(tǒng)的程序計數(shù)器里面，這兩樣?xùn)|西就叫做 CPU上下文。
進(jìn)程是由內(nèi)核來管理和調(diào)度的，進(jìn)程的切換只能發(fā)生在內(nèi)核態(tài)，因此 虛擬內(nèi)存、棧、全局變量等用戶空間的資源，以及內(nèi)核堆棧、寄存器等內(nèi)核空間的狀態(tài),就叫做 進(jìn)程上下文。
前面說過,線程是操作系統(tǒng)調(diào)度的最小單位。同時線程會共享父進(jìn)程的虛擬內(nèi)存和全局變量等資源，因此 父進(jìn)程的資源加上線上自己的私有數(shù)據(jù)就叫做線程的上下文。
對于線程的上下文切換來說，如果是同一進(jìn)程的線程，因為有資源共享，所以會比多進(jìn)程間的切換消耗更少的資源。
現(xiàn)在就更容易解釋了，進(jìn)程和線程的切換，會產(chǎn)生CPU上下文切換和進(jìn)程/線程上下文的切換。而這些上下文切換,都是會消耗額外的CPU的資源的。
- 進(jìn)一步談?wù)剠f(xié)程的上下文切換
那么協(xié)程就不需要上下文切換了嗎？需要，但是不會產(chǎn)生 CPU上下文切換和進(jìn)程/線程上下文的切換,因為這些切換都是在同一個線程中，即用戶態(tài)中的切換，你甚至可以簡單的理解為，協(xié)程上下文之間的切換，就是移動了一下你程序里面的指針，CPU資源依舊屬于當(dāng)前線程。
需要深刻理解的，可以再深入看看Go的GMP模型。
最終的效果就是協(xié)程進(jìn)一步壓榨了CPU的有效利用率。
回到開始的那個問題
這個時候就可能有人會說，我看系統(tǒng)監(jiān)控的時候，內(nèi)存和網(wǎng)絡(luò)都很正常，但是CPU利用率卻跑滿了這是為什么？
注意本篇文章在談到CPU利用率的時候，一定會加上有效兩字作為定語，CPU利用率跑滿，很多時候其實是做了很多低效的計算。
以"世界上最好的語言"為例，典型PHP-FPM的CGI模式，每一個HTTP請求:
都會讀取框架的數(shù)百個php文件，
都會重新建立/釋放一遍MYSQL/REIDS/MQ連接，
都會重新動態(tài)解釋編譯執(zhí)行PHP文件，
都會在不同的php-fpm進(jìn)程直接不停的切換切換再切換。
php的這種CGI運(yùn)行模式，根本上就決定了它在高并發(fā)上的災(zāi)難性表現(xiàn)。
找到問題，往往比解決問題更難。當(dāng)我們理解了當(dāng)我們在談?wù)摳卟l(fā)究竟在談什么 之后,我們會發(fā)現(xiàn)高并發(fā)和高性能并不是編程語言限制了你，限制你的只是你的思想。
找到問題,解決問題！當(dāng)我們能有效壓榨CPU性能之后,能達(dá)到什么樣的效果?
下面我們看看 php+swoole的HTTP服務(wù) 與 Java高性能的異步框架netty的HTTP服務(wù)之間的性能差異對比。
性能對比前的準(zhǔn)備
- swoole是什么
Swoole是一個為PHP用C和C++編寫的基于事件的高性能異步&協(xié)程并行網(wǎng)絡(luò)通信引擎
- Netty是什么
Netty是由JBOSS提供的一個java開源框架。 Netty提供異步的、事件驅(qū)動的網(wǎng)絡(luò)應(yīng)用程序框架和工具，用以快速開發(fā)高性能、高可靠性的網(wǎng)絡(luò)服務(wù)器和客戶端程序。
- 單機(jī)能夠達(dá)到的最大HTTP連接數(shù)是多少？
回憶一下計算機(jī)網(wǎng)絡(luò)的相關(guān)知識，HTTP協(xié)議是應(yīng)用層協(xié)議，在傳輸層，每個TCP連接建立之前都會進(jìn)行三次握手。
每個TCP連接由 本地ip,本地端口,遠(yuǎn)端ip,遠(yuǎn)端端口,四個屬性標(biāo)識。
TCP協(xié)議報文頭如下(圖片來自維基百科)：
本地端口由16位組成,因此本地端口的最多數(shù)量為 2^16 = 65535個。
遠(yuǎn)端端口由16位組成,因此遠(yuǎn)端端口的最多數(shù)量為 2^16 = 65535個。
同時，在linux底層的網(wǎng)絡(luò)編程模型中，每個TCP連接，操作系統(tǒng)都會維護(hù)一個File descriptor(fd)文件來與之對應(yīng)，而fd的數(shù)量限制，可以由ulimt -n 命令查看和修改，測試之前我們可以執(zhí)行命令: ulimit -n 65536修改這個限制為65535。
因此，在不考慮硬件資源限制的情況下，
本地的最大HTTP連接數(shù)為： 本地最大端口數(shù)65535 * 本地ip數(shù)1 = 65535 個。
遠(yuǎn)端的最大HTTP連接數(shù)為：遠(yuǎn)端最大端口數(shù)65535 * 遠(yuǎn)端(客戶端)ip數(shù)+∞ = 無限制~~ 。
PS: 實際上操作系統(tǒng)會有一些保留端口占用,因此本地的連接數(shù)實際也是達(dá)不到理論值的。
性能對比
- 測試資源
各一臺docker容器,1G內(nèi)存+2核CPU,如圖所示:
docker-compose編排如下:
- # java8
- version: "2.2"
- services:
- java8:
- container_name: "java8"
- hostname: "java8"
- image: "java:8"
- volumes:
- - /home/cg/MyApp:/MyApp
- ports:
- - "5555:8080"
- environment:
- - TZ=Asia/Shanghai
- working_dir: /MyApp
- cpus: 2
- cpuset: 0,1
- mem_limit: 1024m
- memswap_limit: 1024m
- mem_reservation: 1024m
- tty: true
- # php7-sw
- version: "2.2"
- services:
- php7-sw:
- container_name: "php7-sw"
- hostname: "php7-sw"
- image: "mileschou/swoole:7.1"
- volumes:
- - /home/cg/MyApp:/MyApp
- ports:
- - "5551:8080"
- environment:
- - TZ=Asia/Shanghai
- working_dir: /MyApp
- cpus: 2
- cpuset: 0,1
- mem_limit: 1024m
- memswap_limit: 1024m
- mem_reservation: 1024m
- tty: true
- php代碼
- <?php
- use Swoole\Server;
- use Swoole\Http\Response;
- $http = new swoole_http_server("0.0.0.0", 8080);
- $http->set([
- 'worker_num' => 2
- ]);
- $http->on("request", function ($request, Response $response) {
- //go(function () use ($response) {
- // Swoole\Coroutine::sleep(0.01);
- $response->end('Hello World');
- //});
- });
- $http->on("start", function (Server $server) {
- go(function () use ($server) {
- echo "server listen on 0.0.0.0:8080 \n";
- });
- });
- $http->start();
- Java關(guān)鍵代碼
源代碼來自, https://github.com/netty/netty
- public static void main(String[] args) throws Exception {
- // Configure SSL.
- final SslContext sslCtx;
- if (SSL) {
- SelfSignedCertificate ssc = new SelfSignedCertificate();
- sslCtx = SslContextBuilder.forServer(ssc.certificate(), ssc.privateKey()).build();
- } else {
- sslCtx = null;
- }
- // Configure the server.
- EventLoopGroup bossGroup = new NioEventLoopGroup(2);
- EventLoopGroup workerGroup = new NioEventLoopGroup();
- try {
- ServerBootstrap b = new ServerBootstrap();
- b.option(ChannelOption.SO_BACKLOG, 1024);
- b.group(bossGroup, workerGroup)
- .channel(NioServerSocketChannel.class)
- .handler(new LoggingHandler(LogLevel.INFO))
- .childHandler(new HttpHelloWorldServerInitializer(sslCtx));
- Channel ch = b.bind(PORT).sync().channel();
- System.err.println("Open your web browser and navigate to " +
- (SSL? "https" : "http") + "://127.0.0.1:" + PORT + '/');
- ch.closeFuture().sync();
- } finally {
- bossGroup.shutdownGracefully();
- workerGroup.shutdownGracefully();
- }
- }
因為我只給了兩個核心的CPU資源，所以兩個服務(wù)均只開啟連個work進(jìn)程即可。
5551端口表示PHP服務(wù)。
5555端口表示Java服務(wù)。
- 壓測工具結(jié)果對比：ApacheBench (ab)
ab命令: docker run --rm jordi/ab -k -c 1000 -n 1000000 http://10.234.3.32:5555/
在并發(fā)1000進(jìn)行100萬次Http請求的基準(zhǔn)測試中,
Java + netty 壓測結(jié)果:
PHP + swoole 壓測結(jié)果:
| 服務(wù) | QPS | 響應(yīng)時間ms(max,min) | 內(nèi)存(MB) |
|---|---|---|---|
| Java + netty | 84042.11 | (11,25) | 600+ |
| php + swoole | 87222.98 | (9,25) | 30+ |
ps: 上圖選擇的是三次壓測下的最佳結(jié)果。
總的來說，性能差異并不大，PHP+swoole的服務(wù)甚至比Java+netty的服務(wù)還要稍微好一點(diǎn)，特別是在內(nèi)存占用方面，java用了600MB,php只用了30MB。
這能說明什么呢？
沒有IO阻塞操作,不會發(fā)生協(xié)程切換。
這個僅僅只能說明 多線程+epoll的模式下,有效的壓榨CPU性能，你甚至用PHP都能寫出高并發(fā)和高性能的服務(wù)。
性能對比——見證奇跡的時刻
上面代碼其實并沒有展現(xiàn)出協(xié)程的優(yōu)秀性能，因為整個請求沒有阻塞操作,但往往我們的應(yīng)用會伴隨著例如 文檔讀取、DB連接/查詢 等各種阻塞操作,下面我們看看加上阻塞操作后,壓測結(jié)果如何。
Java和PHP代碼中,我都分別加上 sleep(0.01) //秒的代碼，模擬0.01秒的系統(tǒng)調(diào)用阻塞。
代碼就不再重復(fù)貼上來了。
帶IO阻塞操作的 Java + netty 壓測結(jié)果:
大概10分鐘才能跑完所有壓測。。。
帶IO阻塞操作的 PHP + swoole 壓測結(jié)果:
| 服務(wù) | QPS | 響應(yīng)時間ms(max,min) | 內(nèi)存(MB) |
|---|---|---|---|
| Java + netty | 1562.69 | (52,160) | 100+ |
| php + swoole | 9745.20 | (9,25) | 30+ |
從結(jié)果中可以看出,基于協(xié)程的php+ swoole服務(wù)比 Java + netty服務(wù)的QPS高了6倍。
當(dāng)然，這兩個測試代碼都是官方demo中的源代碼，肯定還有很多可以優(yōu)化的配置，優(yōu)化之后，結(jié)果肯定也會好很多。
可以再思考下，為什么官方默認(rèn)線程/進(jìn)程數(shù)量不設(shè)置的更多一點(diǎn)呢？
進(jìn)程/線程數(shù)量可不是越多越好哦，前面我們已經(jīng)討論過了，在進(jìn)程/線程切換的時候，會產(chǎn)生額外的CPU資源花銷，特別是在用戶態(tài)和內(nèi)核態(tài)之間切換的時候！
對于這些壓測結(jié)果來說，我并不是針對Java,我是指 只要明白了高并發(fā)的核心是什么,找到這個目標(biāo)，無論用什么編程語言，只要針對CPU利用率做有效的優(yōu)化(連接池、守護(hù)進(jìn)程、多線程、協(xié)程、select輪詢、epoll事件驅(qū)動)，你也能搭建出一個高并發(fā)和高性能的系統(tǒng)。
所以,你現(xiàn)在明白了，當(dāng)我們在談?wù)摳咝阅艿臅r候，究竟在談什么了嗎？
思路永遠(yuǎn)比結(jié)果重要！
