Tomcat 配合虛擬線程，一種新的編程體驗(yàn)
Java 21 在今年早些時(shí)候的 9 月 19 日就正式發(fā)布，并開始正式引入虛擬線程，但是作為 Java 開發(fā)生態(tài)中老大哥 Spring 并沒有立即跟進(jìn)，而是在等待了兩個(gè)月后的 11 月 29 日，伴隨著 Spring Boot 3.2 版本的發(fā)布，在這個(gè)版本中也終于是引入了對虛擬線程的支持。
虛擬線程的引入標(biāo)志著 Java 在現(xiàn)代編程世界中對編寫高吞吐量、高并發(fā)應(yīng)用程序提供了更加完美的支持。
本文我就帶著大家一起深入了解一波 Tomcat 配合虛擬線程會(huì)帶來怎樣的效果以及虛擬線程對以后使用 Java 開發(fā)高吞吐量、高并發(fā)應(yīng)用程序時(shí)所帶來的改變。
本文大綱如下：
Tomcat 使用虛擬線程
啟用虛擬線程
在 Spring Boot 3.2 中，使用 Tomcat 作為 web 容器時(shí)，啟用虛擬線程只需要將 spring.threads.virtual.enabled 屬性設(shè)置為 true。
這樣 Spinrg Boot 在啟動(dòng) Tomcat 容器時(shí)會(huì)使用一個(gè)虛擬線程執(zhí)行器來代表原有的平臺(tái)線程池。
注意這里是虛擬線程執(zhí)行器，不是虛擬線程池哦。
源碼解析
在 Spring Boot 3.2 版本以前，Tomcat 默認(rèn)的線程池使用的就是 Java 提供的 ThreadPoolExecutor 線程池，在 3.2 版本以后，Spring Boot 修改了創(chuàng)建線程池的方法如下所以。
Tomcat使用何種執(zhí)行器：
是否使用虛擬線程執(zhí)行器：
可以看到 Tomcat 會(huì)先判斷是否啟用了虛擬線程，啟用了的話就直接創(chuàng)建一個(gè)虛擬線程執(zhí)行器 VirtualThreadExecutor。
VirtualThreadExecutor 類是 Tomcat 為了使用虛擬線程作為執(zhí)行器而新增的。他的內(nèi)部代碼中針對每個(gè)請求任務(wù)都是依賴 Jre21Compat 類處理的。
Jre21Compat 類則是 Tomcat 為了兼容 Java21 版本虛擬線程新增的一個(gè)兼容類。這個(gè)類利用反射方法來調(diào)用 Thread.ofVirtual().start(() -> {}) 方法，以便進(jìn)行任務(wù)處理，代碼截圖如下，
VirtualThreadExecutor類源碼：
Jre21Compat類源碼：
雖然以上代碼可以啟用 Tomcat 的虛擬線程支持。但是在 Spring Boot 中其實(shí)不是這樣設(shè)置的。還記得上文提到的在 Spring Boot 3.2 中，使用 Tomcat 作為 web 容器時(shí)，啟用虛擬線程只需要將 spring.threads.virtual.enabled 屬性設(shè)置為 true 嗎？
Spring Boot 3.2 中是通過 tomcatVirtualThreadsProtocolHandlerCustomizer 方法來兼容虛擬線程啟用邏輯的，@ConditionalOnThreading(Threading.VIRTUAL) 條件用判斷 spring.threads.virtual.enabled 屬性是否啟用。代碼如下，
根據(jù)spring.threads.virtual.enabled屬性決定是否啟用虛擬線程：
讀取spring.threads.virtual.enabled屬性：
到這里其實(shí)本文所需要講的涉及源碼的部分就全部講完了。可以看到 Tomcat 引入虛擬線程并不復(fù)雜，引入后不在需要維護(hù)線程池，減輕了執(zhí)行器的復(fù)雜度。
虛擬線程帶來的改變
不知道大家注意到源碼中一個(gè)改變沒有，就是在 Spring Boot 3.2 中，啟用了虛擬線程后，Tomcat 默認(rèn)使用的虛擬線程執(zhí)行器不在需要池化。
也就是說，在 Spring Boot 3.2 以后的版本里，我們不在需要設(shè)置 server.tomcat.threads.max 以及 server.tomcat.threads.min-spare 兩個(gè)屬性以控制 Tomcat 線程池的大小了，因?yàn)樗鼔焊鶝]有使用平臺(tái)線程池。
對于 Tomcat 來說，引入虛擬線程，不必在為線程池的維護(hù)而費(fèi)心，還能減輕編程的復(fù)雜度。
虛擬線程由 JVM 平臺(tái)負(fù)責(zé)進(jìn)行調(diào)度，它是廉價(jià)且輕量級(jí)的，Tomcat 可以使用 “每個(gè)請求一個(gè)線程” 模型，而不必?fù)?dān)心實(shí)際需要多少個(gè)線程。
就算請求任務(wù)在虛擬線程中調(diào)用阻塞 I/O 操作，導(dǎo)致運(yùn)行時(shí)虛擬線程被掛起阻塞，但是只要掛起結(jié)束后該虛擬線程就可以恢復(fù)。
使用了虛擬線程后，程序員使用普通的阻塞 API，也可以讓程序?qū)τ布睦眠_(dá)到近乎完美水平，以此提供高水平的并發(fā)性，從而實(shí)現(xiàn)高吞吐量。
可以說，虛擬線程的引入，以后程序員就算是使用 Java 中阻塞 API 也可以開發(fā)出高性能、高吞吐量的應(yīng)用程序。
jmter 實(shí)測
在本文中，我還將給各位展示一波 newbeepro 項(xiàng)目升級(jí)到 Spring Boot 3.2 后啟用虛擬線程所帶來的性能提升。
測試服務(wù)器
- 主機(jī)名稱 VM-16-5-centos
- 發(fā)行版本 centos-7.9.2009
- 內(nèi)核版本 3.10.0-1160.88.1.el7.x86_64
- 系統(tǒng)類型 x86_64
- 系統(tǒng)配置：2 核 4 G 5M 帶寬
測試平臺(tái)配置
測試項(xiàng)目
newbee-mall-pro 是 newbee-mall 商城的 pro 版本實(shí)現(xiàn)了推薦算法、商品秒殺、優(yōu)惠卷使用，滑塊驗(yàn)證碼，支付寶支付，中文分詞檢索等高級(jí)功能。
項(xiàng)目地址：https://github.com/wayn111/newbee-mall-pro
測試方法
使用 newbee-mall-pro 作為測試項(xiàng)目將啟用虛擬線程以及未啟用虛擬線程的兩次設(shè)置部署到測試服務(wù)器上。
啟動(dòng)容器：amazoncorretto:21.0.1
啟動(dòng)參數(shù)：java -jar -Xms1024m -Xmx1024m /opt/newbeemall/newbee-mall.jar
部署后測試地址：http://62.234.206.94/newbeemall/index
測試接口為秒殺接口：/newbeemall/seckill/2/c81e728d9d4c2f636f067f89cc14862c/executionFour
壓測設(shè)置：啟用 2000 個(gè)線程，每個(gè)線程循環(huán)執(zhí)行 30 秒左右。一共測試五輪，先預(yù)熱 JVM 后，取吞吐量最大值。
測試數(shù)據(jù)
啟用虛擬線程
壓測結(jié)果如下，
可以看到 CPU 占用達(dá)到百分之 142，內(nèi)存占用達(dá)到百分之 35 的情況下，壓測吞吐量最大可以達(dá)到 1731。
不啟用虛擬線程
考慮到有 2000 個(gè)線程進(jìn)行壓測，所以將 Tomcat 線程池的最大線程數(shù)也設(shè)置到 2000，如下圖：
壓測結(jié)果如下：
可以看到 CPU 占用達(dá)到百分之 170，內(nèi)存占用達(dá)到百分之 35 的情況下，壓測吞吐量可以達(dá)到 1492。
OK，到這里我們可以看到在 Spring Boot 3.2 版本中，使用了虛擬線程的 Tomcat 對比不用虛擬線程時(shí)，吞吐量提升差不多有 20%。
在更高并發(fā)的測試中，這個(gè)差距會(huì)越來越明顯。因?yàn)?Tomcat 使用的平臺(tái)線程過多時(shí)，上下文切換開銷會(huì)越來越大，而且虛擬線程比平臺(tái)線程占用更少的內(nèi)存，一個(gè)虛擬線程只占用幾 kb 到幾十 kb 內(nèi)存。可以輕松創(chuàng)建上萬虛擬線程，降低資源占用同時(shí)提高并發(fā)。
最后聊兩句
虛擬線程帶給了現(xiàn)代程序員新的編程體驗(yàn)，使用阻塞編程也能開發(fā)出高性能應(yīng)用程序，而避免了異步模型的編程復(fù)雜度，隨著更多的框架接入虛擬線程，相信虛擬線程會(huì)在未來大放異彩。
