線程池系統(tǒng)設(shè)置最全指南！
Java中的線程創(chuàng)建會(huì)帶來(lái)顯著的開銷。創(chuàng)建線程消耗時(shí)間，增加了請(qǐng)求處理的延遲，并涉及JVM和操作系統(tǒng)的大量工作。為了減輕這些開銷，引入了線程池的概念。
在本文中，我們深入探討確定理想線程池大小的藝術(shù)。一個(gè)經(jīng)過(guò)精心調(diào)整的線程池可以從系統(tǒng)中提取出最佳性能，并幫助你在高峰工作負(fù)載中優(yōu)雅地導(dǎo)航。然而，必須記住，即使使用線程池，線程的管理本身也可能成為瓶頸。
1 使用線程池的原因
- 性能：線程的創(chuàng)建和銷毀可能很昂貴，尤其是在Java中。線程池通過(guò)創(chuàng)建可以重復(fù)用于多個(gè)任務(wù)的線程池來(lái)減少這種開銷。
- 可伸縮性：線程池可以根據(jù)應(yīng)用程序的需求進(jìn)行擴(kuò)展。例如，在負(fù)載較重時(shí)，線程池可以擴(kuò)展以處理額外的任務(wù)。
- 資源管理：線程池可以幫助管理線程使用的資源。例如，線程池可以限制在任何給定時(shí)間可以活動(dòng)的線程數(shù)，這有助于防止應(yīng)用程序耗盡內(nèi)存。
2 設(shè)置線程池大小：了解系統(tǒng)和資源限制
在確定線程池大小時(shí)，了解系統(tǒng)的限制，包括硬件和外部依賴項(xiàng)，是至關(guān)重要的。讓我們通過(guò)一個(gè)例子詳細(xì)說(shuō)明這個(gè)概念：
2.1 情景
假設(shè)你正在開發(fā)一個(gè)處理傳入HTTP請(qǐng)求的Web應(yīng)用程序。每個(gè)請(qǐng)求可能涉及從數(shù)據(jù)庫(kù)處理數(shù)據(jù)并調(diào)用外部第三方服務(wù)。你的目標(biāo)是確定有效的線程池大小以有效處理這些請(qǐng)求。
2.2 考慮的因素
數(shù)據(jù)庫(kù)連接池：假設(shè)你正在使用像HikariCP這樣的連接池來(lái)管理數(shù)據(jù)庫(kù)連接。你已將其配置為允許最多100個(gè)連接。如果創(chuàng)建的線程多于可用連接，這些額外的線程將等待可用連接，導(dǎo)致資源爭(zhēng)用和潛在的性能問(wèn)題。
下面是配置HikariCP數(shù)據(jù)庫(kù)連接池的示例：
import com.zaxxer.hikari.HikariConfig;
import com.zaxxer.hikari.HikariDataSource;
public class DatabaseConnectionExample {
public static void main(String[] args) {
HikariConfig config = new HikariConfig();
config.setJdbcUrl("jdbc:mysql://localhost:3306/mydb");
config.setUsername("username");
config.setPassword("password");
config.setMaximumPoolSize(100); // 設(shè)置最大連接數(shù)
HikariDataSource dataSource = new HikariDataSource(config);
// 使用dataSource獲取數(shù)據(jù)庫(kù)連接并執(zhí)行查詢。
}
}外部服務(wù)吞吐量：你的應(yīng)用程序與之交互的外部服務(wù)有一個(gè)限制。它只能同時(shí)處理少量請(qǐng)求，例如一次處理10個(gè)請(qǐng)求。同時(shí)發(fā)送更多請(qǐng)求可能會(huì)***使服務(wù)不堪重負(fù)，導(dǎo)致性能下降或錯(cuò)誤***。
CPU核心：確定服務(wù)器上可用的CPU核心數(shù)量對(duì)于優(yōu)化線程池大小至關(guān)重要。
int numOfCores = Runtime.getRuntime().availableProcessors();每個(gè)核心可以同時(shí)執(zhí)行一個(gè)線程。超過(guò)CPU核心數(shù)的線程可能導(dǎo)致過(guò)多的上下文切換，從而降低性能。
3 CPU密集型任務(wù)和I/O密集型任務(wù)
CPU密集型任務(wù)是那些需要大量處理能力的任務(wù)，例如執(zhí)行復(fù)雜計(jì)算或運(yùn)行模擬。這些任務(wù)通常受限于CPU速度，而不是I/O設(shè)備的速度。
- 編碼或解碼音頻或視頻文件
- 編譯和鏈接軟件
- 運(yùn)行復(fù)雜的模擬
- 執(zhí)行機(jī)器學(xué)習(xí)或數(shù)據(jù)挖掘任務(wù)
- 玩視頻游戲
3.1 優(yōu)化：
- 多線程和并行性：并行處理是一種技術(shù)，用于將較大的任務(wù)分解為較小的子任務(wù)，并將這些子任務(wù)分配給多個(gè)CPU核心或處理器，以利用并發(fā)執(zhí)行并提高整體性能。
假設(shè)你有一個(gè)大型的數(shù)字?jǐn)?shù)組，并且想要利用多個(gè)線程并行地計(jì)算每個(gè)數(shù)字的平方。
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
import java.util.concurrent.TimeUnit;
public class ParallelSquareCalculator {
public static void main(String[] args) {
int[] numbers = {1, 2, 3, 4, 5, 6, 7, 8, 9, 10};
int numThreads = Runtime.getRuntime().availableProcessors(); // 獲取CPU核心數(shù)
ExecutorService executorService = Executors.newFixedThreadPool(numThreads);
for (int number : numbers) {
executorService.submit(() -> {
int square = calculateSquare(number);
System.out.println("Square of " + number + " is " + square);
});
}
executorService.shutdown();
try {
executorService.awaitTermination(Long.MAX_VALUE, TimeUnit.NANOSECONDS);
} catch (InterruptedException e) {
Thread.currentThread().interrupt();
}
}
private static int calculateSquare(int number) {
// 模擬耗時(shí)的計(jì)算（例如，數(shù)據(jù)庫(kù)查詢，復(fù)雜計(jì)算）
try {
Thread.sleep(1000); // 模擬1秒延遲
} catch (InterruptedException e) {
Thread.currentThread().interrupt();
}
return number * number;
}
}I/O密集型任務(wù)是
那些與存儲(chǔ)設(shè)備交互（例如，讀/寫文件），網(wǎng)絡(luò)套接字（例如，發(fā)起API調(diào)用）或用戶輸入（例如，圖形用戶界面中的用戶交互）的任務(wù)。
- 從磁盤讀取或?qū)懭氪笮臀募ɡ纾４嬉曨l文件，加載數(shù)據(jù)庫(kù)）
- 在網(wǎng)絡(luò)上下載或上傳文件（例如，瀏覽網(wǎng)頁(yè)，觀看流媒體視頻）
- 發(fā)送和接收電子郵件
- 運(yùn)行Web服務(wù)器或其他網(wǎng)絡(luò)服務(wù)
- 執(zhí)行數(shù)據(jù)庫(kù)查詢
- 處理傳入請(qǐng)求的Web服務(wù)器。
3.2 優(yōu)化
- 緩存：在內(nèi)存中緩存經(jīng)常訪問(wèn)的數(shù)據(jù)，以減少重復(fù)的I/O操作。
- 負(fù)載平衡：將I/O密集型任務(wù)分布在多個(gè)線程或進(jìn)程中，以有效處理并發(fā)的I/O操作。
- 使用SSD：固態(tài)硬盤（SSD）可以顯著加速I/O操作，與傳統(tǒng)的硬盤驅(qū)動(dòng)器（HDD）相比。
- 使用高效的數(shù)據(jù)結(jié)構(gòu)，例如哈希表和B樹，以減少所需的I/O操作次數(shù)。
- 避免不必要的文件操作，例如多次打開和關(guān)閉文件。
4 確定線程數(shù)量
4.1 CPU密集型任務(wù)：
對(duì)于CPU綁定的任務(wù)，你希望在不過(guò)分負(fù)擔(dān)系統(tǒng)的情況下最大化CPU利用率，過(guò)多的線程可能導(dǎo)致過(guò)多的上下文切換，從而降低性能。一個(gè)常見的經(jīng)驗(yàn)法則是使用可用的CPU核心數(shù)。
視頻編碼
想象一下，你正在開發(fā)一個(gè)視頻處理應(yīng)用程序。視頻編碼是一個(gè)CPU密集型任務(wù)，你需要對(duì)視頻文件應(yīng)用復(fù)雜的算法進(jìn)行壓縮。你有一個(gè)多核CPU可用。
為CPU綁定的任務(wù)確定線程數(shù)：
- 計(jì)算可用CPU核心數(shù)：使用**Runtime.getRuntime().availableProcessors()**在Java中確定可用CPU核心數(shù)。假設(shè)你有8個(gè)核心。
- 創(chuàng)建線程池：創(chuàng)建一個(gè)線程池，其大小接近或略小于可用CPU核心數(shù)。在這種情況下，你可能選擇6或7個(gè)線程，以為其他任務(wù)和系統(tǒng)進(jìn)程留出一些CPU容量。
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class VideoEncodingApp {
public static void main(String[] args) {
int availableCores = Runtime.getRuntime().availableProcessors();
int numberOfThreads = Math.max(availableCores - 1, 1); // 根據(jù)需要調(diào)整
ExecutorService threadPool = Executors.newFixedThreadPool(numberOfThreads);
// 將視頻編碼任務(wù)提交到線程池。
for (int i = 0; i < 10; i++) {
threadPool.execute(() -> {
encodeVideo(); // 模擬視頻編碼任務(wù)
});
}
threadPool.shutdown();
}
private static void encodeVideo() {
// 模擬視頻編碼（CPU綁定）任務(wù)。
// 復(fù)雜的計(jì)算和壓縮算法在這里。
}
}4.2 對(duì)于I/O密集型任務(wù)
對(duì)于I/O綁定的任務(wù)，理想的線程數(shù)通常取決于I/O操作的性質(zhì)和預(yù)期的延遲。你希望有足夠的線程使I/O設(shè)備保持繁忙，而不會(huì)過(guò)載它們。理想的數(shù)字可能不一定等于CPU核心數(shù)。
網(wǎng)頁(yè)爬取
考慮構(gòu)建一個(gè)下載網(wǎng)頁(yè)并提取信息的網(wǎng)絡(luò)爬蟲。這涉及進(jìn)行I/O綁定的任務(wù)，由于網(wǎng)絡(luò)延遲，可能需要發(fā)出HTTP請(qǐng)求。
為I/O密集型任務(wù)確定線程數(shù)
- 分析I/O延遲：估計(jì)預(yù)期的I/O延遲，這取決于網(wǎng)絡(luò)或存儲(chǔ)。例如，如果每個(gè)HTTP請(qǐng)求大約需要500毫秒完成，你可能希望為I/O操作中的一些重疊提供一些余地。
- 創(chuàng)建線程池：創(chuàng)建一個(gè)線程池，其大小在并行性與預(yù)期的I/O延遲之間取得平衡。你不一定需要每個(gè)任務(wù)一個(gè)線程；相反，你可以擁有一個(gè)較小的池，有效地管理I/O密集型任務(wù)。
import java.util.concurrent.ExecutorService;
import java.util.concurrent.Executors;
public class WebPageCrawler {
public static void main(String[] args) {
int expectedIOLatency = 500; // 估計(jì)的I/O延遲，單位毫秒
int numberOfThreads = 4; // 根據(jù)預(yù)期的延遲和系統(tǒng)能力進(jìn)行調(diào)整
ExecutorService threadPool = Executors.newFixedThreadPool(numberOfThreads);
// 要爬取的URL列表。
String[] urlsToCrawl = {
"https://example.com",
"https://google.com",
"https://github.com",
// 在此添加更多的URL
};
for (String url : urlsToCrawl) {
threadPool.execute(() -> {
crawlWebPage(url, expectedIOLatency);
});
}
threadPool.shutdown();
}
private static void crawlWebPage(String url, int expectedIOLatency) {
// 模擬網(wǎng)頁(yè)爬取（I/O綁定）任務(wù)。
// 執(zhí)行HTTP請(qǐng)求并處理頁(yè)面內(nèi)容。
try {
Thread.sleep(expectedIOLatency); // 模擬I/O延遲
} catch (InterruptedException e) {
Thread.currentThread().interrupt();
}
}
}5 是否可以遵循一個(gè)具體的公式？
確定線程池大小的公式可以寫成如下：
Number of threads = Number of Available Cores * Target CPU utilization * (1 + Wait time / Service time)Number of Available Cores: 這是你的應(yīng)用程序可用的***CPU核心數(shù)***。重要的是要注意，這與CPU數(shù)不同，因?yàn)?**每個(gè)CPU可能有多個(gè)核心。***
Target CPU utilization: 這是你希望你的應(yīng)用程序使用的CPU時(shí)間的百分比***。如果設(shè)置目標(biāo)CPU利用率過(guò)高，你的應(yīng)用程序可能會(huì)變得無(wú)響應(yīng)*。如果設(shè)置得太低，你的應(yīng)用程序?qū)o(wú)法充分利用可用的CPU資源。
Wait time: 這是***線程等待I/O操作完成的時(shí)間***。這可能包括***等待網(wǎng)絡(luò)響應(yīng)、數(shù)據(jù)庫(kù)查詢或文件操作。***
Service time: 這是***線程執(zhí)行計(jì)算的時(shí)間***。
Blocking coefficient: 這是等待時(shí)間與服務(wù)時(shí)間的比率。這是衡量線程等待I/O操作完成所花費(fèi)的時(shí)間與執(zhí)行計(jì)算所花費(fèi)的時(shí)間之間關(guān)系的指標(biāo)。
6 示例
假設(shè)你有一臺(tái)具有4個(gè)CPU核心的服務(wù)器，并且你希望你的應(yīng)用程序使用可用CPU資源的50%。
你的應(yīng)用程序有兩類任務(wù)：I/O密集型任務(wù)和CPU密集型任務(wù)。
I/O密集型任務(wù)的阻塞系數(shù)為0.5，意味著它們花費(fèi)50%的時(shí)間等待I/O操作完成。
線程數(shù) = 4個(gè)核心 * 0.5 * (1 + 0.5) = 3個(gè)線程
CPU密集型任務(wù)的阻塞系數(shù)為0.1，意味著它們花費(fèi)10%的時(shí)間等待I/O操作完成。
線程數(shù) = 4個(gè)核心 * 0.5 * (1 + 0.1) = 2.2個(gè)線程
在這個(gè)例子中，你將創(chuàng)建兩個(gè)線程池，一個(gè)用于I/O密集型任務(wù)，一個(gè)用于CPU密集型任務(wù)。I/O密集型線程池將有3個(gè)線程，而CPU密集型線程池將有2個(gè)線程。
