Tomcat和Jetty的高性能、高并發之道
今天我們深入討論 Tomcat 和 Jetty 作為 Java 生態中兩大高性能、高并發 Web 容器的實現之道。高性能程序的核心目標是高效利用系統資源：CPU、內存、網絡和磁盤，同時在短時間內處理大量請求。這就涉及到兩個關鍵指標：響應時間 和 每秒事務處理量（TPS）。
在實際工作中，Tomcat 和 Jetty 通過以下技術來實現高性能與高并發：
- 高效的 I/O 和線程模型。
- 減少 系統調用。
- 池化 資源的復用。
- 使用 零拷貝 提升網絡傳輸效率。
- 應用 高效的并發編程 技術。
接下來，我們從源碼角度逐一分析 Tomcat 和 Jetty 的高性能設計，并配以詳盡注釋和講解。
一、I/O 和線程模型
1.1 Tomcat 的 BIO、NIO 和 APR 模式
Tomcat 提供三種 I/O 模型：
- BIO（Blocking I/O）：每個請求一個線程，適合低并發場景。
- NIO（Non-Blocking I/O）：使用 Java NIO，適合中高并發場景。
- APR（Apache Portable Runtime）：基于 Native 的非阻塞 I/O 模型，適合超高并發場景。
核心源碼：NIO 的實現（Tomcat 8.5）
在 org.apache.tomcat.util.net.NioEndpoint 中定義了 NIO 模型的主流程：
@Override
public boolean processSocket(SocketWrapperBase<NioChannel> socketWrapper,
SocketEvent event, boolean dispatch) {
NioChannel socket = socketWrapper.getSocket();
try {
if (event == SocketEvent.OPEN_READ) {
int nRead = socket.read(buffer);
if (nRead > 0) {
// 將數據提交到處理線程池
processRead(buffer, socket);
} else if (nRead == -1) {
// 客戶端斷開連接
closeSocket(socket);
}
} else if (event == SocketEvent.OPEN_WRITE) {
int nWrite = socket.write(buffer);
if (nWrite > 0) {
// 繼續處理寫事件
processWrite(buffer, socket);
}
}
} catch (IOException e) {
log.error("NIO I/O Error: " + e.getMessage());
}
return true;
}代碼解析：
- 讀取數據：socket.read(buffer) 通過非阻塞方式從客戶端讀取數據。
- 事件驅動：根據事件類型（OPEN_READ 或 OPEN_WRITE）決定后續邏輯。
- 線程池提交：數據讀取后會交由線程池處理，避免阻塞主線程。
1.2 Jetty 的 Selector 和線程池模型
Jetty 使用 Selector + Reactor 模式處理非阻塞 I/O 請求，其核心邏輯在 org.eclipse.jetty.io.SelectorManager 中。
核心源碼：Jetty Selector 的實現
protected void runSelector() {
while (isRunning()) {
try {
int selected = selector.select(); // 阻塞等待事件發生
Set<SelectionKey> keys = selector.selectedKeys();
for (SelectionKey key : keys) {
if (key.isReadable()) {
handleRead(key);
} else if (key.isWritable()) {
handleWrite(key);
}
}
keys.clear();
} catch (IOException e) {
log.warn("Selector Error: " + e.getMessage());
}
}
}代碼解析：
- Selector：監聽多個通道，避免為每個請求創建一個線程。
- 事件驅動：基于通道的可讀/可寫事件執行特定邏輯。
- 優化的線程池：Jetty 的線程池實現動態調整線程數量，避免線程上下文切換帶來的開銷。
二、減少系統調用
系統調用（如文件讀寫、網絡傳輸）是高性能系統中的常見瓶頸。Tomcat 和 Jetty 通過減少上下文切換和優化內核交互，大幅提升性能。
2.1 Tomcat 的 Native APR 優化
Tomcat 的 APR 模型直接使用 Apache Portable Runtime 提供的 C 語言庫，與操作系統的網絡棧高效交互。
核心源碼：APR 的文件描述符復用
int rv = apr_socket_recv(sock, buffer, &len);
if (rv != APR_SUCCESS) {
// 錯誤處理
return APR_ERROR;
}- APR 直接操作文件描述符，繞過 Java 層的中間調用，減少開銷。
- 使用操作系統支持的事件通知機制（如 epoll/kqueue）高效管理大量連接。
2.2 Jetty 的 Direct ByteBuffer 優化
Jetty 使用 Direct ByteBuffer 將數據直接寫入操作系統內核。
核心源碼：Direct Buffer 使用
ByteBuffer directBuffer = ByteBuffer.allocateDirect(4096); // 直接分配內存
socketChannel.write(directBuffer); // 避免內核與用戶態的內存拷貝- 避免復制：直接內存不經過 JVM 堆，避免堆到本地內存的中間拷貝。
- 更快的 I/O：通過減少上下文切換，提高 I/O 速度。
三、池化技術的應用
3.1 線程池的實現
Tomcat 和 Jetty 都使用線程池管理線程資源，避免頻繁創建銷毀線程。
核心源碼：Tomcat 線程池的實現
public class TaskThreadFactory implements ThreadFactory {
private final AtomicInteger threadNumber = new AtomicInteger(1);
@Override
public Thread newThread(Runnable r) {
Thread t = new Thread(r, "TaskThread-" + threadNumber.getAndIncrement());
t.setDaemon(true);
return t;
}
}優點：
- 線程復用：避免創建/銷毀線程的開銷。
- 動態調整：根據負載動態增加或減少線程。
3.2 Jetty 的連接池優化
Jetty 內置的連接池復用網絡連接，提高了長連接場景的效率。
核心源碼：Jetty 連接池實現
public Connection acquire() {
Connection connection = pool.poll();
if (connection == null) {
connection = new Connection();
}
return connection;
}- 復用連接：通過連接池避免頻繁建立和關閉網絡連接。
- 負載均衡：支持多連接的負載分發。
四、零拷貝技術
零拷貝（Zero-Copy）是一種通過直接將文件數據從磁盤發送到網絡而不經過用戶空間的技術。
4.1 Tomcat 的零拷貝實現
核心源碼：使用 sendfile 系統調用
sendfile(socket, fileDescriptor, offset, length);- 內核態傳輸：數據直接從磁盤傳輸到網絡，無需進入用戶態。
- 減少 CPU 占用：提升文件傳輸效率。
4.2 Jetty 的零拷貝優化
Jetty 使用 MappedByteBuffer 和 FileChannel 實現高效的文件傳輸。
核心源碼：FileChannel 的使用
FileChannel fileChannel = FileChannel.open(filePath, StandardOpenOption.READ);
fileChannel.transferTo(0, fileChannel.size(), socketChannel);- 文件直接傳輸：通過 transferTo 方法將數據直接寫入網絡通道。
- 大文件支持：特別適合大文件的傳輸場景。
五、高效的并發編程
5.1 異步處理
Tomcat 和 Jetty 都支持 Servlet 3.0 的異步處理機制。
核心源碼：Tomcat 異步處理
@Override
protected void doGet(HttpServletRequest req, HttpServletResponse resp) {
AsyncContext asyncContext = req.startAsync();
asyncContext.start(() -> {
// 異步執行邏輯
processRequest();
asyncContext.complete();
});
}5.2 Jetty 的異步 API
Jetty 提供內置的異步 API，減少阻塞操作。
核心源碼：Jetty 異步執行
CompletableFuture.runAsync(() -> {
// 異步邏輯
processRequest();
}).thenAccept(response -> sendResponse(response));總結
通過分析 Tomcat 和 Jetty 的高性能設計，我們可以得出以下優化原則：
- 高效 I/O 模型：選擇合適的 BIO/NIO/異步 I/O 模型。
- 減少系統調用：利用 APR 和 Direct ByteBuffer 技術。
- 資源池化：線程池和連接池優化資源利用。
- 零拷貝技術：提升大文件傳輸效率。
- 高效并發編程：采用異步處理和非阻塞操作。
