JDK 內置的 HttpRequest 有坑,請繞道!
最近,使用了 Java 11內置的java.net.http.HttpRequest請求外部服務,發現日志中出現了很多如下圖的錯誤:
這篇文章,我們就來分析如何排查和解決這種錯誤,以及分析下HttpRequest的工作原理。
排查過程:
遇到這種問題,首先google搜索下關鍵字:java.io.IOException: HTTP/1.1 header parser received no bytes
總結下 Google查詢的結果,可以得到兩個主要原因:
- 服務器返回空響應,導致解析 response異常
- 網絡問題
針對第一種情況,到下游服務查看日志發現請求根本沒有進來,于是把原因定位到網絡問題。經過多次的測試后發現,錯誤是有規律性的出現,多年工作經驗的直覺告訴我,這種http請求,一定會復用連接,會不會復用了一個失效的鏈接,于是把問題再次縮小。
那么,JDK內置的HttpRequest鏈接存活的時間是多久呢?
對,找官方資料,如下鏈接和圖片:
官方默認的keepalive是1200s,是不是太大了,于是調整了 keepalive的時間,修改參數的方式:
# 方法1. 啟動指令中增加如下參數
-Djdk.httpclient.keepalive.timeout=10
# 方法2. 代碼中配置如下參數
System.setProperty("jdk.httpclient.keepalive.timeout", "10s");
很奇怪,為什么JDK沒有提供變量來設置這個參數,而是作為JVM 系統屬性設置???不管怎樣,經過一番驗證之后,問題解決。
所以,如果有使用 JDK內置HttpRequest的小伙伴,一定要注意這個坑。
既然講到了HttpRequest,不如順道把它的工作原理也分析下。
一、 JDK 內置 HttpRequest 的實現原理
1. 基礎架構
JDK 內置的 HTTP 客戶端基于異步非阻塞 I/O(NIO)設計,采用了事件驅動的架構。這種設計使其能夠高效地處理大量并發連接,同時保持較低的資源消耗。HttpClient 是核心類,負責創建和配置 HTTP 請求,而 HttpRequest 則用于定義具體的請求細節。
2. 異步與同步請求
HttpClient 支持同步和異步兩種請求方式:
- 同步請求:調用 send 方法,線程會被阻塞直到服務器響應返回。這種方式適用于簡單的請求場景,但在高并發環境下可能導致線程阻塞問題。
- 異步請求:調用 sendAsync 方法,返回一個 CompletableFuture 對象,允許在請求進行時執行其他操作,提升應用的響應性和吞吐量。
3. 支持的協議
內置 HTTP 客戶端支持 HTTP/1.1 和 HTTP/2 協議。HTTP/2 的引入帶來了多路復用、頭部壓縮和服務器推送等特性,顯著提升了傳輸效率。客戶端會根據服務器支持的協議自動選擇最優協議,確保最佳的傳輸性能。
4. 連接管理
HttpClient 內部維護著連接池,自動管理 HTTP 連接的復用和關閉。通過連接池機制,可以避免頻繁建立和關閉連接帶來的性能損耗。連接池根據請求的目標主機和協議進行分類管理,確保高效的資源利用。
5. 安全與認證
內置客戶端提供豐富的安全特性,包括 SSL/TLS 支持、證書驗證和多種認證機制(如 Basic、Digest、Bearer 認證等)。開發者可以通過配置 SSLContext 和相關認證信息,確保請求的安全性。
6. 中間件與過濾器
HttpClient 允許開發者添加自定義的過濾器和攔截器,對請求和響應進行預處理和后處理。這為實現日志記錄、請求重試、錯誤處理等功能提供了靈活的擴展點。
二、優缺點
1. 優點
- 簡化的 API:相比于傳統的 HttpURLConnection,HttpClient 提供了更現代化和簡潔的 API,降低了使用難度和代碼復雜度。
- 異步支持:內置的異步請求機制允許更高效地處理并發請求,提升了應用的性能和響應性。
- 協議支持:自動支持 HTTP/2,使得應用能夠利用更高效的傳輸協議,無需額外配置。
- 內置安全特性:豐富的安全配置選項讓開發者能夠輕松地實現安全的網絡通信,包括 SSL/TLS 和多種認證方式。
- 連接池管理:自動的連接池管理減少了資源管理的負擔,提升了連接的復用性和整體性能。
- 跨平臺一致性:作為 JDK 的一部分,HttpClient 在不同操作系統和環境下表現一致,減少了跨平臺開發的難度。
2. 缺點
- 功能限制:雖然 HttpClient 覆蓋了大多數常見的 HTTP 功能,但在某些高級用例下,可能缺乏第三方庫(如 Apache HttpClient 或 OkHttp)提供的特定功能。
- 版本依賴:HttpClient 是從 Java 11 開始引入的,對于使用更早版本 JDK 的項目,需要依賴外部庫來實現相似功能。
- 社區和生態:相比于成熟的第三方 HTTP 客戶端,JDK 內置的 HttpClient 在社區支持和生態上仍有待發展,可能缺乏某些特定場景下的最佳實踐和解決方案。
- 性能優化:盡管 HttpClient 已經具備良好的性能,但在極端高并發或特定優化需求下,可能無法完全滿足專業級別的性能調優需求。
三、核心參數
在使用 HttpRequest 時,開發者需要配置多個參數以定義請求的行為和特性。以下是一些核心參數及其說明:
1. 請求 URI
每個 HTTP 請求都需要一個目標 URI,指定資源的位置。例如:
URI uri = URI.create("https://api.example.com/data");
HttpRequest request = HttpRequest.newBuilder()
.uri(uri)
.build();
2. HTTP 方法
HttpRequest 支持常見的 HTTP 方法,如 GET、POST、PUT、DELETE 等??梢酝ㄟ^ method 方法或專門的快捷方法設置:
// 使用快捷方法設置 GET 請求
HttpRequest getRequest = HttpRequest.newBuilder()
.uri(uri)
.GET()
.build();
// 使用 method 方法設置 POST 請求
HttpRequest postRequest = HttpRequest.newBuilder()
.uri(uri)
.method("POST", HttpRequest.BodyPublishers.ofString("request body"))
.build();
3. 請求頭
可以通過 headers 方法添加一個或多個請求頭,或使用 header 方法逐個添加:
HttpRequest request = HttpRequest.newBuilder()
.uri(uri)
.header("Content-Type", "application/json")
.header("Authorization", "Bearer token")
.GET()
.build();
4. 請求體
對于需要發送數據的請求(如 POST、PUT),需要配置請求體。HttpRequest.BodyPublisher 提供多種數據發布方式:
HttpRequest postRequest = HttpRequest.newBuilder()
.uri(uri)
.header("Content-Type", "application/json")
.POST(HttpRequest.BodyPublishers.ofString("{\"key\":\"value\"}"))
.build();
支持的 BodyPublisher 包括:
- ofString(String): 發送字符串數據
- ofFile(Path): 發送文件內容
- ofByteArray(byte[]): 發送字節數組
- noBody(): 無請求體(適用于 GET 請求)
5. 超時設置
可以為請求設置超時時間,防止請求長時間掛起:
HttpRequest request = HttpRequest.newBuilder()
.uri(uri)
.timeout(Duration.ofSeconds(10))
.GET()
.build();
6. 重定向策略
通過 HttpClient 的構建器可以設置重定向的策略,如跟隨重定向、禁止重定向等:
HttpClient client = HttpClient.newBuilder()
.followRedirects(HttpClient.Redirect.NORMAL)
.build();
7. 優先級
可以為請求設置優先級,影響請求的調度順序:
HttpRequest request = HttpRequest.newBuilder()
.uri(uri)
.priority(10)
.GET()
.build();
優先級值越高,表示請求越重要。
8. 版本協議
可以指定使用的 HTTP 版本,如 HTTP/1.1 或 HTTP/2:
HttpRequest request = HttpRequest.newBuilder()
.uri(uri)
.version(HttpClient.Version.HTTP_2)
.GET()
.build();
9. 代理設置
HttpClient 支持通過代理服務器發送請求,可以在 HttpClient 構建器中配置:
HttpClient client = HttpClient.newBuilder()
.proxy(ProxySelector.of(new InetSocketAddress("proxy.example.com", 8080)))
.build();
10. 身份認證
通過 Authenticator 配置認證信息,以便客戶端在需要時自動提供認證憑證:
Authenticator authenticator = new Authenticator() {
@Override
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication("user", "password".toCharArray());
}
};
HttpClient client = HttpClient.newBuilder()
.authenticator(authenticator)
.build();
四、示例分析
為了更好地理解 HttpRequest 的使用,這里提供一個簡單的示例:發送一個 POST 請求,并異步處理響應。
import java.net.URI;
import java.net.http.HttpClient;
import java.net.http.HttpRequest;
import java.net.http.HttpResponse;
import java.time.Duration;
publicclass HttpClientExample {
public static void main(String[] args) {
// 創建 HttpClient 實例,配置超時和重定向策略
HttpClient client = HttpClient.newBuilder()
.connectTimeout(Duration.ofSeconds(10))
.followRedirects(HttpClient.Redirect.NORMAL)
.build();
// 構建 POST 請求,設置 URI、請求頭和請求體
HttpRequest request = HttpRequest.newBuilder()
.uri(URI.create("https://api.example.com/data"))
.header("Content-Type", "application/json")
.timeout(Duration.ofSeconds(5))
.POST(HttpRequest.BodyPublishers.ofString("{\"name\":\"John Doe\",\"age\":30}"))
.build();
// 發送異步請求,并處理響應
client.sendAsync(request, HttpResponse.BodyHandlers.ofString())
.thenApply(HttpResponse::body)
.thenAccept(responseBody -> {
System.out.println("Response received:");
System.out.println(responseBody);
})
.exceptionally(e -> {
System.err.println("Request failed: " + e.getMessage());
returnnull;
});
// 防止主線程提前退出
try {
Thread.sleep(6000);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
}
代碼解析:
- HttpClient 創建:通過 HttpClient.newBuilder() 創建一個 HttpClient 實例,配置了連接超時和自動跟隨標準重定向。
- HttpRequest 構建:定義了一個 POST 請求,目標 URI 為 https://api.example.com/data,設置了 Content-Type 請求頭,并通過 BodyPublishers.ofString 發送 JSON 格式的請求體。
- 發送異步請求:調用 sendAsync 方法發送請求,指定響應體處理器為 ofString,即將響應體轉換為字符串。
- 處理響應:使用 thenApply 和 thenAccept 鏈式調用處理響應體,打印到控制臺。如果請求失敗,通過 exceptionally 捕獲并打印錯誤信息。
- 主線程等待:由于請求是異步發送的,主線程需要等待一段時間以確保響應能夠處理。實際應用中,可以使用更優雅的方式管理線程同步。
五、總結
本文,我們從使用 JDK內置的HttpRequest遇到的坑以及如何解決它,到工作原理的分析,HttpRequest為 Java 開發者提供了一個強大且易用的 HTTP 客戶端工具。但是,相比于一些成熟的第三方庫(比如 Apache HttpClient)還是稍顯不足。
因此,在使用一個工具或者框架時,最好能先了解其實現原理、優缺點等,可以做到提前避免出現上面類似的問題,或者出現問題時能快速定位和解決問題。