成功優化!Java 基礎 Docker 鏡像從 674MB 縮減到 58MB 的經驗分享
在當今的軟件開發領域,微服務架構和容器化應用已成為常態。隨著應用程序的復雜性和規模不斷增加,開發者們面臨的一個主要挑戰是如何有效管理和優化應用程序的體積。尤其是在使用 Java 進行開發時,生成的 Docker 鏡像往往會相對較大,這不僅影響了部署速度,還增加了網絡傳輸的負擔和存儲成本。因此,如何精簡鏡像大小成為了每個開發者亟待解決的問題。
本文將深入探討如何通過 jlink 工具生成更小的 Java 運行時環境(JRE)鏡像,并自動化整個過程。我們將分析不同模塊的依賴關系,確保僅包括運行應用程序所需的最小模塊。通過這樣的方法,不僅可以提高應用程序的效率,還能優化資源的使用,讓我們的微服務更加輕量、靈活。
我們將使用之前文章中構建的Spring Web應用來演示這些技巧,該文章是關于使用RFC-9457規范進行錯誤處理。我們的應用僅包含兩個端點:
GET /users/
: 根據ID獲取用戶POST /users : 創建新用戶
@RestController
@RequestMapping("/api/users")
@RequiredArgsConstructor
public class UserController {
private final UserService userService;
@GetMapping("{id}")
public User getUser(@PathVariable Long id) {
return userService.getUserById(id)
.orElseThrow(() -> new UserNotFoundException(id, "/api/users"));
}
@PostMapping
public User createUser(@Valid @RequestBody User user) {
return userService.createUser(user);
}
}
看起來沒什么吧?但正如你將看到的,即使是最簡單的Docker鏡像(不進行任何優化)大小也可能相當大。
我們為什么要關心鏡像大小?
鏡像大小對你作為開發者或組織的性能有顯著影響。特別是在處理多個服務的大型項目時,鏡像的大小可能會相當龐大,這可能會讓你花費大量的金錢和時間。
一些避免大型鏡像的原因包括:
- 磁盤空間:你在Docker注冊表和生產服務器上浪費了磁盤空間。
- 構建時間延長:鏡像越大,構建和推送鏡像所需的時間越長。
- 安全性:鏡像越大,依賴項越多,攻擊面也越大。
- 帶寬:鏡像越大,從注冊表拉取和推送鏡像時的帶寬消耗越高。
使用簡單明了的Dockerfile
基礎鏡像 Matter ??? : 選擇合適的基礎鏡像
在考慮優化之前,你應該始終注意用于打包應用的基礎鏡像。你選擇的基礎鏡像可能對最終鏡像的大小產生顯著影響。
可以用來打包Java應用的基礎鏡像有幾種,包括:
- JDK Alpine基礎鏡像:這些鏡像體積較小,但不適合所有應用,因此可能會面臨一些庫的兼容性問題。
- JDK Slim基礎鏡像:這些鏡像基于Debian或Ubuntu,相較于完整的JDK鏡像來說體積較小,但仍然比較大。
- JDK完整基礎鏡像:這些鏡像體積較大,包含運行應用所需的所有模塊和依賴項。
為了給你一個基礎鏡像大小的概念,以下是openjdk:17-jdk-slim(瘦身版)和eclipse-temurin:17-jdk-alpine鏡像大小的比較:
已知應用程序(jar)的大小約為20MB。
圖片
為了在Docker鏡像中打包我們的工件,我們需要在應用根目錄中定義一個Dockerfile,如下所示:
FROM openjdk:17-jdk-slim
# 設置容器中的工作目錄
WORKDIR /app
# 創建用戶
RUN addgroup --system spring && adduser --system spring --ingroup spring
# 切換到用戶
USER spring:spring
COPY target/*.jar app.jar
EXPOSE 8080
CMD ["java", "-jar", "app.jar"]
定義好Dockerfile后,可以使用以下命令構建鏡像:
docker build -t user-service .
完成后,你應該會有一個名為user-service的Docker鏡像,正如你所看到的,與應用程序工件的大小相比,鏡像的大小相當大,約為674MB。
圖片
等等,這只是一個只有兩個端點的小項目,沒有任何依賴項,那么對于一個有數十個依賴項和文件的應用來說,情況會如何呢?
使用 eclipse-temurin:17-jdk-alpine 作為基礎鏡像。
Dockerfile.base-temurin
FROM eclipse-temurin:17-jdk-alpine
ARG APPLICATION_USER=spring
# 創建一個用戶來運行應用,不以root用戶運行
RUN addgroup --system $APPLICATION_USER && adduser --system $APPLICATION_USER --ingroup $APPLICATION_USER
# 創建應用目錄
RUN mkdir /app && chown -R $APPLICATION_USER /app
# 設置運行應用的用戶
USER $APPLICATION_USER
# 將jar文件復制到容器中
COPY --chown=$APPLICATION_USER:$APPLICATION_USER target/*.jar /app/app.jar
# 設置工作目錄
WORKDIR /app
# 暴露端口
EXPOSE 8080
# 運行應用
ENTRYPOINT ["java", "-jar", "/app/app.jar"]
在使用以下命令構建鏡像后:
docker build -t user-service:alpine -f Dockerfile.base-alpine . --platform=linux/amd64
?? 附注
重要提示:如果你在Apple Silicon的MAC上構建鏡像,可能會遇到以下問題:
> [internal] load metadata for docker.io/library/eclipse-temurin:17-jdk-alpine:
Dockerfile:2
1 | # First stage, build the custom JRE
2 | >>> FROM eclipse-temurin:17-jdk-alpine AS jre-builder
3 |
4 | # Install binutils, required by jlink
ERROR: failed to solve: eclipse-temurin:17-jdk-alpine: no match for platform in manifest: not found
要解決此問題,你可以在Docker構建命令中添加:
--platform=linux/amd64
或者通過運行以下命令將默認平臺設置為 linux/amd64:
export DOCKER_DEFAULT_PLATFORM=linux/amd64
使用 eclipse-temurin:17-jdk-alpine 作為基礎鏡像構建完鏡像后,我們得到了這個結果:
看看兩個鏡像的大小,使用 eclipse-temurin:17-jdk-alpine 作為基礎鏡像的鏡像大小為180MB,比使用 openjdk:17-jdk-slim 作為基礎鏡像的674MB小73%。
實際優化
等一下,為什么我們不能使用JRE鏡像而使用JDK鏡像呢?
好問題!這是因為從Java 11開始,JRE不再可用。
最重要的注意事項是“用戶可以使用jlink創建更小的自定義運行時”。
圖片
使用 jlink 構建自定義 JRE 鏡像
jlink 是一個工具,可用于創建僅包含運行應用所需模塊的自定義運行時鏡像。
?? 如果你的應用不與數據庫交互,則無需在鏡像中包含 java.sql 模塊。如果你不與桌面GUI交互,則無需在鏡像中包含 java.desktop 模塊,等等。
這有點像JRE鏡像的替代品,但可以更好地控制你想要在鏡像中使用的模塊。
因此,使用 jlink,我們的Dockerfile應該如下所示:
# 第一階段,構建自定義JRE
FROM eclipse-temurin:17-jdk-alpine AS jre-builder
# 安裝binutils,jlink所需
RUN apk update && apk add binutils
# 構建小型JRE鏡像
RUN $JAVA_HOME/bin/jlink \
--verbose \
--add-modules ALL-MODULE-PATH \
--strip-debug \
--no-man-pages \
--no-header-files \
--compress=2 \
--output /optimized-jdk-17
# 第二階段,使用自定義JRE并構建應用鏡像
FROM alpine:latest
ENV JAVA_HOME=/opt/jdk/jdk-17
ENV PATH="${JAVA_HOME}/bin:${PATH}"
# 從基礎鏡像中復制JRE
COPY --from=jre-builder /optimized-jdk-17 $JAVA_HOME
# 添加應用用戶
ARG APPLICATION_USER=spring
# 創建一個用戶來運行應用,不以root用戶運行
RUN addgroup --system $APPLICATION_USER && adduser --system $APPLICATION_USER --ingroup $APPLICATION_USER
# 創建應用目錄
RUN mkdir /app && chown -R $APPLICATION_USER /app
COPY --chown=$APPLICATION_USER:$APPLICATION_USER target/*.jar /app/app.jar
WORKDIR /app
USER $APPLICATION_USER
EXPOSE 8080
ENTRYPOINT [ "java", "-jar", "/app/app.jar" ]
讓我們解釋一下我們在這里所做的事情:
我們有兩個階段,第一階段用于使用 jlink 構建自定義JRE鏡像,第二階段用于將應用打包在一個精簡的Alpine鏡像中。
在第一階段,我們使用 eclipse-temurin:17-jdk-alpine 鏡像來使用 jlink 構建自定義JRE鏡像。然后,我們安裝 binutils,這是 jlink 所需的,然后運行 jlink 來構建一個小型JRE鏡像,使用 --add-modules ALL-MODULE-PATH(目前)包含運行應用所需的所有模塊。
在第二階段,我們使用Alpine鏡像(其大小約為3MB)作為基礎鏡像來打包我們的應用,然后從第一階段獲取自定義JRE并將其用作 JAVA_HOME。
Dockerfile的其余部分與之前的相同,只是復制工件并使用自定義用戶(而不是root)設置入口點。
然后我們可以使用以下命令構建鏡像:
docker build -t user-service:jlink-all-modules-temurin -f Dockerfile.jlink-all-modules.temurin .
如果你運行命令:
docker images user-service
你會看到新Docker鏡像的大小現在為85.3MB,比基礎鏡像小約95MB ????
圖片
為了確保鏡像按預期工作,你可以運行以下命令:
docker run -p 8080:8080 user-service:jlink-all-modules-temurin
你應該會看到應用按預期運行。
圖片
這還不夠 ????作為優秀的開發者,我們總是希望改進我們的工作,讓我們看看如何進一步減少鏡像的大小。
目前鏡像的大小依然較大,這是因為在 jlink 命令中使用 --add-modules ALL-MODULE-PATH 時,我們包含了運行應用程序所需的所有模塊,但我們并不需要所有模塊。讓我們看看如何僅包含運行應用程序所需的模塊,從而獲得更小的鏡像大小。
如何確定運行應用程序所需的模塊?我們可以使用 JDK 附帶的 jdeps 工具。jdeps 是一個可以分析 jar 文件依賴關系并生成所需模塊列表的工具。
為此,我們可以在項目根目錄下運行以下命令:
jdeps --ignore-missing-deps -q \
--recursive \
--multi-release 17 \
--print-module-deps \
--class-path BOOT-INF/lib/* \
target/spring-error-handling-rfc-9457-0.0.1-SNAPSHOT.jar
這將打印出運行應用程序所需的模塊列表,在我們的案例中為:
java.base,java.compiler,java.desktop,java.instrument,java.management,java.naming,java.net.http,java.prefs,java.rmi,java.scripting,java.security.jgss,java.sql,jdk.jfr,jdk.unsupported
我們可以簡單地將這些模塊替代 ALL-MODULE-PATH,修改 jlink 命令如下:
Dockerfile.jlink-known-modules.temurin
# 第一階段,構建自定義 JRE
FROM openjdk:17-jdk-slim AS jre-builder
# 安裝 jlink 所需的 binutils
RUN apt-get update -y && \
apt-get install -y binutils
# 構建小型 JRE 鏡像
RUN $JAVA_HOME/bin/jlink \
--verbose \
--add-modules java.base,java.compiler,java.desktop,java.instrument,java.management,java.naming,java.net.http,java.prefs,java.rmi,java.scripting,java.security.jgss,java.sql,jdk.jfr,jdk.unsupported \
--strip-debug \
--no-man-pages \
--no-header-files \
--compress=2 \
--output /optimized-jdk-17
# 第二階段,使用自定義 JRE 并構建應用鏡像
FROM alpine:latest
ENV JAVA_HOME=/opt/jdk/jdk-17
ENV PATH="${JAVA_HOME}/bin:${PATH}"
# 從基礎鏡像復制 JRE
COPY --from=jre-builder /optimized-jdk-17 $JAVA_HOME
# 添加應用用戶
ARG APPLICATION_USER=spring
# 創建用戶以運行應用程序,不以 root 身份運行
RUN addgroup --system $APPLICATION_USER && adduser --system $APPLICATION_USER --ingroup $APPLICATION_USER
# 創建應用程序目錄
RUN mkdir /app && chown -R $APPLICATION_USER /app
COPY --chown=$APPLICATION_USER:$APPLICATION_USER target/*.jar /app/app.jar
WORKDIR /app
USER $APPLICATION_USER
EXPOSE 8080
ENTRYPOINT [ "java", "-jar", "/app/app.jar" ]
然后我們可以使用以下命令構建鏡像:
docker build -t user-service:jlink-known-modules-temurin -f Dockerfile.jlink-known-modules.temurin .
這里是構建后的鏡像大小:
圖片
我們得到了一個較小的鏡像,大小為 57.8MB,而不是 85.3MB。
這很好,但我們能否自動化這個過程,而不是手動運行 jdeps 命令然后將模塊復制到 jlink 命令中?
在 Dockerfile 中自動化該過程
Dockerfile.jlink-with-jdeps.temurin
# 第一階段,構建自定義 JRE
FROM eclipse-temurin:17-jdk-alpine AS jre-builder
RUN mkdir /opt/app
COPY . /opt/app
WORKDIR /opt/app
ENV MAVEN_VERSION 3.5.4
ENV MAVEN_HOME /usr/lib/mvn
ENV PATH $MAVEN_HOME/bin:$PATH
RUN apk update && \
apk add --no-cache tar binutils
RUN wget http://archive.apache.org/dist/maven/maven-3/$MAVEN_VERSION/binaries/apache-maven-$MAVEN_VERSION-bin.tar.gz && \
tar -zxvf apache-maven-$MAVEN_VERSION-bin.tar.gz && \
rm apache-maven-$MAVEN_VERSION-bin.tar.gz && \
mv apache-maven-$MAVEN_VERSION /usr/lib/mvn
RUN mvn package -DskipTests
RUN jar xvf target/spring-error-handling-rfc-9457-0.0.1-SNAPSHOT.jar
RUN jdeps --ignore-missing-deps -q \
--recursive \
--multi-release 17 \
--print-module-deps \
--class-path 'BOOT-INF/lib/*' \
target/spring-error-handling-rfc-9457-0.0.1-SNAPSHOT.jar > modules.txt
# 構建小型 JRE 鏡像
RUN $JAVA_HOME/bin/jlink \
--verbose \
--add-modules $(cat modules.txt) \
--strip-debug \
--no-man-pages \
--no-header-files \
--compress=2 \
--output /optimized-jdk-17
# 第二階段,使用自定義 JRE 并構建應用鏡像
FROM alpine:latest
ENV JAVA_HOME=/opt/jdk/jdk-17
ENV PATH="${JAVA_HOME}/bin:${PATH}"
# 從基礎鏡像復制 JRE
COPY --from=jre-builder /optimized-jdk-17 $JAVA_HOME
# 添加應用用戶
ARG APPLICATION_USER=spring
# 創建用戶以運行應用程序,不以 root 身份運行
RUN addgroup --system $APPLICATION_USER && adduser --system $APPLICATION_USER --ingroup $APPLICATION_USER
# 創建應用程序目錄
RUN mkdir /app && chown -R $APPLICATION_USER /app
COPY --chown=$APPLICATION_USER:$APPLICATION_USER target/*.jar /app/app.jar
WORKDIR /app
USER $APPLICATION_USER
EXPOSE 8080
ENTRYPOINT [ "java", "-jar", "/app/app.jar" ]
然后我們可以使用以下命令構建鏡像:
docker build -t user-service:jlink-with-jdeps.temurin -f Dockerfile.jlink-with-jdeps.temurin . --platform=linux/amd64
圖片
額外提示在結束之前,請注意,您可以使用 .dockerignore 文件排除某些文件和目錄,以減少鏡像在中間階段的大小。
您還應該注意,選擇小型基礎鏡像是好的,但請確保它具備良好的安全策略,并與您的應用程序兼容。
結論
通過本文的探討,我們成功展示了如何利用 jlink 工具和 jdeps 工具來生成更加精簡的 Java 鏡像。我們不僅減少了鏡像的體積,從 85.3MB 降至 57.8MB,節省了大量的存儲和傳輸資源,而且還引入了自動化的過程,進一步提升了開發效率。
在持續追求優化的過程中,自動化工具和最佳實踐是每個開發者的得力助手。通過使用 .dockerignore 文件來排除不必要的文件和目錄,我們還可以在構建鏡像的中間階段進一步減少體積。選擇一個適合的基礎鏡像并確保其安全性和兼容性,也同樣重要。
最后,優化鏡像不僅能提升應用程序的性能,更能增強整體系統的可維護性和可擴展性。希望大家能夠在實際項目中應用這些技術,進一步推動軟件開發的高效化和現代化。