Docker 是什么?K8s又是什么?如何從 0 到 1 實戰 Docker 與 K8s 全流程部署?
云原生時代,作為技術人員,如果不了解 Docker 和 Kubernetes,那絕對是技術棧上的一個短板。那么,什么是 Docker?什么又是 Kubernetes?它們之間存在怎樣的關系?這篇文章,我將通過理論加代碼實戰的方式,詳細地剖析他們。
一、原理部分
1. Docker
Docker是一個容器化平臺,它允許開發者將應用及其依賴項打包到一個稱為容器的標準化單元中,以便可以在不同環境中快速、可靠地運行這些應用。它的本質是利用操作系統的Cgroups和Namespace機制創建出來的隔離環境。更多詳情參考我以往的文章:容器 = Namespace + Cgroups + rootfs
Docker核心概念包括以下幾個:
(1) Kubernetes核心概念
① 鏡像:Docker(Image)鏡像是一個輕量級、獨立、可執行的軟件包,其中包含運行某個應用程序所需的所有內容,包括代碼、運行時、庫、環境變量和配置文件。鏡像是不可變的,基于鏡像可以創建容器。
② 容器:容器(Container)是鏡像的運行實例,它是一個輕量級、獨立的環境,可以在任何支持 Docker的機器上運行。容器與主機系統共享操作系統內核,但在進程空間上是隔離的。
③ Dockerfile:Dockerfile是一個文本文件,包含構建 Docker鏡像的所有命令,可以通過 Dockerfile來自動化鏡像的創建過程。
④ Docker Hub:Docker Hub是一個云端的 Docker鏡像存儲庫,用戶可以在上面發布和獲取鏡像,它提供了一個平臺來共享和管理鏡像。
⑤ 容器編排:Docker Compose是一種定義和運行多容器 Docker應用程序的工具,通過一個docker-compose.yml文件,用戶可以定義一個應用包含的所有服務,并使用簡單的命令啟動或停止它們。
Docker容器可以描述成以下全景圖(圖片來自極客張磊):
(2) Docker的優點
Docker的優點可以用一句話總結:一次打包,到處部署。這個和 JVM一次編譯,到處運行的設計有著異曲同工之妙,所以說,計算機領域很多思維是相通的!
下圖對比了使用與不使用 Docker的場景:
- 不使用 Docker:每次將應用部署新主機時,都需要重新安裝一遍應用需要的環境,因為操作系統多,運營商可能也不同,安裝環境是一件痛苦的事情。
- 使用 Docker:制作 Docker鏡像時,已經包含應用及其所需的環境,因此可以到任何運營商提供的操作系統上運行。
2. Kubernetes
Kubernetes(K8s) 一詞源自希臘,意為“舵手”或“掌舵者”,用于指導和管理船只的航行。它是一個容器編排平臺,負責自動化容器的部署、擴展(水平擴展)、負載均衡、以及故障恢復等工作。
Kubernetes的核心概念包括以下幾個:
(1) Kubernetes核心概念
① 節點:節點(Node)是 Kubernetes集群中的一臺物理機或虛擬機,負責運行應用程序的工作負載。每個節點運行一個Kubelet(用于管理節點上的容器)和一個容器運行時(例如Docker)。
② Pod:Pod是 Kubernetes中最小的可部署單元,通常包含一個或多個容器。Pod中的容器共享網絡和存儲,可以協同工作。
③ 控制器:控制器(Controller)負責管理和維護集群中的Pod和相關的服務。常見的控制器有 ReplicaSet(確保指定數量的Pod副本在運行)、Deployment(管理無狀態應用)和 StatefulSet(管理有狀態應用)。
④ 服務:服務(Service)是一個抽象的方式,用于定義一組Pod的邏輯集合以及訪問這些 Pod的策略。Kubernetes中的服務提供了負載均衡和服務發現功能。
⑤ 命名空間:命名空間(Namespace)用于在同一個 Kubernetes集群中將資源進行邏輯上的隔離。它允許多個團隊或項目共享一個集群而不會相互影響。
⑥ 配置管理:配置管理包含 ConfigMap 和 Secret。ConfigMap 用于存儲非機密的數據,類似配置文件。Secret用于存儲機密數據,如密碼、OAuth令牌和SSH密鑰。
⑦ Ingress:Ingress是一個 API對象,管理外部訪問到集群中服務的 HTTP和 HTTPS路由。它提供負載均衡、SSL終止和基于名稱的虛擬托管等功能。
⑧ Deployment:Deployment是一個用于管理無狀態應用程序的核心組件。它提供了一種聲明式的方法來管理 Pod和 ReplicaSet,從而實現應用程序的部署、升級和擴縮。
Kubernetes可以描述成以下全景圖(圖片來自極客張磊):
(2) Kubernetes 的工作流程
Kubernetes 的整體工作流程可以總結成下面 6個步驟:
- 用戶定義和提交文件:用戶通過 kubectl提交描述文件,例如 Deployment 和 Service 定義,這些文件描述了應用副本數量、負責選擇負載均衡的標簽、資源需求等信息。
- API Server 接受請求:API Server處理用戶的對象創建請求,這些請求會被記錄在 etcd 中。
- 調度器決定 Pod 的位置:Scheduler根據集群的整體資源使用情況、節點健康狀況、Pod 的資源要求等調度策略,將 Pod安排到集群中的某個 Node上。
- Kubelet 處理并運行Pod:在選定的 Node上,Kubelet調用 Container Runtime(例如 Docker 或 Container)啟動容器,并根據請求的規格拉取鏡像、分配資源、啟動應用。
- Kube Proxy 實現服務訪問:集群中的 Kube Proxy負責為每個 Pod生成虛擬 IP,通過這些 IP,集群內外部的訪問可以通過 Kubernetes Services 來訪問這些 Pod,進行負載均衡。
- 狀態保持和自動修復:Kubernetes的控制器會持續監控 Pod和節點的狀態,并在檢測到某些 Pod不可用或節點失效時,自動重啟或調度新的 Pod到健康的節點上。
整個流程如下圖:
3. 兩者關系
Docker提供容器化機制,用于封裝和打包應用,并利用 CI/CD管道將容器鏡像推送至中央容器注冊中心(如 Docker Hub 或 Harbor),而 Kubernetes是一個強大的容器編排平臺,負責調度、擴展和管理 Docker容器化應用,保證系統高可用、故障自動恢復。
從宏觀上看,兩者關系可以通過下圖來形象的表達:
好了,理論部分講解完后,我們正式進入代碼實戰部分,俗話說:說起來容易做起來難,對于 Kubernetes集群還真有點難度,來,上干貨?。?!
二、代碼實戰
1. 目的
開發一個簡單的 Java Web應用,并將其 Docker容器化部署到 Kubernetes集群中,然后在瀏覽器訪問,展示:Hello world, This is my docker running in Kubernetes!。
2. 步驟
整體流程核心步驟有下面幾個:
- 安裝環境
- 創建 Web應用
- 應用 Docker 容器化
- 部署到 Kubernetes 集群
- 瀏覽器驗證
(1) 安裝環境
首先,需要確保我們安裝了以下環境:JDK(Java Development Kit), Gradle(Maven),Docker, Kubernetes,下面是我安裝的版本:
JDK 版本:
Gradle版本:
Docker 版本:我使用的是 Mac Pro 電腦,直接使用 brew安裝:
brew install --cask docker
Kubernetes 版本:
我使用的是 Mac Pro電腦,直接使用 brew安裝:
brew install kubectl
注意:Gradle 和 Maven 是項目管理工具,只要安裝一個就OK,自己熟悉哪個就安裝哪個。
(2) 創建Java Web應用
① 創建Gradle(Maven)項目
創建一個 Springboot 項目,整個目錄結構如下:
在src/main/cloud/com/yuanjava/docker目錄下創建一個新的 Java類,如HelloController.java:
package com.yuanjava.docker;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RestController;
/**
* @author 猿java
*/
@RestController
public class HelloController {
@GetMapping("/test")
public String test() {
return "Hello world, This is my docker running in Kubernetes!";
}
}
② Gradle(Maven)打包項目:
Gradle打包指令如下:
gradle build
這里在 build/libs 目錄下就就會看到打包后的 jar包:
(3) 容器化 Java Web應用
① 編寫Dockerfile:
在項目根目錄下創建一個Dockerfile:
FROM openjdk:17-jdk-slim
COPY build/libs/yuanjava-1.0.jar app.jar
ENTRYPOINT ["java","-jar","/app.jar"]
② 構建Docker鏡像:
在當前目錄,運行以下命令就可以構建 Docker鏡像,-t的作用是給這個鏡像加一個Tag,也就是起一個好聽的名字。
docker build -t yuanjava:1.0 .
運行完上面的指令之后,就可以在 Docker鏡像庫看到剛才打的鏡像了,可以使用docker images指令查看鏡像:
docker images
也可以通過 Docker的可視化工具查看鏡像:
③ 運行Docker容器
我們可以通過下面的命令來啟動 Docker容器:
docker run -p 9999:9999 yuanjava:1.0
然后,在瀏覽器中訪問http://localhost:9999/test來測試 Docker是否啟動完成。訪問結果如下圖:
④ 推送 Docker鏡像到遠程倉庫
這一步是為了下面將 Docker鏡像部署到 Kubernetes集群做準備,推送命令如下:
docker push yuanjava:1.0
推送完之后,遠程倉庫就多了一個鏡像,如下圖所示:
注意:如果沒有 Docker賬號,需要先創建賬號。
(4) 部署到Kubernetes集群
① 啟動 Kubernetes集群
通常來說,我們會使用minikube命令來啟動和管理 Kubernetes 集群,安裝和啟動命令如下:
# 安裝 minikube
curl -Lo minikube https://storage.googleapis.com/minikube/releases/latest/minikube-linux-amd64
chmod +x minikube
sudo mv minikube /usr/local/bin/
# 啟動 Kubernetes集群
minikube start
② 編寫Kubernetes Deployment配置
創建一個deployment.yaml文件,內容如下:
apiVersion: apps/v1 # 定義了 Kubernetes API 的版本
kind: Deployment # 聲明這個 Kubernetes 資源的類型
metadata:
name: yuanjava # 包含資源的元數據,Kubernetes 通過 metadata 字段中的各類信息來跟蹤和管理資源
spec:
replicas: 2 # Pod的副本數量,即 Deployment將運行 2個相同的 Pod
selector:
matchLabels:
app: yuanjava # 告訴 Deployment 如何找到它管理的 Pod
template:
metadata:
labels:
app: yuanjava # 定義 Pod 的模板
spec:
containers:
- name: yuanjava
image: yuanjava/yuanjava:1.0 #定義容器使用的鏡像,Kubernetes 會從容器鏡像倉庫中拉取它
ports:
- containerPort: 9999 # 指定容器內部監聽的應用端口
③ 編寫Kubernetes Service配置
創建一個service.yaml文件,內容如下:
apiVersion: v1
kind: Service # 用于描述和管理向外部或者內部暴露應用的網絡訪問方式
metadata:
name: yuanjava # 包含資源的元數據信息
spec:
type: LoadBalancer # 定義了服務的類型,LoadBalancer 類型會將服務暴露給外部網絡
ports:
- port: 80 # 這是對外暴露的端口,表示外部客戶端訪問服務時使用的端口號
targetPort: 9999 # 這是集群內部目標 Pod 上運行的容器所監聽的端口
selector:
app: yuanjava
④ 部署到Kubernetes
我們可以使用kubectl命令應用配置,命令說明如下:
- kubectl apply -f deployment.yaml:根據 deployment.yaml 文件中的定義,創建或更新 Kubernetes中相應的 Deployment。
- kubectl apply -f service.yaml:根據 service.yaml 文件中的內容,Kubernetes會創建一個 Service,并將其與運行 Deployment 中的 Pod關聯起來。
kubectl apply -f deployment.yaml
kubectl apply -f service.yaml
⑤ 驗證部署
使用以下命令檢查 Pods和 Service狀態:
kubectl get pods
kubectl get services
如下圖,2個 Pod都處于 Running 狀態:
(5) 瀏覽器驗證
最后,我們可以在瀏覽器中訪問,驗證應用是否成功部署到 Kubernetes 集群,訪問地址是:http://EXTERNAL-IP/hello ,如下圖:
因為,我是本地部署,所以EXTERNAL-IP地址為<pending>,即未分配,但是可以通過minikube service yuanjava查看 IP地址,如下圖所示:
最后,打開地址http://192.168.49.2:63213/test, 見證奇跡的時刻到了:
因為是本地環境,所以鏈接最終會跳轉到http://127.0.0.1:63213/test 。
到此,我們就成功地手動將 Docker鏡像部署到 Kubernetes集群,并且通過 URL能夠訪問,過程很艱辛,結果還是比較美好。
但是,如果要部署大量的機器,這樣手動操作肯定是不行,因此,我們需要結組一些 CI/CD工具(如 GitHub Actions、GitLab CI/CD 或 Jenkins)實現自動化 Docker鏡像構建和 Kubernetes 部署。
這里以 GitHub Actions為例,創建 .github/workflows/auto-deploy.yaml:
name: Auto Deploy Application to Kubernetes
on:
push:
branches:
- main
jobs:
build-and-deploy:
runs-on: ubuntu-latest
steps:
# Step 1: 檢出代碼
- name: Checkout code
uses: actions/checkout@v3
# Step 2: 登錄 Docker Registry
- name: Log in to Docker Hub
run: echo "${{ secrets.DOCKER_PASSWORD }}" | docker login -u "${{ secrets.DOCKER_USERNAME }}" --password-stdin
# Step 3: 構建并推送 Docker 鏡像
- name: Build and push Docker image
run: |
docker build -t ${{ secrets.DOCKER_USERNAME }}/yuanjava:latest .
docker push ${{ secrets.DOCKER_USERNAME }}/yuanjava:latest
# Step 4: 設置 kubectl
- name: Set up kubectl
uses: azure/setup-kubectl@v3
with:
version: 'latest'
# Step 5: 配置 kubeconfig 文件
- name: Configure kubeconfig
run: |
echo "${{ secrets.KUBECONFIG }}" > kubeconfig
export KUBECONFIG=kubeconfig
# Step 6: 部署到 Kubernetes
- name: Apply Kubernetes manifests
run: |
kubectl apply -f deployment.yaml
kubectl apply -f service.yaml
關鍵說明:
- 配置里面的 DOCKER_USERNAME, DOCKER_PASSWORD, KUBECONFIG,需在項目的 Settings > Secrets 中配置。
- 在觸發階段(push 到 main 分支)時,上述流水線將自動完成 Docker 構建、推送,并將應用部署到 Kubernetes。
三、總結
本文,我們先從理論上分析了 Docker 和 Kubernetes的核心概念以及它們之間的關系。
接著,我們從代碼實戰的角度,帶大家一步一步實操了如何編寫一個簡單的 Java Web應用,并將其 Docker容器化,最后部署到 Kubernetes集群中,然后在瀏覽器訪問。在實操的期間,因為所有的環境都是本地環境臨時搭建,所以遇到了很多的問題,但最終還是成功了。
通過這次實操,再次說明了做技術不能只停留在理論,實操很重要,實操期間我們可能遇到很多問題,但是,當我們通過各種方式去解決問題的時候,這個過程其實就是對技術更深入的學習和掌握。
個人建議:
Docker是云原生很重要相對簡單的一個技術基礎,強烈建議掌握并且一定要去實戰。Kubernetes的難度系統會比 Docker大,它為大量容器提供調度、資源管理、彈性伸縮等功能,如果使用的機器數量比較少,Kubernetes其實很難用上,但是,如果可以,還是建議我們創造條件在實際生產環境中去使用和學習 Kubernetes。相信我,這種有壓力的學習效果賊棒!