[[418144]]

前面我們了解了 containerd 的發(fā)展歷史和基本使用方式，本節(jié)我們就來(lái)嘗試下使用 containerd 來(lái)作為 Kubernetes 集群的容器運(yùn)行時(shí)。

前面我們安裝的集群默認(rèn)使用的是 Docker 作為容器運(yùn)行時(shí)，那么應(yīng)該如何將容器運(yùn)行時(shí)從 Docker 切換到 containerd 呢?

維護(hù)節(jié)點(diǎn)

首先標(biāo)記需要切換的節(jié)點(diǎn)為維護(hù)模式，強(qiáng)制驅(qū)逐節(jié)點(diǎn)上正在運(yùn)行的 Pod，這樣可以最大程度降低切換過(guò)程中影響應(yīng)用的正常運(yùn)行，比如我們先將 node1 節(jié)點(diǎn)切換到 containerd。

首先使用 kubectl cordon 命令將 node1 節(jié)點(diǎn)標(biāo)記為 unschedulable 不可調(diào)度狀態(tài)：

# 將 node1 標(biāo)記為 unschedulable 
➜  ~ kubectl cordon node1 
node/node1 cordoned 
➜  ~ kubectl get nodes 
NAME     STATUS                     ROLES    AGE   VERSION 
master   Ready                      master   85d   v1.19.11 
node1    Ready,SchedulingDisabled   <none>   85d   v1.19.11 
node2    Ready                      <none>   85d   v1.19.11 

執(zhí)行完上面的命令后，node1 節(jié)點(diǎn)變成了一個(gè) SchedulingDisabled 狀態(tài)，表示不可調(diào)度，這樣新創(chuàng)建的 Pod 就不會(huì)調(diào)度到當(dāng)前節(jié)點(diǎn)上來(lái)了。

接下來(lái)維護(hù) node1 節(jié)點(diǎn)，使用 kubectl drain 命令來(lái)維護(hù)節(jié)點(diǎn)并驅(qū)逐節(jié)點(diǎn)上的 Pod：

# 維護(hù) node1 節(jié)點(diǎn)，驅(qū)逐 Pod 
➜  ~ kubectl drain node1 --ignore-daemonsets 
node/node1 already cordoned 
WARNING: ignoring DaemonSet-managed Pods: kube-system/kube-flannel-ds-mzdgl, kube-system/kube-proxy-vddh9, lens-metrics/node-exporter-2g4hr 
evicting pod "kiali-85c8cdd5b5-27cwv" 
evicting pod "jenkins-587b78f5cd-9gvn8" 
evicting pod "argocd-application-controller-0" 
pod/argocd-application-controller-0 evicted 
pod/kiali-85c8cdd5b5-27cwv evicted 
pod/jenkins-587b78f5cd-9gvn8 evicted 
node/node1 evicted 

上面的命令會(huì)強(qiáng)制將 node1 節(jié)點(diǎn)上的 Pod 進(jìn)行驅(qū)逐，我們加了一個(gè) --ignore-daemonsets 的參數(shù)可以用來(lái)忽略 DaemonSet 控制器管理的 Pods，因?yàn)檫@些 Pods 不用驅(qū)逐到其他節(jié)點(diǎn)去，當(dāng)節(jié)點(diǎn)驅(qū)逐完成后接下來(lái)我們就可以來(lái)對(duì)節(jié)點(diǎn)進(jìn)行維護(hù)操作了，除了切換容器運(yùn)行時(shí)可以這樣操作，比如我們需要變更節(jié)點(diǎn)配置、升級(jí)內(nèi)核等操作的時(shí)候都可以先將節(jié)點(diǎn)進(jìn)行驅(qū)逐，然后再進(jìn)行維護(hù)。

切換 containerd

接下來(lái)停掉 docker、containerd 和 kubelet：

➜  ~ systemctl stop kubelet 
➜  ~ systemctl stop docker 
➜  ~ systemctl stop containerd 

因?yàn)槲覀儼惭b的 Docker 默認(rèn)安裝使用了 containerd 作為后端的容器運(yùn)行時(shí)，所以不需要單獨(dú)安裝 containerd 了，當(dāng)然你也可以將 Docker 和 containerd 完全卸載掉，然后重新安裝，這里我們選擇直接使用之前安裝的 containerd。

因?yàn)?containerd 中默認(rèn)已經(jīng)實(shí)現(xiàn)了 CRI，但是是以 plugin 的形式配置的，以前 Docker 中自帶的 containerd 默認(rèn)是將 CRI 這個(gè)插件禁用掉了的(使用配置 disabled_plugins = ["cri"])，所以這里我們重新生成默認(rèn)的配置文件來(lái)覆蓋掉：

➜  ~ containerd config default > /etc/containerd/config.toml 

前面我們已經(jīng)介紹過(guò)上面的配置文件了，首先我們修改默認(rèn)的 pause 鏡像為國(guó)內(nèi)的地址，替換 [plugins."io.containerd.grpc.v1.cri"] 下面的 sandbox_image：

[plugins."io.containerd.grpc.v1.cri"] 
  sandbox_image = "registry.aliyuncs.com/k8sxio/pause:3.2" 
  ...... 

同樣再配置下鏡像倉(cāng)庫(kù)的加速器地址：

[plugins."io.containerd.grpc.v1.cri".registry] 
  [plugins."io.containerd.grpc.v1.cri".registry.mirrors] 
    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."docker.io"] 
      endpoint = ["https://bqr1dr1n.mirror.aliyuncs.com"] 
    [plugins."io.containerd.grpc.v1.cri".registry.mirrors."k8s.gcr.io"] 
      endpoint = ["https://registry.aliyuncs.com/k8sxio"] 

接下來(lái)修改 kubelet 配置，將容器運(yùn)行時(shí)配置為 containerd，打開(kāi) /etc/sysconfig/kubelet 文件，在該文件中可以添加一些額外的 kubelet 啟動(dòng)參數(shù)，配置如下所示：

KUBELET_EXTRA_ARGS="--container-runtime=remote --container-runtime-endpoint=unix:///run/containerd/containerd.sock" 

上面的配置中我們?cè)黾恿藘蓚€(gè)參數(shù)，--container-runtime 參數(shù)是用來(lái)指定使用的容器運(yùn)行時(shí)的，可選值為 docker 或者 remote，默認(rèn)是 docker，由于我們這里使用的是 containerd 這種容器運(yùn)行時(shí)，所以配置為 remote 值(也就是除 docker 之外的容器運(yùn)行時(shí)都應(yīng)該指定為 remote)，然后第二個(gè)參數(shù) --container-runtime-endpoint 是用來(lái)指定遠(yuǎn)程的運(yùn)行時(shí)服務(wù)的 endpiont 地址的，在 Linux 系統(tǒng)中一般都是使用 unix 套接字的形式，比如這里我們就是指定連接 containerd 的套接字地址 unix:///run/containerd/containerd.sock。

• 其實(shí)還應(yīng)該配置一個(gè) --image-service-endpoint 參數(shù)用來(lái)指定遠(yuǎn)程 CRI 的鏡像服務(wù)地址，如果沒(méi)有指定則默認(rèn)使用 --container-runtime-endpoint 的值了，因?yàn)?CRI 都會(huì)實(shí)現(xiàn)容器和鏡像服務(wù)的。

配置完成后重啟 containerd 和 kubelet 即可：

➜  ~ systemctl daemon-reload 
➜  ~ systemctl restart containerd 
➜  ~ systemctl restart kubelet 

重啟完成后查看節(jié)點(diǎn)狀態(tài)是否正常：

➜  ~ kubectl get nodes -o wide 
NAME     STATUS                     ROLES    AGE   VERSION    INTERNAL-IP      EXTERNAL-IP   OS-IMAGE                KERNEL-VERSION                CONTAINER-RUNTIME 
master   Ready                      master   85d   v1.19.11   192.168.31.30    <none>        CentOS Linux 7 (Core)   3.10.0-1160.25.1.el7.x86_64   docker://19.3.9 
node1    Ready,SchedulingDisabled   <none>   85d   v1.19.11   192.168.31.95    <none>        CentOS Linux 7 (Core)   3.10.0-1160.25.1.el7.x86_64   containerd://1.4.4 
node2    Ready                      <none>   85d   v1.19.11   192.168.31.215   <none>        CentOS Linux 7 (Core)   3.10.0-1160.25.1.el7.x86_64   docker://19.3.9 

獲取節(jié)點(diǎn)的時(shí)候加上 -o wide 可以查看節(jié)點(diǎn)的更多信息，從上面對(duì)比可以看到 node1 節(jié)點(diǎn)的容器運(yùn)行時(shí)已經(jīng)切換到 containerd://1.4.4 了。

最后把 node1 節(jié)點(diǎn)重新加回到集群中來(lái)允許調(diào)度 Pod 資源：

➜  ~ kubectl uncordon node1 
node/node1 uncordoned 
➜  ~ kubectl get nodes 
NAME     STATUS   ROLES    AGE   VERSION 
master   Ready    master   85d   v1.19.11 
node1    Ready    <none>   85d   v1.19.11 
node2    Ready    <none>   85d   v1.19.11 

用同樣的方法再去處理其他節(jié)點(diǎn)即可將整個(gè)集群切換成容器運(yùn)行時(shí) containerd 了。

crictl

現(xiàn)在我們可以 node1 節(jié)點(diǎn)上使用 ctr 命令來(lái)管理 containerd，查看多了一個(gè)名為 k8s.io 的命名空間：

➜  ~ ctr ns ls 
NAME   LABELS 
k8s.io 
moby 

上文我們已經(jīng)介紹 kubernetes 集群對(duì)接的 containerd 所有資源都在 k8s.io 的命名空間下面，而 docker 的則默認(rèn)在 moby 下面，當(dāng)然現(xiàn)在 moby 下面沒(méi)有任何的數(shù)據(jù)了，但是在 k8s.io 命名空間下面就有很多鏡像和容器資源了：

➜  ~ ctr -n moby c ls 
CONTAINER    IMAGE    RUNTIME 
➜  ~ ctr -n moby i ls 
REF TYPE DIGEST SIZE PLATFORMS LABELS 
➜  ~ ctr -n moby t ls 
TASK    PID    STATUS 
ctr -n k8s.io i ls -q 
docker.io/library/busybox:latest 
docker.io/library/busybox@sha256:0f354ec1728d9ff32edcd7d1b8bbdfc798277ad36120dc3dc683be44524c8b60 
quay.io/coreos/flannel:v0.14.0 
quay.io/coreos/flannel@sha256:4a330b2f2e74046e493b2edc30d61fdebbdddaaedcb32d62736f25be8d3c64d5 
registry.aliyuncs.com/k8sxio/pause:3.2 
...... 

我們當(dāng)然可以直接使用 ctr 命令來(lái)直接管理鏡像或容器資源，但是我們?cè)谑褂眠^(guò)程中明顯可以感覺(jué)到該工具沒(méi)有 docker CLI 方便，從使用便捷性和功能性上考慮，我們更推薦使用 crictl 作為管理工具，crictl 為 CRI 兼容的容器運(yùn)行時(shí)提供 CLI，這允許 CRI 運(yùn)行時(shí)開(kāi)發(fā)人員在無(wú)需設(shè)置 Kubernetes 組件的情況下調(diào)試他們的運(yùn)行時(shí)。

接下來(lái)我們就先簡(jiǎn)單介紹下如何使用 crictl 工具來(lái)提升管理容器運(yùn)行時(shí)的效率。

安裝

首先我們需要先安裝 crictl 工具，直接從 cri-tools 的 release 頁(yè)面下載對(duì)應(yīng)的二進(jìn)制包，解壓放入 PATH 路徑下即可：

➜  ~ VERSION="v1.22.0" 
➜  ~ wget https://github.com/kubernetes-sigs/cri-tools/releases/download/$VERSION/crictl-$VERSION-linux-amd64.tar.gz 
# 如果有限制，也可以替換成下面的 URL 加速下載 
# wget https://download.fastgit.org/kubernetes-sigs/cri-tools/releases/download/$VERSION/crictl-$VERSION-linux-amd64.tar.gz 
➜  ~ tar zxvf crictl-$VERSION-linux-amd64.tar.gz -C /usr/local/bin 
➜  ~ rm -f crictl-$VERSION-linux-amd64.tar.gz 
➜  ~ crictl -v 
crictl version v1.22.0 

到這里證明 crictl 工具安裝成功了。

用法

crictl 安裝完成后，接下來(lái)我們來(lái)了解下該工具的一些常見(jiàn)使用方法。

首先需要修改下默認(rèn)的配置文件，默認(rèn)為 /etc/crictl.yaml，在文件中指定容器運(yùn)行時(shí)和鏡像的 endpoint 地址，內(nèi)容如下所示：

runtime-endpoint: unix:///var/run/containerd/containerd.sock 
image-endpoint: unix:///var/run/containerd/containerd.sock 
debug: false 
pull-image-on-create: false 
disable-pull-on-run: false 

配置完成后就可以使用 crictl 命令了。

獲取 Pod 列表

通過(guò) crictl pods 命令可以獲取當(dāng)前節(jié)點(diǎn)上運(yùn)行的 Pods 列表，如下所示：

➜  ~ crictl pods 
POD ID              CREATED             STATE               NAME                       NAMESPACE           ATTEMPT             RUNTIME 
cb18081b33933       39 minutes ago      Ready               kube-flannel-ds-mzdgl      kube-system         1                   (default) 
95d6004c55902       40 minutes ago      Ready               node-exporter-2g4hr        lens-metrics        1                   (default) 
cfae80b3209db       40 minutes ago      Ready               kube-proxy-vddh9           kube-system         1                   (default) 
99ac2583da87f       40 minutes ago      Ready               jenkins-587b78f5cd-dfzns   kube-ops            0                   (default) 
07ebdc51f1def       45 minutes ago      NotReady            node-exporter-2g4hr        lens-metrics        0                   (default) 
bec027b98f194       45 minutes ago      NotReady            kube-proxy-vddh9           kube-system         0                   (default) 
b44b5ec385053       45 minutes ago      NotReady            kube-flannel-ds-mzdgl      kube-system         0                   (default) 

還可以使用 --name 參數(shù)獲取指定的 Pod：

➜  ~ crictl pods --name kube-flannel-ds-mzdgl 
POD ID              CREATED             STATE               NAME                    NAMESPACE           ATTEMPT             RUNTIME 
cb18081b33933       About an hour ago   Ready               kube-flannel-ds-mzdgl   kube-system         1                   (default) 

同樣也可以根據(jù)標(biāo)簽來(lái)篩選 Pod 列表：

➜  ~ crictl pods --label app=flannel 
POD ID              CREATED             STATE               NAME                    NAMESPACE           ATTEMPT             RUNTIME 
cb18081b33933       About an hour ago   Ready               kube-flannel-ds-mzdgl   kube-system         1                   (default) 

獲取鏡像列表

使用 crictl images 命令可以獲取所有的鏡像：

➜  ~ crictl images 
IMAGE                                     TAG                 IMAGE ID            SIZE 
docker.io/jenkins/jenkins                 lts                 3b4ec91827f28       303MB 
docker.io/library/busybox                 latest              69593048aa3ac       771kB 
quay.io/coreos/flannel                    v0.14.0             8522d622299ca       21.1MB 
quay.io/prometheus/node-exporter          v1.0.1              0e0218889c33b       13MB 
registry.aliyuncs.com/k8sxio/kube-proxy   v1.19.11            732e0635ac9e0       49.3MB 
registry.aliyuncs.com/k8sxio/pause        3.2                 80d28bedfe5de       300kB 

同樣在命令后面可以加上 -v 參數(shù)來(lái)顯示鏡像的詳細(xì)信息：

➜  ~ crictl images -v 
ID: sha256:3b4ec91827f28ed482b08f6e379c56ea2308967d10aa4f458442c922e0771f87 
RepoTags: docker.io/jenkins/jenkins:lts 
RepoDigests: docker.io/jenkins/jenkins@sha256:abcd55c9f19c85808124a4d82e3412719cd5c511c03ebd7d4210e9fa9e8f1029 
Size: 302984002 
Username: jenkins 
 
ID: sha256:69593048aa3acfee0f75f20b77acb549de2472063053f6730c4091b53f2dfb02 
RepoTags: docker.io/library/busybox:latest 
RepoDigests: docker.io/library/busybox@sha256:0f354ec1728d9ff32edcd7d1b8bbdfc798277ad36120dc3dc683be44524c8b60 
Size: 770886 
 
...... 

獲取容器列表

使用 crictl ps 命令可以獲取正在運(yùn)行的容器列表：

➜  ~ crictl ps 
CONTAINER           IMAGE               CREATED             STATE               NAME                ATTEMPT             POD ID 
c8474738e4587       3b4ec91827f28       About an hour ago   Running             jenkins             0                   99ac2583da87f 
0f9c826f87ef8       8522d622299ca       About an hour ago   Running             kube-flannel        1                   cb18081b33933 
da444f718d37b       0e0218889c33b       About an hour ago   Running             node-exporter       1                   95d6004c55902 
a484a8a69ea59       732e0635ac9e0       About an hour ago   Running             kube-proxy          1                   cfae80b3209db 

還有更多其他可選參數(shù)，可以通過(guò) crictl ps -h 獲取，比如顯示最近創(chuàng)建的兩個(gè)容器：

➜  ~ crictl ps -n 2 
CONTAINER           IMAGE               CREATED             STATE               NAME                ATTEMPT             POD ID 
c8474738e4587       3b4ec91827f28       About an hour ago   Running             jenkins             0                   99ac2583da87f 
0f9c826f87ef8       8522d622299ca       About an hour ago   Running             kube-flannel        1                   cb18081b33933 

使用 -s 選項(xiàng)按照狀態(tài)進(jìn)行過(guò)濾：

➜  ~ crictl ps -s Running 
CONTAINER           IMAGE               CREATED             STATE               NAME                ATTEMPT             POD ID 
c8474738e4587       3b4ec91827f28       About an hour ago   Running             jenkins             0                   99ac2583da87f 
0f9c826f87ef8       8522d622299ca       About an hour ago   Running             kube-flannel        1                   cb18081b33933 
da444f718d37b       0e0218889c33b       About an hour ago   Running             node-exporter       1                   95d6004c55902 
a484a8a69ea59       732e0635ac9e0       About an hour ago   Running             kube-proxy          1                   cfae80b3209db 

在容器中執(zhí)行命令

crictl 也有類(lèi)似 exec 的命令支持，比如在容器 ID 為 c8474738e4587 的容器中執(zhí)行一個(gè) date 命令：

➜  ~ crictl exec -it c8474738e4587 date 
Tue 17 Aug 2021 08:23:02 AM UTC 

輸出容器日志

還可以獲取容器日志信息：

➜  ~ crictl logs c8474738e4587 
...... 
2021-08-17 07:19:51.846+0000 [id=155]   INFO    hudson.model.AsyncPeriodicWork#lambda$doRun$0: Started Periodic background build discarder 
2021-08-17 07:19:51.854+0000 [id=155]   INFO    hudson.model.AsyncPeriodicWork#lambda$doRun$0: Finished Periodic background build discarder. 6 ms 
2021-08-17 08:19:51.846+0000 [id=404]   INFO    hudson.model.AsyncPeriodicWork#lambda$doRun$0: Started Periodic background build discarder 
2021-08-17 08:19:51.848+0000 [id=404]   INFO    hudson.model.AsyncPeriodicWork#lambda$doRun$0: Finished Periodic background build discarder. 1 ms 

和 kubectl logs 類(lèi)似于，還可以使用 -f 選項(xiàng)來(lái) Follow 日志輸出，--tail N 也可以指定輸出最近的 N 行日志。

資源統(tǒng)計(jì)

使用 crictl stats 命令可以列舉容器資源的使用情況：

➜  ~ crictl stats 
CONTAINER           CPU %               MEM                 DISK                INODES 
0f9c826f87ef8       0.00                21.2MB              0B                  17 
a484a8a69ea59       0.00                23.55MB             12.29kB             25 
c8474738e4587       0.08                413.2MB             3.338MB             12 
da444f718d37b       0.00                14.46MB             0B                  16 

此外鏡像和容器相關(guān)的一些操作也都支持，比如：

• 拉取鏡像：crictl pull
• 運(yùn)行 Pod：crictl runp
• 運(yùn)行容器：crictl run
• 啟動(dòng)容器：crictl start
• 刪除容器：crictl rm
• 刪除鏡像：crictl rmi
• 刪除 Pod：crictl rmp
• 停止容器：crictl stop
• 停止 Pod：crictl stopp
• ......

更多信息請(qǐng)參考 https://github.com/kubernetes-sigs/cri-tools。

CLI 對(duì)比

前面我們了解了圍繞鏡像、容器和 Pod 可以使用 docker、ctr、crictl 這些命令行工具進(jìn)行管理，接下來(lái)我們就來(lái)比較下這幾個(gè)常用命令的使用區(qū)別。

需要注意的是通過(guò) ctr containers create 命令創(chuàng)建的容器只是一個(gè)靜態(tài)的容器，所以還需要通過(guò) ctr task start 來(lái)啟動(dòng)容器進(jìn)程。當(dāng)然，也可以直接使用 ctr run 命令來(lái)創(chuàng)建并運(yùn)行容器。在進(jìn)入容器操作時(shí)，與 docker 不同的是，必須在 ctr task exec 命令后指定 --exec-id 參數(shù)，這個(gè) id 可以隨便寫(xiě)，只要唯一就行。另外，ctr 沒(méi)有 stop 容器的功能，只能暫停(ctr task pause)或者殺死(ctr task kill)容器。

另外要說(shuō)明的是 crictl pods 列出的是 Pod 的信息，包括 Pod 所在的命名空間以及狀態(tài)。crictl ps 列出的是應(yīng)用容器的信息，而 docker ps 列出的是初始化容器(pause 容器)和應(yīng)用容器的信息，初始化容器在每個(gè) Pod 啟動(dòng)時(shí)都會(huì)創(chuàng)建，通常不會(huì)關(guān)注，所以 crictl 使用起來(lái)更簡(jiǎn)潔明了一些。

日志配置

docker 和 containerd 除了在常用命令上有些區(qū)別外，在容器日志及相關(guān)參數(shù)配置方面也存在一些差異。

當(dāng)使用 Docker 作為 Kubernetes 容器運(yùn)行時(shí)的時(shí)候，容器日志的落盤(pán)是由 Docker 來(lái)完成的，日志被保存在類(lèi)似 /var/lib/docker/containers/ 的目錄下面，kubelet 會(huì)在 /var/log/pods 和 /var/log/containers 下面創(chuàng)建軟鏈接，指向容器日志目錄下的容器日志文件。對(duì)應(yīng)的日志相關(guān)配置可以通過(guò)配置文件進(jìn)行指定，如下所示：

{ 
    "log-driver": "json-file", 
    "log-opts": { 
        "max-size": "100m", 
        "max-file: "10" 
    } 
} 

而當(dāng)使用 containerd 作為 Kubernetes 容器運(yùn)行時(shí)的時(shí)候，容器日志的落盤(pán)則由 kubelet 來(lái)完成了，被直接保存在 /var/log/pods/ 目錄下面，同時(shí)在 /var/log/containers 目錄下創(chuàng)建軟鏈接指向日志文件。同樣日志配置則是通過(guò) kubelet 參數(shù)中進(jìn)行指定的，如下所示：

--container-log-max-files=10 --container-log-max-size="100Mi" 

所以如果我們有進(jìn)行日志收集理論上來(lái)說(shuō)兩種方案都是兼容的，基本上不用改動(dòng)。

當(dāng)然除了這些差異之外，可能對(duì)于我們來(lái)說(shuō)鏡像構(gòu)建這個(gè)環(huán)節(jié)是我們最需要關(guān)注的了。切換到 containerd 之后，需要注意 docker.sock 不再可用，也就意味著不能再在容器里面執(zhí)行 docker 命令來(lái)構(gòu)建鏡像了。所以接下來(lái)需要和大家介紹幾種不需要使用 docker.sock 也可以構(gòu)建鏡像的方法。