什么是 cgroup

Cgroup 是一個(gè) Linux 內(nèi)核特性，對(duì)一組進(jìn)程的資源使用（CPU、內(nèi)存、磁盤(pán) I/O 和網(wǎng)絡(luò)等）進(jìn)行限制、審計(jì)和隔離。

cgroups(Control Groups) 是 linux 內(nèi)核提供的一種機(jī)制，這種機(jī)制可以根據(jù)需求把一系列系統(tǒng)任務(wù)及其子任務(wù)整合 (或分隔) 到按資源劃分等級(jí)的不同組內(nèi)，從而為系統(tǒng)資源管理提供一個(gè)統(tǒng)一的框架。簡(jiǎn)單說(shuō)，cgroups 可以限制、記錄任務(wù)組所使用的物理資源。本質(zhì)上來(lái)說(shuō)，cgroups 是內(nèi)核附加在程序上的一系列鉤子 (hook)，通過(guò)程序運(yùn)行時(shí)對(duì)資源的調(diào)度觸發(fā)相應(yīng)的鉤子以達(dá)到資源追蹤和限制的目的。

什么是 cgroupfs

docker 默認(rèn)的 Cgroup Driver 是 cgroupfs

$ docker info | grep cgroup
Cgroup Driver: cgroupfs

Cgroup 提供了一個(gè)原生接口并通過(guò) cgroupfs 提供（從這句話我們可以知道 cgroupfs 就是 Cgroup 的一個(gè)接口的封裝）。類似于 procfs 和 sysfs，是一種虛擬文件系統(tǒng)。并且 cgroupfs 是可以掛載的，默認(rèn)情況下掛載在 /sys/fs/cgroup 目錄。

什么是 Systemd？

Systemd 也是對(duì)于 Cgroup 接口的一個(gè)封裝。systemd 以 PID1 的形式在系統(tǒng)啟動(dòng)的時(shí)候運(yùn)行，并提供了一套系統(tǒng)管理守護(hù)程序、庫(kù)和實(shí)用程序，用來(lái)控制、管理 Linux 計(jì)算機(jī)操作系統(tǒng)資源。

為什么使用 systemd 而不是 croupfs

這里引用以下 kubernetes 官方的原話[1]:

   ?

當(dāng)某個(gè) Linux 系統(tǒng)發(fā)行版使用 systemd[2] 作為其初始化系統(tǒng)時(shí)，初始化進(jìn)程會(huì)生成并使用一個(gè) root 控制組（cgroup），并充當(dāng) cgroup 管理器。Systemd 與 cgroup 集成緊密，并將為每個(gè) systemd 單元分配一個(gè) cgroup。你也可以配置容器運(yùn)行時(shí)和 kubelet 使用 cgroupfs。連同 systemd 一起使用 cgroupfs 意味著將有兩個(gè)不同的 cgroup 管理器。

單個(gè) cgroup 管理器將簡(jiǎn)化分配資源的視圖，并且默認(rèn)情況下將對(duì)可用資源和使用 中的資源具有更一致的視圖。 當(dāng)有兩個(gè)管理器共存于一個(gè)系統(tǒng)中時(shí)，最終將對(duì)這些資源產(chǎn)生兩種視圖。在此領(lǐng)域人們已經(jīng)報(bào)告過(guò)一些案例，某些節(jié)點(diǎn)配置讓 kubelet 和  docker 使用 cgroupfs，而節(jié)點(diǎn)上運(yùn)行的其余進(jìn)程則使用 systemd; 這類節(jié)點(diǎn)在資源壓力下 會(huì)變得不穩(wěn)定。

ubuntu 系統(tǒng)，debian 系統(tǒng)，centos7 系統(tǒng)，都是使用 systemd 初始化系統(tǒng)的。systemd 這邊已經(jīng)有一套 cgroup 管理器了，如果容器運(yùn)行時(shí)和 kubelet 使用 cgroupfs，此時(shí)就會(huì)存在 cgroups 和 systemd 兩種 cgroup 管理器。也就意味著操作系統(tǒng)里面存在兩種資源分配的視圖，當(dāng)操作系統(tǒng)上存在 CPU，內(nèi)存等等資源不足的時(shí)候，操作系統(tǒng)上的進(jìn)程會(huì)變得不穩(wěn)定。

我們可以簡(jiǎn)單得理解為一山不要容二虎，一個(gè)國(guó)家只能有一個(gè)國(guó)王。

注意事項(xiàng)： 不要嘗試修改集群里面某個(gè)節(jié)點(diǎn)的 cgroup 驅(qū)動(dòng)，如果有需要，最好移除該節(jié)點(diǎn)重新加入。

如何修改 docker 默認(rèn)的 cgroup 驅(qū)動(dòng)

增加 "exec-opts": ["native.cgroupdriver=systemd"] 配置 , 重啟 docker 即可

$ cat /etc/docker/daemon.json  
{
 "exec-opts": ["native.cgroupdriver=systemd"],
 "registry-mirrors": [
   "https://docker.mirrors.ustc.edu.cn",
   "http://hub-mirror.c.163.com"
 ],
 "max-concurrent-downloads": 10,
 "log-driver": "json-file",
 "log-level": "warn",
 "log-opts": {
   "max-size": "10m",
   "max-file": "3"
   },
 "data-root": "/var/lib/docker"
}

kubelet 配置 cgroup 驅(qū)動(dòng)

參考官方[3]

   ?

   說(shuō)明： 在版本 1.22 中，如果用戶沒(méi)有在 KubeletConfiguration 中設(shè)置 cgroupDriver 字段， kubeadm init 會(huì)將它設(shè)置為默認(rèn)值 systemd。

# kubeadm-config.yaml
kind: ClusterConfiguration
apiVersion: kubeadm.k8s.io/v1beta3
kubernetesVersion: v1.21.0
---
kind: KubeletConfiguration
apiVersion: kubelet.config.k8s.io/v1beta1
cgroupDriver: systemd

然后使用 kubeadm 初始化

$ kubeadm init --config kubeadm-config.yaml