在開發一款軟件時，為了延長軟件的生命周期，需要一款配套軟件來對發布的軟件進行監控。隨著容器技術的成熟，系統的定制和軟件的打包變得越來越容易，同時，對容器進行監控成為了容器使用者所必備的技能。下來，作者將帶領大家認識一下容器的資源管理工具Cgroups。

[[266064]]

說起容器監控，首先會想到通過Cadvisor, Docker stats等多種方式獲取容器的監控數據，并同時會想到容器通過Cgroups實現對容器中的資源進行限制。但是這些數據來自哪里，并且如何計算的?答案是Cgroups。最近在寫docker容器監控組件，在深入Cadvisor和Docker stats源碼發現數據都來源于Cgroups。了解之余，并對Cgroups做下筆記。

一、Cgroups介紹

Cgroups 是 control groups 的縮寫，是Linux內核提供的一種可以限制，記錄，隔離進程組(process groups)所使用物理資源的機制。最初有google工程師提出，后來被整合進Linux的內核。因此，Cgroups為容器實現虛擬化提供了基本保證，是構建Docker,LXC等一系列虛擬化管理工具的基石。

二、Cgroups作用

• 資源限制(Resource limiting): Cgroups可以對進程組使用的資源總額進行限制。如對特定的進程進行內存使用上限限制，當超出上限時，會觸發OOM。
• 優先級分配(Prioritization): 通過分配的CPU時間片數量及硬盤IO帶寬大小，實際上就相當于控制了進程運行的優先級。
• 資源統計(Accounting): Cgroups可以統計系統的資源使用量，如CPU使用時長、內存用量等等，這個功能非常適用于計費。
• 進程控制(ControlCgroups): 可以對進程組執行掛起、恢復等操作。

三、Cgroups 組成

Cgroups主要由task,cgroup,subsystem及hierarchy構成。下面分別介紹下各自的概念。

• task:：在Cgroups中，task就是系統的一個進程。
• cgroup: ：Cgroups中的資源控制都以cgroup為單位實現的。cgroup表示按照某種資源控制標準劃分而成的任務組，包含一個或多個子系統。一個任務可以加入某個cgroup，也可以從某個cgroup遷移到另外一個cgroup。
• subsystem:：Cgroups中的subsystem就是一個資源調度控制器(Resource Controller)。比如CPU子系統可以控制CPU時間分配，內存子系統可以限制cgroup內存使用量。
• hierarchy:：hierarchy由一系列cgroup以一個樹狀結構排列而成，每個hierarchy通過綁定對應的subsystem進行資源調度。hierarchy中的cgroup節點可以包含零或多個子節點，子節點繼承父節點的屬性。整個系統可以有多個hierarchy。

組件之間的關系：

Subsystems, Hierarchies,Control Group和Tasks之間有許多的規則，下面介紹下:

(1) 同一個hierarchy能夠附加一個或多個subsystem。

如下圖，將cpu和memory subsystems(或者任意多個subsystems)附加到同一個hierarchy。

(2) 一個subsystem只能附加到一個hierarchy上。

如下圖，cpu subsystem已經附加到了hierarchy A，并且memory subsystem已經附加到了hierarchy B。因此cpusubsystem不能在附加到hierarchy B。

(3) 系統每次新建一個hierarchy時，該系統上的所有task默認構成了這個新建的hierarchy的初始化cgroup，這個cgroup也稱為root cgroup。對于你創建的每個hierarchy，task只能存在于其中一個cgroup中，即一個task不能存在于同一個hierarchy的不同cgroup中，但是一個task可以存在在不同hierarchy中的多個cgroup中。如果操作時把一個task添加到同一個hierarchy中的另一個cgroup中，則會從第一個cgroup中移除。

如下圖，cpu和memory被附加到cpu_mem_cg的hierarchy。而net_cls被附加到net_cls hierarchy。并且httpd進程被同時加到了cpu_mem_cg hierarchy的cg1 cgroup中和net hierarchy的cg3 cgroup中。并通過兩個hierarchy的subsystem分別對httpd進程進行cpu,memory及網絡帶寬的限制。

(4) 系統中的任何一個task(Linux中的進程)fork自己創建一個子task(子進程)時，子task會自動的繼承父task cgroup的關系，在同一個cgroup中，但是子task可以根據需要移到其它不同的cgroup中。父子task之間是相互獨立不依賴的。

如下圖，httpd進程在cpu_and_mem hierarchy的/cg1 cgroup中并把PID 4537寫到該cgroup的tasks中。之后httpd(PID=4537)進程fork一個子進程httpd(PID=4840)與其父進程在同一個hierarchy的統一個cgroup中，但是由于父task和子task之間的關系獨立不依賴的，所以子task可以移到其它的cgroup中。

四、Cgroups使用

我們直接使用shell 命令直接操作hierarchy并設置cgroup參數。在centos6上也可以直接使用libcgroup提供的工具可簡化對cgroup的使用。

(1) Create a Hierarchy

使用shell命令創建hierarchy并附加subsystems到該hierarchy上。 作為root為hierarchy創建一個mount point。并且在mount point中包含cgrou的名字。

例如：

接下來使用mount命令去掛載hierarchy并附加一個或多個subsystem到該hierarchy上。

例如:

如果想在已有的hierarchy上attch或detach subsystem,可以使用remount操作，例如我們想detach掉memory subsystem。

(2) Unmounting a Hierarchy

可以直接用umount命令來unmount一個已有的Hierarchy:

例如:

(3) Creating Control Groups

直接使用shell命令mkdir創建一個子cgroup:

例如:

(4) Setting Control Cgroup Parameters

在group1中使用echo命令插入0-1到cpuset.cpus，來限制該cgroup中的tasks只能跑在0和1的cpu core上。如下：

(5) Moving a Process to a Control Group

只要將想要限制的進程PID，追加到想要的cgroup的tasks文件中就可以了。例如：將PID=1701的進程放到“/cgroup/cpu_and_mem/group1/”的cgroup中。

五、Subsystem 介紹

• blkio: blkio 子系統控制并監控cgroup中的task對塊設備的I/O的訪問。如:限制訪問及帶寬等。
• cpu: 主要限制進程的cpu使用率。
• cpuacct: 可以統計cgroup中進程的cpu使用報告。
• cpuset: 可以為cgroup中的進程分配獨立的cpu和內存節點。
• memory: 自動生成cgroup中task使用的內存資源報告，并對該cgroup的task進行內存使用限制。
• devices: 可以控制進程能否訪問某些設備。
• net_cls: 使用等級標識符(clssid)標記網絡數據包，可允許Linux流量控制程序(tc)識別從具體cgroup中生成的數據包。
• freezer: 可以掛起或回復cgroup中的進程。
• ns: 可以使不同cgroup中的進程使用不同的namespace。

六、容器使用Cgroups進行資源限制

無論是使用docker run方式直接創建容器，還是通過各類容器編排工具(如:Kubernetes)創建容器，對于容器的限制本質都是通過Cgroups。我們分別使用這兩種方式來創建容器并觀察cgroups:

測試環境：

1. 使用docker run方式創建容器

(1) 限制CPU share，創建兩個容器，則會在運行該容器宿主的/sys/fs/cgroup/cpu/docker/ 下分別創建兩個子cgroup,格式如下。

(2) 創建一個容器，并設置--cpu-shares參數為:1024*10。

查看該容器cgroup的cpu.shares文件內容如下。

(3) 創建一個容器，并設置--cpu-shares參數為: 1024*14。

查看該容器cgroup的cpu.shares文件內容如下。

(4) 兩個容器使用cpu的stats,一個容器分到14核的相對cpu計算時間，另一個容器分到10核的相對cpu計算時間:

2. 限制容器內存使用量

(1) 創建一個容器，限制容器能使用的內存上限為1024M。

(2) 查看容器memory的stats，內存使用率100%。

(3) 當容器使用的內存量超過1024M，則容器會被kill -9掉。

3. 使用Kubenetes容器編排工具創建容器

使用kubernetes編排工具創建的容器，則與容器關聯的cgroup均在運行該容器宿主機的/sys/fs/cgroup/cpu/kubepods/下,具體的格式如下所示:

使用Pod創建一個容器，對應的yaml文件內容如下:

在運行該容器的宿主機上查看該容器的cgroup信息，會觀察到cpu.shares為1核，memory.limit_in_bytes為2G。

相關文章：

• https://access.redhat.com/documentation/en-us/red_hat_enterprise_linux/6/html/resource_management_guide/ch01
• https://www.kernel.org/doc/Documentation/cgroup-v1/cgroups.txt
• http://www.infoq.com/cn/articles/docker-kernel-knowledge-cgroups-resource-isolation

【本文是51CTO專欄機構360技術的原創文章，微信公眾號“360技術（ id: qihoo_tech）”】

戳這里，看該作者更多好文