Cgroup 资源配置方法

Docker通过Cgroup 来控制容器使用的资源配额，包括CPU、内存、磁盘三大方面。基本覆盖了常见的资源配额和使用量控制。Cgroup是Control Groups的缩写，是Linux内核提供的一种可以限制、记录、隔离进程组所使用的物理资源（如 CPU、内存、磁盘IO等等）的机制，被LXC、docker等很多项目用于实现进程资源控制。Cgroup本身是提供将进程进行分组化管理的功能和接口的基础结构，I/O或内存的分配控制等具体的资源。管理功能称为Cgroup子系统，有以下几大子系统实现： blkio : 设置限制每个块设置的输入输出控制。例如：磁盘，光盘以及USB等等。CPU：使用调度程序为Cgroup任务提供CPU的访问。 cpuacct： 产生Cgroup任务的CPU资源报告。cpuset ：如果是多核心的CPU，这个子系统会为Cgroup任务分配单独的CPU和内存。devices：允许或拒绝Cgroup任务对设备的访问。freezer： 暂停和恢复Cgroup任务。memory：设置每个Cgroup的内存限制以及产生内存资源报告。net_cls : 标记每个网络包以供Cgroup方便使用。ns: 命名空间子系统。perf_event ： 增加了对每个group 的监测跟踪的能力，可以监测属于某个特定的group的所有线程以及运行在特定CPU上的线程。

下面开始利用stress压力测试工具来测试CPU和内存使用状况：

(1) 使用stress工具测试CPU和内存

使用Dockerfile来创建一个基于centos的stress工具镜像

mkdir /opt/stress [root@master tls]# vim /opt/stress/Dockerfile FROM centos:7 MAINTAINER chen "chen@kgc.com" RUN yum install -y wget RUN wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo Run yum install -y stress cd /opt/stress docker build -t centos:stress

使用如下命令创建容器，命令中的–CPU-shares 参数值不能保证可以获得1个VCPU或者多少GHZ的CPU资源， 它仅是一个弹性的加权值。

docker run -itd --cpu-shares 100 centos:stress

说明：默认情况下，每个Docker容器的CPU份额都是1024.单独一个容器的份额是没有意义的。只有在同时运行多个容器时。 容器的CPU加权的效果。例如：两个容器Ａ和B的CPU份额分别为1000和500，在CPU进行时间片分配的时候，容器A比容器B多一个倍的机会获得CPU的时间片。但分配的结果取决于当时主机和其他容器的运行状态，实际上也无法保证容器A一定能获得CPU时间片，比如容器A的进程一直是空闲的，那么容器B是可以获得比容器A更多的CPU时间片的。极端情况下，例如主机上只运行了一个容器。即使它的CPU份额只有50，它也可以独占整个主机的CPU资源。Cgroups只在容器分配的资源紧缺时，即在需要对容器使用的资源进行限制时，才会生效。因此，无法单纯根据某个容器CPU份额来确定有多少CPU资源分配给它，运行的其他容器的CPU分配和容器中进程运行情况。设置容器使用CPU的优先级，比如启动了两个容器及运行查看CPU使用百分比。 docker run -itd --name cpu512 --cpu-shares 512 centos:stress stress -c 10 //容器产生10个子函数进程 docker exec -it f4953c0d7e76 bash //进入容器使用top查看CPU使用情况 //再开启一个容器做比较 docker run -itd --name cpu1024 --cpu-shares 1024 centos:stress stress -c 10 docker exec -it 5590c57d27b0 bash //进容器使用top对比两个容器的%CPU，比例是1:2

(2) CPU周期限制

Docker提供了–cpu-period 、 --cpu-quota两个参数控制容器可以分配到的CPU时间周期。–cpu-shares 不同的是，这种配置是指定一个绝对值，容器对CPU资源使用绝对不会超过配置的值。–cpu-quota是用来指定在这个周期内，最多可以有多少时间用来跑这个容器。与–cpu-shares 不同的是，这种配置时指定一个绝对值，容器对CPU资源的使用绝对不会超过配置的值。cpu-period 和cpu-quota 的单位为微秒（μs ）。cpu-period的最小值为1000微秒等于0.001秒，最大值1秒（10^6μs），默认值为0.1秒（100000μs）cpu-quota的值默认为-1，表示不做控制。cpu-period 和cpu-quota 参数一般联合使用。例如：容器进程需要每1秒使用单个CPU的0.2 秒时间，可以将CPU-period设置为1000000（即1秒），CPU-quota设置为2000000 （0.2 秒）。 当然，在多核情况下，如果允许容器进程完全占用两个CPU，则可以将CPU-period设置为1000000 （即0.1秒），CPU-quota 设置为2000000（0.2秒） docker run -itd --cpu-period 1000000 --cpu-quota 2000000 centos:stress docker exec -it 98d2aaa7989 bash 进入容器 cat /sys/fs/cgroup/cpu/cpu.cfs_period_us 100000 cat /sys/fs/cgroup/cpu/cpu.cfs_quota_us 200000

(3) cpu Core 控制

对多核CPU的服务器，Docker还可以控制容器运行使用哪些CPU内核，即使用–cpuset-cpus 参数。这对具有多CPU的服务器尤其有用，可以对需要高性能计算的容器进行性能最优的配置。 docker run -itd --name cpu1 --cpuset-cpus 0-1 centos:stress 执行以上命令需要宿主机为双核，表示创建的容器只能用0、1两个内核。最终生成的Cgroup的CPU内核配置如果： docker exec -it 679238hdi990 bash cat /sys/fs/cgroup/cpuset/cpuset.cpus 0-1 通过下面指令可以看到容器中进程与CPU内核的绑定关系，达到绑定CPU内核的目的。 docker exec 49dhf820kfrj29 taskset -c -p 1 //容器内部第一进程号PID为1被绑定到指定CPU运行

(4) CPU 配额控制参数的混合使用

通过cpuset-cpus 参数指定容器A使用CPU内核0，容器B只是用CPU内核1. 在主机上只有这两个容器使用对应CPU内核的情况，它们各自占用全部的内核资源，cpu-shares 没有明显效果。

cpuset-cpus、cpuset-mems 参数只在多核、多内存节点上的服务器上有效，并且必须与实际的物理配置匹配，否则也无法达到资源控制的目的。

在系统具有多个CPU内核的情况下，需要通过cpuset-cpus参数为设置容器CPU内核才能方便地进行测试。

//宿主机系统修改改为4核心CPU

docker run -itd --name cpu3 --cpuset-cpus 1 --cpu-shares 512 centos:stress stress -c 1 //分配CPU1为处理内核，512CPU内核份额资源，容器产生1个子函数进程

docker exec -it 80902uhrui bash //docker ps -a (查看容器id) exit top //记住按1查看每个核心的占用 magical_easley top - 03:55:05 up 49 min, 0 users, load average: 0.85, 0.33Tasks: 4 total, 2 running, 2 sleeping, 0 stopped, 0%Cpu0 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi %Cpu1 :100.0 us, 0.0 sy, 0.0 ni, 0.0 id, 0.0 wa, 0.0 hi %Cpu2 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi %Cpu3 : 0.0 us, 0.0 sy, 0.0 ni,100.0 id, 0.0 wa, 0.0 hi KiB Mem : 3861508 total, 2566920 free, 606468 used, 688KiB Swap: 8388604 total, 8388604 free, 0 used. 3014 PID USER PR NI VIRT RES SHR S %CPU %MEM 6 root 20 0 7312 96 0 R 100.0 0.0 1 root 20 0 7312 424 344 S 0.0 0.0 7 root 20 0 11828 1900 1496 S 0.0 0.0 21 root 20 0 56236 1940 1440 R 0.0 0.1

(5) 内存限制

与操作系统类似，容器可使用的内存包括两部分：物理内存和swap

Docker通过下面两组参数来控制容器内存的使用量。

-m 或 --memory： 设置内存的使用限额，例如100M、1024M。 –memory-swap：设置内存+swap的使用限额。 执行如下命令允许改容器最多使用200M的内存和300M的swap。

docker run -it -m 200M --memory-swap=300M centos:stress --vm 1 --vm-bytes 280M –vm1:启动1个内存工作线程。–vm-bytes 280M : 每个线程分配280M内存。默认情况下，容器可以使用主机上的所有空闲内存。 与CPU的Cgroup配置类似，Docker会自动为容器在目录/sys/fs/cgroup/memory/docker/<容器的完整长id> 中创建相应Cgroup配置文件如果让工作线程分配的内存超过300M，分配的内存超过限额，stress线程报错，容器退出。 docker run -it -m 200M --memory-swap=300M progrium/stress --vm 1 --vm-bytes 310M

(6) Block IO 的限制

默认情况下，所有容器能平等地读写磁盘，可以通过设置–blkio-weight 参数来改变 容器 block IO 的优先级。 –blkio-weight 与–cpu-shares 类似，设置的是相对权重值，默认值500.

docker run -it --name container_A --blkio-weight 600 centos:stress cat /sys/fs/cgroup/blkio/blkio.weight 600 docker run -it --name container_B --blkio-weight 300 centos:stress cat /sys/fs/cgroup/blkio/blkio.weight 300

(7) bps 和iops 的限制

bps是byte per second,每秒读写的数据量。iops 是io per second,每秒IO的次数。可通过以下参数控制容器的bps和iops：–device-read-bps,限制读某个设备的bps.–device-write-bps,限制写某个设备的bps.–device-read-iops,限制读某个设备的iops。–device-write-iops，限制写某个设备的iops。

下面的示例是限制容器写 /dev/sda 的速率为5MB/s

docker run -it --device-write-bps /dev/sda:5MB centos:stress dd if=/dev/zero of=test bs=1M count=1024 oflag=direct //可以按Ctrl+C中断查看 [root@a10fb9ad5389 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct ^C270+0 records in 270+0 records out 283115520 bytes (283 MB) copied, 54.0006 s, 5.2 MB/s

通过dd命令测试在容器中写磁盘的速度。因为容器的文件系统是在host /dev/sda 上的，在容器中写文件相当于host /dev/sda 进行写操作，另外，oflag=direct 指定用direct IO 方式写文件，这样–device-write-bps 才能生效。结果表明限速5MB/s 左右，作为对比测试，如果不限速。结果如下。

docker run -it centos:stress [root@master docker]# docker run -it centos:stress [root@b20df45a4b59 /]# dd if=/dev/zero of=test bs=1M count=1024 oflag=direct 1024+0 records in 1024+0 records out 1073741824 bytes (1.1 GB) copied, 1.32635 s, 810 MB/s