在实际的虚拟化环境使用过程中，由于一台物理机中开通多个虚拟机，如果不对虚拟机做限制，会造成虚拟机之间相互争抢物理机资源。
Linux中对资源控制这块已经做了一些工作，本文就是讲解Linux 对CPU资源的控制。
CPU调度策略
Linux中，每个进程能够占用CPU多久的时间，以及什么时候能够占用CPU是和系统的调度策略密切相关的。
Linux系统中有多种调度策略，各种调度策略有其适用的场景。
这里对调度策略不做过多说明，支持的调度策略如下：
/*
* Scheduling policies
*/
#define SCHED_NORMAL 0
#define SCHED_FIFO 1
#define SCHED_RR 2
#define SCHED_BATCH 3
/* SCHED_ISO: reserved but not implemented yet */
#define SCHED_IDLE 5
/* Can be ORed in to make sure the process is reverted back to SCHED_NORMAL on fork */
#define SCHED_RESET_ON_FORK 0x40000000
不过在查看Linux内核说明文档时，还有如下一句话：
"Any time not allocated to a realtime group will be used to run normal priority
tasks (SCHED_OTHER). Any allocated run time not used will also be picked up by
SCHED_OTHER"
大致意思是如果没有使用分配的时间，使用的调度策略就是SCHED_OTHER，也就是还有一种默认策略是SCHED_OTHER。
Linux 系统也提供了修改调度策略的命令和系统调用接口 -- 命令chrt。
查看一个虚拟机进程pid：
#ps axjf | grep 00dd
1 8647 8646 8646 ? -1 Rl 107 6823:04 /usr/libexec/qemu-kvm -name instance-000000dd ... ...
通过chrt命令可以看到其使用的调度策略：
#chrt -p 8647
pid 8647's current scheduling policy: SCHED_OTHER
pid 8647's current scheduling priority: 0
可以将其修改成FIFO策略，优先级为10：
#chrt -p -f 10 8647
再次查看结果如下：
#chrt -p 8647
pid 8647's current scheduling policy: SCHED_FIFO
pid 8647's current scheduling priority: 10
说明：chrt的其他用法可以查看help。
进程的CPU资源控制
内核中提供全局资源控制，也提供有针对某个进程的局部资源控制方法cgroup。
全局资源控制
主要有两个参数决定：sched_rt_period_us 和 sched_rt_runtime_us。
通过sysctl接口可以查看：
#sysctl -n kernel.sched_rt_period_us --> 进程调度的单位CPU时间 1s
1000000
#sysctl -n kernel.sched_rt_runtime_us --> 进程在1s 内实际占用的cpu时间 0.95s
950000
默认设置说明进程在运行时并不是完全占用CPU的，每1秒中有0.05秒的时间可以给其它进程运行。
这样既不会对实时进程的响应时间造成太大的影响，也避免了实时进程卡住时导致整个系统无响应。
可以通过sysctl命令修改上述两个值，如：
#sysctl -w kernel.sched_rt_runtime_us=900000 设置为1s内进程实际占用的cpu时间为0.9s
局部资源控制
全局控制是针对所有进程的，局部控制是针对某个进程的，这里用到了linux的cgroup子系统。
如果想在 cgroup 中对 sched_rt_period_us 和 sched_rt_runtime_us 进行控制, 需要内核编译选项 CONFIG_RT_GROUP_SCHED=y
以centos6系统为例，如果安装了libcgroup安装包，那么系统中会有一个cgconfig服务，此服务启动后，会自动挂载cgroup各个组件。
内容如下：
cgroup /cgroup/cpuset cgroup rw,relatime,cpuset 0 0
cgroup /cgroup/cpu cgroup rw,relatime,cpu 0 0
cgroup /cgroup/cpuacct cgroup rw,relatime,cpuacct 0 0
cgroup /cgroup/memory cgroup rw,relatime,memory 0 0
cgroup /cgroup/devices cgroup rw,relatime,devices 0 0
cgroup /cgroup/freezer cgroup rw,relatime,freezer 0 0
cgroup /cgroup/net_cls cgroup rw,relatime,net_cls 0 0
cgroup /cgroup/blkio cgroup rw,relatime,blkio 0 0
这里只以/cgroup/cpu为例说明，此目录结构如下：
#/cgroup/cpu/
cgroup.event_control cpu.cfs_period_us cpu.rt_period_us cpu.shares release_agent
cgroup.procs cpu.cfs_quota_us cpu.rt_runtime_us cpu.stat notify_on_release tasks
可以看到包含了cpu.rt_period_us和cpu.rt_runtime_us，其内容分别为：
#cat /cgroup/cpu/cpu.rt_period_us
1000000
#cat /cgroup/cpu/cpu.rt_runtime_us
950000
通过配置上述参数，就可以对/cgroup/cpu/tasks中记录的进程做限制，当然在该目录下还可以创建新的子目录结构，只限制某些进程。
cpu利用率控制
控制进程的资源使用率可以通过/cgroup/cpu/cpu.shares（默认值1024）来实现。
比如：
1. 有两个虚拟机instance-000000dd和instance-000000df，两个虚拟机cpu配置一样，内部跑stress（测试工具）将cpu跑到100%；
2. 在/cgroup/cpu/目录下创建目录instance-000000dd和instance-000000df，并将各自的进程号输入到/cgroup/cpu/instance-000000d*/tasks中；
3. 设置各自目录下的cpu.shares值；
3. 使用top命令查看两个虚拟机进程占用的物理机cpu百分比
当两个虚拟机的cpu.shares值均是默认值1024时，可以看到两个虚拟机占用的物理cpu百分比一样。
但是如果将instance-000000dd/cpu.shares设置为1024，instance-000000df/cpu.shares设置为512,可以看到instance-000000df占用的cpu为instance-000000dd的一半。
上述两个虚拟机，如果虚拟机instance-000000df不忙的时候，可以看到虚拟机instance-000000dd可以尽情的使用物理机的cpu资源。这种限制比较灵活，但是也有其缺点，因为还是会有竞争出现。
如果配合kernel scheduler里的cfs bandwidth control，可以做到对cpu资源的硬限制，即不管别的虚拟机是否繁忙，被限制的虚拟机消耗的cpu最多只能到达其被限制的水位。
有兴趣的可以看看cfs bandwidth control的用法。
cpu绑定
上面的例子中，虽然能够控制每个组的CPU的总体占用率，但是不能控制某个组的进程固定在某个物理CPU上运行。
要想将进程绑定到某个固定的CPU上, 需要使用cgroup的另一个组件 -- cpuset 子系统。
比如：
1. 在/cgroup/cpuset/下创建目录instance-000000dd，并将虚拟机instance-000000dd的进程号输入到instance-000000dd/tasks
2. 修改instance-000000dd/cpuset.cpus的值
#echo 0 > /cgroup/cpuset/instance-000000dd/cpuset.cpus --> 将该虚拟机进程绑定到cpu0
#echo 0-7 > /cgroup/cpuset/instance-000000dd/cpuset.cpus --> 将该虚拟机进程绑定到cpu0-7
3. 使用top命令查看虚拟机进程在物理机的哪个cpu运行，可以看到只会在绑定的cpu上调度。
