Chinaunix首页 | 论坛 | 博客

Xiajc - 工作笔记xjc2694.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

xjc2694

  • 博客访问： 3055998
  • 博文数量： 535
  • 博客积分： 15788
  • 博客等级： 上将
  • 技术积分： 6507
  • 用 户 组： 普通用户
  • 注册时间： 2007-03-07 09:11
文章分类

全部博文（535）

文章存档

2016年（1）

2015年（1）

2014年（10）

2013年（26）

2012年（43）

2011年（86）

2010年（76）

2009年（136）

2008年（97）

2007年（59）

我的朋友
最近访客
推荐博文
相关博文
Setting KVM processor affinities

分类： 虚拟化

2011-07-26 10:04:46

参考：

默认情况下，libvirt为guests提供默认的策略。对于大多数的虚拟机管理程序，默认策略是guests运行在任何可用的处理器core或cpu。对于NUMA（Non-Uniform Memory Access，非一致性内存访问），有一个明确的使用cpu的策略会更好。
关于NUMA：
NUMA模式是一种分布式存储器访问方式，处理器可以同时访问不同的存储器地址（内存），大幅度提高并行性。 NUMA模式下，处理器被划分成多个"节点"（node）， 每个节点被分配有的本地存储器空间。 所有节点中的处理器都可以访问全部的系统物理存储器，但是访问本节点内的存储器所需要的时间，比访问某些远程节点内的存储器所花的时间要少得多。
一个guest应该使用一个固定的处理器内核，这样，guest所使用的内存也固定在所运行的node上。这样可以避免跨节点的内存拷贝造成性能下降。

1、确定CPU和NUMA拓扑
virsh nodeinfo 命令提供有关host上sockets，cores和hyperthreads的信息。
  2. # virsh nodeinfo
  3. CPU model:           x86_64
  4. CPU(s):              8
  5. CPU frequency:       2394 MHz
  6. CPU socket(s):       1
  7. Core(s) per socket:  4
  8. Thread(s) per core:  1
  9. NUMA cell(s):        2
  10. Memory size:         8242076 kB 
This system has eight CPUs in one socket.
上面的输出显示出系统是一个NUMA的架构。
使用 virsh capabilities 获取更多cpu的信息。
  1. [root@srv ~]# virsh capabilities
  2. <capabilities>

  4.   <host>
  5.     <uuid>b7fe937d-3644-ec7c-feff-d196936a35b1</uuid>
  6.     <cpu>
  7.       <arch>x86_64</arch>
  8.       <model>phenom</model>
  9.       <topology sockets='1' cores='4' threads='1'/>
  10.       <feature name='wdt'/>
  11.       <feature name='skinit'/>
  12.       <feature name='osvw'/>
  13.       <feature name='3dnowprefetch'/>
  14.       <feature name='misalignsse'/>
  15.       <feature name='sse4a'/>
  16.       <feature name='abm'/>
  17.       <feature name='cr8legacy'/>
  18.       <feature name='extapic'/>
  19.       <feature name='cmp_legacy'/>
  20.       <feature name='lahf_lm'/>
  21.       <feature name='rdtscp'/>
  22.       <feature name='pdpe1gb'/>
  23.       <feature name='popcnt'/>
  24.       <feature name='cx16'/>
  25.       <feature name='ht'/>
  26.       <feature name='vme'/>
  27.     </cpu>
  28.     <migration_features>
  29.       <live/>
  30.       <uri_transports>
  31.         <uri_transport>tcp</uri_transport>
  32.       </uri_transports>
  33.     </migration_features>
  34.     <topology>
  35.       <cells num='2'>
  36.         <cell id='0'>
  37.           <cpus num='4'>
  38.             <cpu id='0'/>
  39.             <cpu id='2'/>
  40.             <cpu id='4'/>
  41.             <cpu id='6'/>
  42.           </cpus>
  43.         </cell>
  44.         <cell id='1'>
  45.           <cpus num='4'>
  46.             <cpu id='1'/>
  47.             <cpu id='3'/>
  48.             <cpu id='5'/>
  49.             <cpu id='7'/>
  50.           </cpus>
  51.         </cell>
  52.       </cells>
  53.     </topology>
  54.     <secmodel>
  55.       <model>selinux</model>
  56.       <doi>0</doi>
  57.     </secmodel>
  58.   </host>

  60.  [ Additional XML removed ]

  62. </capabilities>
上面的输出显示有两个NUMA nodes(也叫做NUMA cells)，每个node包含4个逻辑cpu（4 processing cores）。对于一个分配4个cpu的guest，最佳的选择是为guest锁定cpu为0,2，4,6或1,3,5,7以避免访问非本地内存的情况。

2、确定使用哪个NUMA node来运行guest
将guest锁定在一个不能为guest提供足够内存的NUMA node上不能获得好处。使用virsh freecell显示所有NUMA nodes的空闲内存# virsh freecell
0: 2203620 kB 1: 3354784 kB
如果一个guest需要分配3GB的内存。guest应该运行在NUMA node1，node0只有2.2GB的空闲内存，不能为guset提供足够的内存。

3、将guset锁定在一个NUMA node或物理CPU集合。
通过virsh capabilities的输出确定使用哪个cell。
修改guest的xml文件：
4
或
4
注：libvirt 0.9.0后的写法
  1. <cputune>
  2.     <vcpupin vcpu="0" cpuset="1-4,^2"/>
  3.     <vcpupin vcpu="1" cpuset="0,1"/>
  4.     <vcpupin vcpu="2" cpuset="2,3"/>
  5.     <vcpupin vcpu="3" cpuset="0,4"/>
  6.     <shares>2048</shares>
  7.     <period>1000000</period>
  8.     <quota>-1</quota>
  9.   </cputune

4、使用virt-install自动锁定guset使用的cpu。
virt-insstall提供一个简单的方法，用于在创建guest时自动提供一个最合适的NUMA策略。
对于NUMA系统，使用--cpuset=auto参数和virt-install命令创建新的guest。

5、使用virsh vcpuinfo 和 virsh vcpupin调整运行中guest的CPU affinity
  1. [root@srv ~]# virsh vcpuinfo vm1
  2. VCPU: 0
  3. CPU: 4
  4. State: running
  5. CPU time: 10306.2s
  6. CPU Affinity: yyyyyyyy
  8. VCPU: 1
  9. CPU: 6
  10. State: running
  11. CPU time: 34546.2s
  12. CPU Affinity: yyyyyyyy
  14. VCPU: 2
  15. CPU: 2
  16. State: running
  17. CPU time: 13293.5s
  18. CPU Affinity: yyyyyyyy
  20. VCPU: 3
  21. CPU: 6
  22. State: running
  23. CPU time: 27101.6s
  24. CPU Affinity: yyyyyyyy
其中yyyyyyyy，每个y对已一个cpu core，上面的输出意为着，每个vcpu可以在8个物理cpu中的任意一个上面来运行，即不固定。

使用vcpupin来锁定vcpu运行在一个NUMA node上。
  1. [root@srv ~]# virsh vcpupin vm1 0 0
  3. [root@srv ~]# virsh vcpupin vm1 1 2
  5. [root@srv ~]# virsh vcpupin vm1 2 4
  7. [root@srv ~]# virsh vcpupin vm1 3 6
验证：
  1. [root@srv ~]# virsh vcpuinfo vm_openxlog
  2. VCPU: 0
  3. CPU: 0
  4. State: running
  5. CPU time: 10322.2s
  6. CPU Affinity: y-------
  8. VCPU: 1
  9. CPU: 2
  10. State: running
  11. CPU time: 34579.4s
  12. CPU Affinity: --y-----
  14. VCPU: 2
  15. CPU: 4
  16. State: running
  17. CPU time: 13302.2s
  18. CPU Affinity: ----y---
  20. VCPU: 3
  21. CPU: 6
  22. State: running
  23. CPU time: 27116.6s
  24. CPU Affinity: ------y-
另外，也可以将一个vcpu固定在2个或2个以上的cpu core上
  1.   [root@srv ~]#  virsh vcpupin vm1 0 0,2  

  3. [root@srv ~]#  virsh vcpupin vm1 1 2,4  

  5. [root@srv ~]#  virsh vcpupin vm1 2 4,6  

  7. [root@srv ~]#  virsh vcpupin vm1 3 6,0 
验证：
  1. [root@srv ~]# virsh vcpuinfo vm1
  2. VCPU: 0
  3. CPU: 2
  4. State: running
  5. CPU time: 10523.7s
  6. CPU Affinity: y-y-----
  8. VCPU: 1
  9. CPU: 4
  10. State: running
  11. CPU time: 35336.8s
  12. CPU Affinity: --y-y---
  14. VCPU: 2
  15. CPU: 6
  16. State: running
  17. CPU time: 13450.3s
  18. CPU Affinity: ----y-y-
  20. VCPU: 3
  21. CPU: 0
  22. State: running
  23. CPU time: 27370.5s
  24. CPU Affinity: y-----y-
阅读(3517) | 评论(0) | 转发(0) |
0

上一篇：hadoop集群配置

下一篇：关于selinux的审核日志

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6