获取某个Pool上pg在各个OSD上的分布

1 获取osdmap

		
		
		

			
			

				root@host1:~/bean# ceph osd getmap -o om 
			

			

				got osdmap epoch 142 
			

		

2 获取crushmap

		
		
		

			
			

				root@host1:~/bean# osdmaptool om --export-crush crush 
			

			

				osdmaptool: osdmap file 'om' 
			

			

				osdmaptool: exported crush map to crush 
			

		

或者可以使用如下命令：

 ceph osd getcrushmap -o cm

3 获取某个pool上pg的分布情况

		
		
		

			
			

				  
			

			

				root@host1:~/bean# osdmaptool om --import-crush cm --test-map-pgs --pool 2 
			

			

				osdmaptool: osdmap file 'om' 
			

			

				osdmaptool: imported 669 byte crush map from cm 
			

			

				pool 2 pg_num 1024 
			

			

				#osd	count	first	primary	c wt	wt 
			

			

				osd.0 224 138 138 0.00563049 1 
			

			

				osd.1 304 139 139 0.00563049 1 
			

			

				osd.2 302 137 137 0.00563049 1 
			

			

				osd.3 223 121 121 0.00563049 1 
			

			

				osd.4 315 131 131 0.00563049 1 
			

			

				osd.5 317 140 140 0.00563049 1 
			

			

				osd.6 363 218 218 0.00947571 1 
			

			

				 in 7 
			

			

				 avg 292 stddev 47.5455 (0.162827x) (expected 15.8359 0.0542325x)) 
			

			

				 min osd.3 223 
			

			

				 max osd.6 363 
			

			

				size 0 0 
			

			

				size 1 0 
			

			

				size 2 1024 
			

			

				size 3 0 
			

			

				osdmaptool: writing epoch 144 to om 
			

		

可以看出，PG在各个OSD上的分布并不均匀，如果用户几乎所有的数据都在该pool上，假以时日，各个OSD必然不均衡。很多客户报会遇到，集群总体空间只用了60%多，可是已经有OSD使用率超过了85%甚至马上到了95%。

因此，对于这种绝大多数数据位于一个pool上的场景，在部署阶段，就将PG均匀地分布在各个OSD上是十分重要的，也是可能的。具体方法，下回分解。