叶绍琛yeshaochen.blog.chinaunix.net

RHCA|OCM|CCIE RedHat大中华地区前50位RHCA系统架构师

  • 博客访问: 417899
  • 博文数量: 31
  • 博客积分: 921
  • 博客等级: 中士
  • 技术积分: 2217
  • 用 户 组: 普通用户
  • 注册时间: 2012-03-06 10:45
  • 认证徽章:
个人简介

RedHat大中华区前50位RHCA认证系统架构师,Oracle OCM认证数据库大师,曾任网易游戏私有云项目负责人,拼客学院PingingLab联合创始人、荣誉院长,现为寻游旅行(深圳)股份有限公司创始人CEO。关注技术创新,关注云计算背景下的技术变革。 欢迎关注我的微信公众账号,微信号:rhcaysc

文章分类
文章存档

2014年(3)

2012年(28)

微信关注

IT168企业级官微



微信号:IT168qiye



系统架构师大会



微信号:SACC2013

订阅
热词专题

分类: 云计算


1. 概况


1.1.  测试目标

1.1.1. 测试在RBD方案和libvirt方案下使用CEPH的性能表现情况

1.1.2. 比较两种方案,哪种方案更加适合现阶段的使用

1.1.3. 测试多种运维场景下的性能表现,对后期线上运维工作做预期


1.2. 测试内容

1.2.1. 在基准测试范畴,osd数量正常情况,分别通过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.2.2. 在基准测试范畴,osd异常情况下,分别通过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.2.3. 在基准测试范畴,在调整crushmap的情况下,分别通过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.2.4. 在基准测试范畴,monitor异常的情况下,分别通过RBD方案和libvirt方案测试连续读写和随机读写性能。

1.2.5. 增加OSD的情况下,分别通过RBD方案和libvirt方案测试连续读写和随机读写性能。


1.3. 测试要求

1.3.1 保证测试数据真实性、完整性与准确性

1.3.1 保证测试环境一致性,需标明可能导致性能差异的各种因素

1.3.3 测试人员必须提供原始数据备查

1.3.4 测试人员必须遵守保密条款


2. 测试工具

1) fio-2.0.9


3. 测试方法与过程

3.1 测试的指标维度包括连续读写和随机读写

3.2 测试的场景

 基准情况(6个OSD全部正常)

 OSD异常情况

 crushmap刷新remap过程

 monitor异常

 增加OSD

3.3 测试的方案

 Libvirt方案

 RBD方案


4. 测试数据

4.1 基准情况数据

wKiom1kW4ZrD-senAAA2XKDT6Qw935.png

wKioL1kW4ZrDfwG_AAA1S6w8LhI571.png

wKiom1kW4ZqRHE6BAABBXXv6_Us479.png

基准情况,OSD正常情况下,RBD模式和libvirt模式对比

-> 如果不开启kvm缓存的情况下,libvirt方案的性能和RBD方案的性能基本相当。

-> 在开启kvm缓存的情况下,libvirt方案的性能只是RBD方案的性能的20%左右。(现在怀疑libvirt方案下,kvm缓存开启没生效)

-> RBD方案下,kvm缓存开启跟关闭情况比较,读性能提升4倍(是后者的5倍),写性能提升3倍(是后者的四倍)

-> 两种方案读性能是写性能的四倍。

-> libvirt方案下,kvm缓存和ceph缓存感觉没生效,数据都没什么变化。


4.2 OSD异常情况

wKiom1kW4sCg_UX3AAA4HzrDGBA873.png

wKioL1kW4sDClYpqAAA32OpKB9M870.png

wKiom1kW4sGTnwRZAAA8y5dvDBA031.png

OSD异常情况下对比分析

-> osd被标记为down,但是还没被标记为out时,libvirt方案的性能为rbd方案的性能还稍微好点,同时两者跟正常情况的性能相比基本相当。

-> 当osd被标记为out,集群remap过程中,无论是RBD方案还是libvirt方案,性能都比之前下降很多。


4.3 Remap过程性能分析

wKiom1kW4zfxs8m0AAAwOgx1LQw790.png

wKioL1kW4zjSagx8AAAwz42f884192.png

Remap过程性能分析

-> 调整crushmap带来集群remap时,集群的读写性能都出现严重下降,只为之前集群的读写性能的10%

-> 调crushmap时,libvirt方案的读写性能比RBD方案表现要好些。


4.4 Monitor异常性能分析

wKioL1kW46bzDKruAABD-rYvfQQ941.png

wKiom1kW46agF7utAAAiJNxAZFM726.png

Moniter异常性能分析,对比分析:

-> 对集群的读写性能没影响


4.5 OSD增加

wKiom1kW5CPQenYoAABiE_TlpiE813.png

wKioL1kW5COAA9ZcAAAyHGEAL2E967.png

在增加OSD的情况下对比分析:

-> 随着OSD的增加,集群相应的读写性能也增加。osd从6个增加到8个,读写性能10%,OSD从6个增加到10个,读写性能分别增加20%左右。

-> 读写性能增加的比例一般低于增加OSD的比例。


5. 测试分析结果

5.1 推荐RBD方案。

5.2 基准测试分析

 在KVM缓存关闭的情况下,从整体测试数据来看,libvirt方案和RBD方案的性能基本相当。

 在KVM缓存开启的情况下,libvirt方案的性能只是RDB方案的性能的20%左右。(现在怀疑livbirt方案下,kvm缓存开启没有成功,因为开启缓存和没开启缓存,libvirt的测试结果没什么变化)。

 RBD方案下,kvm缓存开启跟关闭情况比较,读性能提升4倍(是后者的5倍),写性能提升3倍(是后者的四倍)。

 两种方案读性能基本是写性能的四倍。

5.3 monitor异常对读写性能几乎没影响。

5.4 集群remap过程,读写性能下降较多,livbirt方案下,读写性能不足之前的30%。RBD方案暂时没数据。


阅读(10440) | 评论(4) | 转发(3) |
4

上一篇:Kvm虚拟化性能测试与性能优化实践

下一篇:没有了

给主人留下些什么吧!~~

叶绍琛2014-08-25 10:06:45

旅行361:文章条理清晰,学习了

多谢支持!

回复 | 举报

旅行3612014-08-25 10:03:08

文章条理清晰,学习了

叶绍琛2014-08-21 11:36:47

多谢支持!

ctohome2014-08-21 11:19:46

赞一个

评论热议
请登录后评论。

登录 注册