Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1202825
  • 博文数量: 104
  • 博客积分: 0
  • 博客等级: 民兵
  • 技术积分: 4631
  • 用 户 组: 普通用户
  • 注册时间: 2013-09-11 10:57
个人简介

欢迎关注:https://zhangdd.com

文章分类

全部博文(104)

文章存档

2018年(9)

2016年(4)

2015年(23)

2014年(54)

2013年(14)

分类: 系统运维

2018-05-03 17:36:35

记录一下一些ceph优化的设置,部分内容来自网络,有些请根据自己需求相应修改

1、  Kernel pid max

echo 4194303 > /proc/sys/kernel/pid_max

2、  设置MTU,交换机端需要支持该功能,系统网卡设置才有效果

配置文件追加MTU=9000

3、  read_ahead, 通过数据预读并且记载到随机访问内存方式提高磁盘读操作

echo “8192” > /sys/block/sda/queue/read_ahead_kb

4、  swappiness, 主要控制系统对swap的使用

echo “vm.swappiness = 0″/etc/sysctl.conf ;  sysctl –p

5、  I/O Scheduler,SSD要用noop,SATA/SAS使用deadline

echo “deadline” >/sys/block/sd[x]/queue/scheduler

echo “noop” >/sys/block/sd[x]/queue/scheduler

6、  ceph.conf配置选项

点击(此处)折叠或打开

  1. [global]#全局设置
  2. fsid = xxxxxxxxxxxxxxx #集群标识ID
  3. mon host = 10.0.1.1,10.0.1.2,10.0.1.3 #monitor IP 地址
  4. auth cluster required = cephx #集群认证
  5. auth service required = cephx #服务认证
  6. auth client required = cephx #客户端认证
  7. osd pool default size = 3 #最小副本数 默认是3
  8. osd pool default min size = 1 #PG 处于 degraded 状态不影响其 IO 能力,min_size是一个PG能接受IO的最小副本数
  9. public network = 10.0.1.0/24 #公共网络(monitorIP段)
  10. cluster network = 10.0.2.0/24 #集群网络
  11. max open files = 131072 #默认0#如果设置了该选项,Ceph会设置系统的max open fds
  12. mon initial members = node1, node2, node3 #初始monitor (由创建monitor命令而定)
  13. ##############################################################
  14. [mon]
  15. mon data = /var/lib/ceph/mon/ceph-$id
  16. mon clock drift allowed = 1 #默认值0.05#monitor间的clock drift
  17. mon osd min down reporters = 13 #默认值1#向monitor报告down的最小OSD数
  18. mon osd down out interval = 600 #默认值300 #标记一个OSD状态为down和out之前ceph等待的秒数
  19. ##############################################################
  20. [osd]
  21. osd data = /var/lib/ceph/osd/ceph-$id
  22. osd journal size = 20000 #默认5120 #osd journal大小
  23. osd journal = /var/lib/ceph/osd/$cluster-$id/journal #osd journal 位置
  24. osd mkfs type = xfs #格式化系统类型
  25. osd max write size = 512 #默认值90 #OSD一次可写入的最大值(MB)
  26. osd client message size cap = 2147483648 #默认值100 #客户端允许在内存中的最大数据(bytes)
  27. osd deep scrub stride = 131072 #默认值524288 #在Deep Scrub时候允许读取的字节数(bytes)
  28. osd op threads = 16 #默认值2 #并发文件系统操作数
  29. osd disk threads = 4 #默认值1 #OSD密集型操作例如恢复和Scrubbing时的线程
  30. osd map cache size = 1024 #默认值500 #保留OSD Map的缓存(MB)
  31. osd map cache bl size = 128 #默认值50 #OSD进程在内存中的OSD Map缓存(MB)
  32. osd mount options xfs = "rw,noexec,nodev,noatime,nodiratime,nobarrier" #默认值rw,noatime,inode64 #Ceph OSD xfs Mount选项
  33. osd recovery op priority = 2 #默认值10 #恢复操作优先级,取值1-63,值越高占用资源越高
  34. osd recovery max active = 10 #默认值15 #同一时间内活跃的恢复请求数
  35. osd max backfills = 4 #默认值10 #一个OSD允许的最大backfills数
  36. osd min pg log entries = 30000 #默认值3000 #修建PGLog是保留的最大PGLog数
  37. osd max pg log entries = 100000 #默认值10000 #修建PGLog是保留的最大PGLog数
  38. osd mon heartbeat interval = 40 #默认值30 #OSD ping一个monitor的时间间隔(默认30s)
  39. ms dispatch throttle bytes = 1048576000 #默认值 104857600 #等待派遣的最大消息数
  40. objecter inflight ops = 819200 #默认值1024 #客户端流控,允许的最大未发送io请求数,超过阀值会堵塞应用io,为0表示不受限
  41. osd op log threshold = 50 #默认值5 #一次显示多少操作的log
  42. osd crush chooseleaf type = 0 #默认值为1 #CRUSH规则用到chooseleaf时的bucket的类型
  43. filestore xattr use omap = true #默认false#为XATTRS使用object map,EXT4文件系统时使用,XFS或者btrfs也可以使用
  44. filestore min sync interval = 10 #默认0.1#从日志到数据盘最小同步间隔(seconds)
  45. filestore max sync interval = 15 #默认5#从日志到数据盘最大同步间隔(seconds)
  46. filestore queue max ops = 25000 #默认500#数据盘最大接受的操作数
  47. filestore queue max bytes = 1048576000 #默认100 #数据盘一次操作最大字节数(bytes
  48. filestore queue committing max ops = 50000 #默认500 #数据盘能够commit的操作数
  49. filestore queue committing max bytes = 10485760000 #默认100 #数据盘能够commit的最大字节数(bytes)
  50. filestore split multiple = 8 #默认值2 #前一个子目录分裂成子目录中的文件的最大数量
  51. filestore merge threshold = 40 #默认值10 #前一个子类目录中的文件合并到父类的最小数量
  52. filestore fd cache size = 1024 #默认值128 #对象文件句柄缓存大小
  53. filestore op threads = 32 #默认值2 #并发文件系统操作数
  54. journal max write bytes = 1073714824 #默认值1048560 #journal一次性写入的最大字节数(bytes)
  55. journal max write entries = 10000 #默认值100 #journal一次性写入的最大记录数
  56. journal queue max ops = 50000 #默认值50 #journal一次性最大在队列中的操作数
  57. journal queue max bytes = 10485760000 #默认值33554432 #journal一次性最大在队列中的字节数(bytes)
  58. ##############################################################
  59. [client]
  60. rbd cache = true #默认值 true #RBD缓存
  61. rbd cache size = 335544320 #默认值33554432 #RBD缓存大小(bytes)
  62. rbd cache max dirty = 134217728 #默认值25165824 #缓存为write-back时允许的最大dirty字节数(bytes),如果为0,使用write-through
  63. rbd cache max dirty age = 30 #默认值1 #在被刷新到存储盘前dirty数据存在缓存的时间(seconds)
  64. rbd cache writethrough until flush = false #默认值true #该选项是为了兼容linux-2.6.32之前的virtio驱动,避免因为不发送flush请求,数据不回写
  65.               #设置该参数后,librbd会以writethrough的方式执行io,直到收到第一个flush请求,才切换为writeback方式。
  66. rbd cache max dirty object = 2 #默认值0 #最大的Object对象数,默认为0,表示通过rbd cache size计算得到,librbd默认以4MB为单位对磁盘Image进行逻辑切分
  67.       #每个chunk对象抽象为一个Object;librbd中以Object为单位来管理缓存,增大该值可以提升性能
  68. rbd cache target dirty = 235544320 #默认值16777216 #开始执行回写过程的脏数据大小,不能超过 rbd_cache_max_dirty

本文出自张佃栋de博客,转载时请注明出处及相应链接。

本文永久链接: https://zhangdd.com/231.html


阅读(4202) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~