ceph在centos7.2上的安装和基本配置

###ceph安装篇

一、环境

1、主机分配

osd：2台，各6块硬盘，其中2块做raid1安装系统，其他4块为数据盘

mon：1台，后期扩展为3台

admin：1台

client：1台-N台

2、操作系统及配置

OS：CentOS Linux release 7.2.1511 

selinux: disable

firewalld:disable

二、安装

1、安装准备

#添加集群主机列表到所有主机的hosts文件

192.168.1.241 osd1

192.168.1.242 osd2

192.168.1.243 mon1

192.168.1.244   admin

192.168.1.245 client

#集群所有主机名的修改

修改 /etc/hostname 文件 后 reboot 或者

hostnamectl set-hostname admin  #心主机名称为 admin

#添加安装和管理用户所有集群主机

useradd ceph-deploy  #安装用户可以自定义

echo mobnote | passwd ceph-deploy --stdin   # 修改用户密码

#增加sudo权限

cat << EOF >/etc/sudoers.d/ceph-deploy

ceph-deploy ALL = (root) NOPASSWD:ALL

Defaults:ceph-deploy |requiretty

EOF

#切换用户

su - ceph-deploy

#增加ssh公钥登录其他集群主机

ssh-keygen  -b 4096 #生成公钥和密钥对，注意要输入密码

##以后每次通过admin主机操作集群时，
##使用ssh-agent bash
##和ssh-add 输入密码后，即可登录其他集群机器

#上述生成的公钥拷贝到其他主机

for node in "admin osd1 osd2 mon1" ;do ssh-copy-id $node ;done

# 更新系统

sudo yum update -y

sudo reboot

2、集群软件安装

#admin 节点安装

#安装ceph软件仓库及相关软件

sudo yum install epel-release -y

sudo yum -y install --enablerepo=extras centos-release-ceph

#安装ceph-deploy软件包

sudo yum install ceph-deploy -y

#安装mon节点

ceph-deploy install --mon mon1

#安装osd节点

ceph-deploy install --osd osd1 osd2

3、集群安装

#生成集群配置文件

ceph-deploy new mon1

#生成3个文件

ceph.conf     #集群配置文件

ceph.log     #日志文件

ceph.mon.keyring #keyring文件，集群验证用

#修改集群配置文件

cat << EOF >> ceph.conf

#osd_journal_size = 10000       #注释osd日志大小

osd_pool_default_size = 2   #osd修改复制份数为2

osd_pool_default_min_size = 1   #osd最小复制数量为1

osd_crush_chooseleaf_type = 1 

osd_crush_update_on_start = true

max_open_files = 131072

osd pool default pg num = 128

osd pool default pgp num = 128

mon_pg_warn_max_per_osd = 0

EOF

#集群初始化

ceph-deploy mon create-initial

# 配置集群的命令行接口

ceph-deploy install --cli  admin

ceph-deploy admin  admin

4、osd设备安装

#清理osd上磁盘

ceph-deploy disk zap osd1:sdb osd1:sdc osd1:sdd osd1:sde  osd2:sdb osd2:sdc osd2:sdd osd2:sde

#准备osd

ceph-deploy osd prepare osd1:sdb osd1:sdc osd1:sdd osd1:sde  osd2:sdb osd2:sdc osd2:sdd osd2:sde

#激活osd

ceph-deploy osd activate osd1:sdb1 osd1:sdc1 osd1:sdd1 osd1:sde1  osd2:sdb1 osd2:sdc1 osd2:sdd1 osd2:sde1

5、检查集群情况

sudo ceph health #集群健康状态

sudo ceph -s #

sudo ceph status #集群状态

sudo ceph report   # 详细报告

三、安装遇到问题及解决

1、错误1

[ceph][DEBUG ] Delta RPMs disabled because /usr/bin/applydeltarpm not installed.

[ceph][WARNIN] [Errno -1] 软件包与预期下载的不符。建议：运行 yum --enablerepo=centos-ceph-hammer clean metadata

[ceph][WARNIN] 正在尝试其它镜像。

解决：因为之前执行的yum update 之后没有reboot，reboot后再次执行就OK了。

2、错误2

/etc/init.d/ceph: line 15: /lib/lsb/init-functions: No such file or directory 错误

解决：

yum provides /lib/lsb/init-functions

yum install -y redhat-lsb-core-4.1-27.el7.centos.1.x86_64

3、问题3

file /etc/yum.repos.d/ceph.repo from install of ceph-release-1-1.el7.noarch conflicts with file from package ceph-release-1-1.el7.noarch

解决：

yum remove ceph-release-1-1.el7.noarch

4、问题4

[ceph][DEBUG ] Delta RPMs disabled because /usr/bin/applydeltarpm not installed.

解决：

yum provides /usr/bin/applydeltarpm

yum info deltarpm-3.6-3.el7.x86_64

yum install deltarpm-3.6-3.el7.x86_64

5、问题5 

本次集群的系统安装是采用cobbler自动安装的，原先的主机的raid信息没有清除，由原先的raid5一个vd，修改为3个vd就出现下面错误：

kickstarts 安装过程中出现  『Starting automated install …………………』

之后安装无法继续，一直持续 ……………..

解决：

停止cobbler安装，重启主机，进入原系统用fdisk 删除 分区表信息，reboot再装即可

#出现的该问题之前的步骤，进raid设置，将原先的raid5的一个虚拟磁盘分割为三个