Chinaunix首页 | 论坛 | 博客
  • 博客访问: 1758701
  • 博文数量: 150
  • 博客积分: 660
  • 博客等级: 上士
  • 技术积分: 2480
  • 用 户 组: 普通用户
  • 注册时间: 2005-08-08 11:39
文章分类

全部博文(150)

文章存档

2019年(4)

2018年(36)

2017年(53)

2016年(7)

2015年(3)

2014年(3)

2013年(27)

2012年(2)

2011年(1)

2006年(1)

2005年(13)

分类: 服务器与存储

2016-04-05 18:21:15

###ceph安装篇


一、环境

1、主机分配

osd:2台,各6块硬盘,其中2块做raid1安装系统,其他4块为数据盘

mon:1台,后期扩展为3台

admin:1台

client:1台-N台


2、操作系统及配置


OSCentOS Linux release 7.2.1511 

selinux: disable

firewalld:disable


二、安装


1、安装准备


#添加集群主机列表到所有主机的hosts文件


192.168.1.241 osd1

192.168.1.242 osd2

192.168.1.243 mon1

192.168.1.244   admin

192.168.1.245 client

#集群所有主机名的修改

修改 /etc/hostname 文件 后 reboot 或者

hostnamectl set-hostname admin  #心主机名称为 admin

#添加安装和管理用户所有集群主机

useradd ceph-deploy  #安装用户可以自定义



echo mobnote | passwd ceph-deploy --stdin   # 修改用户密码

#增加sudo权限

cat << EOF >/etc/sudoers.d/ceph-deploy

ceph-deploy ALL = (root) NOPASSWD:ALL

Defaults:ceph-deploy |requiretty

EOF

#切换用户

su - ceph-deploy


#增加ssh公钥登录其他集群主机

ssh-keygen  -b 4096 #生成公钥和密钥对,注意要输入密码

##以后每次通过admin主机操作集群时,
##使用ssh-agent bash
##和ssh-add 输入密码后,即可登录其他集群机器

#上述生成的公钥拷贝到其他主机

for node in "admin osd1 osd2 mon1" ;do ssh-copy-id $node ;done



# 更新系统

sudo yum update -y

sudo reboot


2、集群软件安装

#admin 节点安装

#安装ceph软件仓库及相关软件

sudo yum install epel-release -y

sudo yum -y install --enablerepo=extras centos-release-ceph

#安装ceph-deploy软件包

sudo yum install ceph-deploy -y


#安装mon节点

ceph-deploy install --mon mon1

#安装osd节点

ceph-deploy install --osd osd1 osd2


3、集群安装

#生成集群配置文件

ceph-deploy new mon1

#生成3个文件

ceph.conf     #集群配置文件

ceph.log     #日志文件

ceph.mon.keyring #keyring文件,集群验证用


#修改集群配置文件


cat << EOF >> ceph.conf

#osd_journal_size = 10000       #注释osd日志大小

osd_pool_default_size = 2   #osd修改复制份数为2

osd_pool_default_min_size = 1   #osd最小复制数量为1

osd_crush_chooseleaf_type = 1 

osd_crush_update_on_start = true

max_open_files = 131072

osd pool default pg num = 128

osd pool default pgp num = 128

mon_pg_warn_max_per_osd = 0

EOF


#集群初始化

ceph-deploy mon create-initial


# 配置集群的命令行接口


ceph-deploy install --cli  admin


ceph-deploy admin  admin


4、osd设备安装


#清理osd上磁盘

ceph-deploy disk zap osd1:sdb osd1:sdc osd1:sdd osd1:sde  osd2:sdb osd2:sdc osd2:sdd osd2:sde

#准备osd

ceph-deploy osd prepare osd1:sdb osd1:sdc osd1:sdd osd1:sde  osd2:sdb osd2:sdc osd2:sdd osd2:sde


#激活osd

ceph-deploy osd activate osd1:sdb1 osd1:sdc1 osd1:sdd1 osd1:sde1  osd2:sdb1 osd2:sdc1 osd2:sdd1 osd2:sde1


5、检查集群情况

sudo ceph health #集群健康状态

sudo ceph -s #

sudo ceph status #集群状态

sudo ceph report   # 详细报告



三、安装遇到问题及解决

1、错误1

[ceph][DEBUG ] Delta RPMs disabled because /usr/bin/applydeltarpm not installed.

[ceph][WARNIN] [Errno -1] 软件包与预期下载的不符。建议:运行 yum --enablerepo=centos-ceph-hammer clean metadata

[ceph][WARNIN] 正在尝试其它镜像。


解决:因为之前执行的yum update 之后没有reboot,reboot后再次执行就OK了。

2、错误2

/etc/init.d/ceph: line 15: /lib/lsb/init-functions: No such file or directory 错误


解决:

yum provides /lib/lsb/init-functions

yum install -y redhat-lsb-core-4.1-27.el7.centos.1.x86_64


3、问题3

file /etc/yum.repos.d/ceph.repo from install of ceph-release-1-1.el7.noarch conflicts with file from package ceph-release-1-1.el7.noarch

解决:

yum remove ceph-release-1-1.el7.noarch


4、问题4


[ceph][DEBUG ] Delta RPMs disabled because /usr/bin/applydeltarpm not installed.

解决:

yum provides /usr/bin/applydeltarpm

yum info deltarpm-3.6-3.el7.x86_64

yum install deltarpm-3.6-3.el7.x86_64


5、问题5 

本次集群的系统安装是采用cobbler自动安装的,原先的主机的raid信息没有清除,由原先的raid5一个vd,修改为3个vd就出现下面错误:

kickstarts 安装过程中出现  『Starting automated install …………………』

之后安装无法继续,一直持续 ……………..

解决:

停止cobbler安装,重启主机,进入原系统用fdisk 删除 分区表信息,reboot再装即可


#出现的该问题之前的步骤,进raid设置,将原先的raid5的一个虚拟磁盘分割为三个



阅读(4150) | 评论(0) | 转发(1) |
给主人留下些什么吧!~~