建立高可用OpenStack云

建立高可用OpenStack云（一）：安装集群

Jim 发表于：12年08月23日 10:22 [编译] 服务器在线

• 分享：
• 
• 
• 

[导读]在这几篇文章里，我要来解释我如何为我的公司建立高可用性的OpenStack云。

欢迎来到我的首篇讨论OpenStack和High Availability(高可用性)的文章，在这几篇文章里，我要来解释我如何为我的公司建立高可用性的OpenStack云。

我们以两台机器开始我们的集群，两台都有一个公共和两个私有网卡。

·server1：5.x.x.x(公共ip)，10.0.0.1 (eth1), 10.1.0.1 (eth2)

·server2：5.x.x.x(公共ip)，10.0.0.2 (eth1), 10.1.0.2 (eth2)

两个节点的hosts文件(相关部分)

10.0.0.1 server1

10.0.0.2 server2

Pacemaker与Corosync的安装

首先我们需要安装Pacemaker和Corosync：

apt-get install pacemaker corosync

要对corosync进行设置，将如下内容复制粘贴到所有节点的/etc/corosync/corosync.conf内：

# Please read the corosync.conf.5 manual page

compatibility: whitetank

totem {

version: 2

secauth: off

threads: 0

interface {

ringnumber: 0

bindnetaddr: 10.8.0.0

mcastaddr: 226.94.1.1

mcastport: 5405

ttl: 1

}

}

logging {

fileline: off

to_stderr: no

to_logfile: yes

to_syslog: yes

logfile: /var/log/cluster/corosync.log

debug: off

timestamp: on

logger_subsys {

subsys: AMF

debug: off

}}

service {

# Load the Pacemaker Cluster Resource Manager

name: pacemaker

ver: 1

}

amf {

mode: disabled

}

quorum {

provider: corosync_votequorum

expected_votes: 2

}

原因不明，但你必须手动创建/var/log/cluster目录，避免产生parse error in config: parse error in config: .的错误：

mkdir /var/log/cluster

我们还需要在启动时候开启两个服务，因此使用：

update-rc.d pacemaker start 50 1 2 3 4 5 . stop 01 0 6 .

要添加Pacemaker并编辑/etc/default/corosync设置：

START=yes

要安装Corosync

注意：上面的设置在两台主机都要进行

检查Corosync配置

开启corosync服务：

service corosync start

检查是否一切正常：

#corosync-cfgtool -s

Printing ring status.

Local node ID 33556490

RING ID 0

id = 10.8.0.2

status = ring 0 active with no faults

还要检查集群节点和人数：

corosync-quorumtool -l

Nodeid Votes Name

16779274 1 server1

33556490 1 server2

检查Pacemaker配置

在确认Corosync工作正常后，让我们来配置Pacemaker，首先，开启服务：

service pacemaker start

现在检查它是否识别出我们的集群：

crm_mon -1

============

Last updated: Mon Jul 16 15:01:57 2012

Last change: Mon Jul 16 14:52:34 2012 via cibadmin on server1

Stack: openais

Current DC: server1 - partition with quorum

Version: 1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c

2 Nodes configured, 2 expected votes

2 Resources configured.

============

Online: [ server1 server2 ]

因为这是两个主机的安装，你还需要禁用人数，由于split brain，因此要禁用人数检查：

crm configure property no-quorum-policy=ignore

在这之后还可以禁用STONITH，如果不需要的话：

crm configure property stonith-enabled=false

现在我们就安装完corosync和pacemaker了，下一步就是安装MySQL并让Pacemaker使它高可用度。

建立高可用OpenStack云（二）：安装Mysql

Jim 发表于：12年08月24日 09:55 [编译] 服务器在线

• 分享：
• 
• 
• 

[导读]Openstack的核心就是MySQL数据库，几乎每个组件都是用MySQL获取/设置信息，让我们来看看如何建立一个完全高度可用的MySQL终端。

本文是《构建高可用OpenStack云》的第二篇。【 】Openstack的核心就是MySQL数据库，几乎每个组件都是用MySQL获取/设置信息，让我们来看看如何建立一个完全高度可用的MySQL终端。

在hosts文件/etc/hosts中，加入这行：

10.0.1.1 mysqlmaster

首先我们需要为mysql下载资源代理：

cd /usr/lib/ocf/resource.d/

mkdir percona

cd percona

wget -q

chmod u+x mysql

这样一来，当我们从从属机到主机升级MySQL服务器是，我们还要将“mysqlmaster”的IP绑定到那个节点上，当失效服务器出现时，它将以slave模式启动MySQL。因为，让我们来建立我们的虚拟IP：

crm configure primitive mysqlmasterIP ocf:heartbeat:IPaddr2 params ip=10.0.1.1 cidr_netmask=16 nic=eth1 op monitor interval=10s

我们可以通过再次运行集群监视器来检查我们的新IP：

============

Last updated: Mon Jul 16 16:10:34 2012

Last change: Mon Jul 16 16:10:33 2012 via cibadmin on server1

Stack: openais

Current DC: server1 - partition with quorum

Version: 1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c

2 Nodes configured, 3 expected votes

2 Resources configured.

============

Online: [ server1 server2 ]

mysqlmasterIP (ocf::heartbeat:IPaddr2): Started server1

现在我们已经配置好了虚拟IP，接下来设置MySQL复制，在两个节点上安装MySQL服务器：

apt-get install mysql-server

我们来安装基本的复制，在server1上，编辑/etc/mysql/my.cnf，在[mysqld]这部分(85行附近)，取消这部分的注释：

server-id = 1

log_bin = /var/log/mysql/mysql-bin.log

在第二个服务器上，同样文件内，取消注释并编辑：

server-id = 2

log_bin = /var/log/mysql/mysql-bin.log

并让MySQL监听所有地址：

bind-address = 0.0.0.0

之后建立一个复制和一个测试用户，这样在所有服务器的mysql客户端上都会出现：

grant replication client, replication slave on *.* to repl_user@'10.0.%.%' identified by 'password';

grant replication client, replication slave, SUPER, PROCESS, RELOAD on *.* to repl_user@'localhost' identified by 'password';

grant select ON mysql.user to test_user@'localhost' identified by 'password';

FLUSH PRIVILEGES;

现在禁用启动时开启MySQL，因为初始化脚本已经被转换成upstart，在所有的节点上打开/etc/init/mysql.conf并注释掉以下这行：

start on runlevel [2345]

现在来创建MySQL资源：

crm configure primitive clustermysql ocf:percona:mysql \

params binary="/usr/bin/mysqld_safe" log="/var/log/mysql.log" socket="/var/run/mysqld/mysqld.sock" \

evict_outdated_slaves="false" config="/etc/mysql/my.cnf" pid="/var/run/mysqld/mysqld.pid" socket="/var/run/mysqld/mysqld.sock" \

replication_user="repl_user" replication_passwd="password" \

test_user="test_user" test_passwd="password" \

op monitor interval="5s" role="Master" OCF_CHECK_LEVEL="1" \

op monitor interval="2s" role="Slave" timeout="30" OCF_CHECK_LEVEL="1" \

op start interval="0" timeout="120" \

op stop interval="0" timeout="120"

你会发现MySQL正在一个节点上运行：

crm_mon -1

============

Last updated: Mon Jul 16 17:36:22 2012

Last change: Mon Jul 16 17:14:55 2012 via cibadmin on server1

Stack: openais

Current DC: server2 - partition with quorum

Version: 1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c

2 Nodes configured, 3 expected votes

3 Resources configured.

============

Online: [ server1 server2]

mysqlmasterIP (ocf::heartbeat:IPaddr2): Started server2

clustermysql (ocf::heartbeat:mysql): Started server2

现在要安装master/slave控制器，首先我们需要设置hosts的IP，这样它才能迁移MySQL主机，用crm configure edit改动这几行：

node server1 \

attributes clustermysql_mysql_master_IP="10.0.0.1"

node server2 \

attributes clustermysql_mysql_master_IP="10.0.0.2"

然后创建真正的master/slave资源，要实现该步，只需通过crm建立：

crm configure ms ms_MySQL clustermysql \

meta master-max="1" master-node-max="1" clone-max="2" clone-node-max="1" notify="true" globally-unique="false" target-role="Master" is-managed="true"

现在MySQL应以master/slave模式启动，crm_mon -1会产生以下结果：

============

Last updated: Tue Jul 17 11:26:04 2012

Last change: Tue Jul 17 11:00:34 2012 via cibadmin on server1

Stack: openais

Current DC: server1- partition with quorum

Version: 1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c

2 Nodes configured, 3 expected votes

4 Resources configured.

============

Online: [ server1 server2 ]

Master/Slave Set: ms_MySQL [clustermysql]

Masters: [ server1 ]

Slaves: [ server2 ]

mysqlmasterIP (ocf::heartbeat:IPaddr2): Started server1

最后要做的就是当mysql以master或slave模式启动时，变动master/slave IP，以下操作可轻易实现：

crm configure colocation masterIP_on_mysqlMaster inf: mysqlmasterIP ms_MySQL:Master

crm configure order mysqlPromote_before_IP inf: ms_MySQL:promote mysqlmasterIP:start

好了，现在当你停止pacemaker服务时，MySQL在另一节点上会以master模式启动，而且ip也会相应变动。

建立HA Openstack云（三）：安装RabbitMQ

Jim 发表于：12年08月27日 09:19 [编译] 服务器在线

• 分享：
• 
• 
• 

[导读]在MySQL之后，我们需要让RabbitMQ高度可用。

本文是《建立HA Openstack云》的第三篇。第一篇：《》，第二篇《》

在MySQL之后，我们需要让RabbitMQ高度可用。

注意：实际上RabbitMQ仅支持带有Drbd的主动/被动，主动/主动也支持，不过你需要在Openstack代码中更改队列声明。Eugene Kirpichov制作的补丁仍在开发中，在这里可以找到：

因此按惯例我们只使用官方提供的资源安装RabbitMQ，想要获得更新的版本，请等待补丁：

echo "deb testing main" > /etc/apt/sources.list.d/rabbitmq.list

wget -q -O- | sudo apt-key add -

apt-get update

apt-get install rabbitmq-server

当补丁完成之后，我会写一篇如何用它设置和安装HA RabbitMQ集群的文章。

建立HA Openstack云 (四)：安装Keystone

Jim 发表于：12年08月28日 10:28 [编译] 服务器在线

• 分享：
• 
• 
• 

[导读]现在准备工作已经完成了，该来安装Keystone，并使它高度可用，在本教程里我不会涉及安装的部分，因为手册里已经全都包括了。

本文为《建立HA Openstack云》第四篇。第一篇：《》，第二篇《》，第三篇：《》。

现在准备工作已经完成了，该来安装Keystone，并使它高度可用，在本教程里我不会涉及安装的部分，因为手册里已经全都包括了。

只有两处不同：

·你必须在两个主机上都安装keystone，不是一个

·要将MySQL主机设置为“clustermysql”，这样它在MySQL主机之上。

·当你定义为每个服务创建虚拟IP的服务时(这里是指keystoneip, glanceip, novacomputeip等，并在建立终端时指向它们)

现在你已经安装好Keystone并创建了用户，角色，服务和终端，我们来让它“高度可用”，我们需要在启动时禁用自动载入，在两台主机上这样做：

echo "manual" > /etc/init/keystone.override

现在下载资源代理：

mkdir /usr/lib/ocf/resource.d/openstack

cd /usr/lib/ocf/resource.d/openstack/

wget

chmod u+x *

然后为Keystone创建基元：

crm configure primitive keystoneService ocf:openstack:keystone \

params config="/etc/keystone/keystone.conf" os_auth_url="" os_password="admin" os_tenant_name="admin" os_username="admin" user="keystone" client_binary="/usr/bin/keystone" \

op monitor interval="15s" timeout="30s"

“clusterkeystone”处是分配给Keystone的虚拟IP，os_*是你在安装Keystone设置的管理员用户的认证信息。

对虚拟IP和服务分组是很有用的，这样它们就能在同一主机开启：

crm configure group Keystone keystoneIP keystoneService

在MySQL主机开启后运行Keystone，可以这样做：

crm configure order keystone_after_mysqlmasterIP inf: mysqlmasterIP:start Keystone

这样你就有了一个能用的keystone故障恢复，以防主机故障。

一个例子，两个主机都在运行：

============

Last updated: Mon Jul 30 15:03:40 2012

Last change: Mon Jul 30 15:03:38 2012 via cibadmin on server2

Stack: openais

Current DC: server1 - partition with quorum

Version: 1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c

2 Nodes configured, 2 expected votes

5 Resources configured.

============

Online: [ server1 server2 ]

mysqlmasterIP (ocf::heartbeat:IPaddr2): Started server1

Master/Slave Set: ms_MySQL [clustermysql]

Masters: [ server1 ]

Slaves: [ server2 ]

Resource Group: Keystone

keystoneIP (ocf::heartbeat:IPaddr2): Started server2

keystoneService (ocf::openstack:keystone): Started server2

现在停止server1，几秒后你会得到：

============

Last updated: Mon Jul 30 15:08:34 2012

Last change: Mon Jul 30 15:08:26 2012 via crm_attribute on server2

Stack: openais

Current DC: server2 - partition WITHOUT quorum

Version: 1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c

2 Nodes configured, 2 expected votes

5 Resources configured.

============

Online: [ server2 ]

OFFLINE: [ server1 ]

mysqlmasterIP (ocf::heartbeat:IPaddr2): Started server2

Master/Slave Set: ms_MySQL [clustermysql]

Masters: [ server2 ]

Stopped: [ clustermysql:0 ]

Resource Group: Keystone keystoneIP (ocf::heartbeat:IPaddr2): Started server2

keystoneService (ocf::openstack:keystone): Started server2

建立HA Openstack云（五）：安装Glance

Jim 发表于：12年08月29日 10:53 [转载] DOIT.com.cn

• 分享：
• 
• 
• 

[导读]在Keystone教程里，我假定你已经安装了Glance并使用了。

本文为《建立HA Openstack云》第五篇。第一篇：《》，第二篇：《》，第三篇：《》，第四篇：《》。

在Keystone教程里，我假定你已经安装了Glance并使用了。

与通常的设置不同的地方是：

·当设置/etc/glance/glance-api-paste.ini和/etc/glance/glance-registry-paste.ini时，记得也要编辑auth host：

service_protocol=http

service_host = clusterkeystone

service_port = 5000

auth_host = clusterkeystone

auth_port = 35357

auth_protocol = http

auth_uri =

admin_tenant_name = service

admin_user = glance

admin_password = glance

”

·当设置/etc/glance/glance-registry.conf时，使用“clustermysql”作为MySQL主机

·在设置的最后，运行glance-manage version_control 0 和 glance-manage db_sync

·一定要安装curl，glance-registry资源代理没说但你需要它

现在我们要让Pacemaker在需要时运行glance，首先我们要停止glance服务并在启动时禁用，然后下载资源代理，在所有主机上做以下操作：

echo "manual" > /etc/init/glance-api.override

echo "manual" > /etc/init/glance-registry.override

service glance-api stop

service glance-registry stop

cd /usr/lib/ocf/resource.d/openstack/

wget

wget

chmod u+x *

然后添加资源：

crm configure primitive glanceApiService ocf:openstack:glance-api \

params config="/etc/glance/glance-api.conf" os_auth_url="" os_password="admin" \

os_tenant_name="admin" os_username="admin" user="glance" client_binary="/usr/bin/glance" \

op monitor interval="15s" timeout="30s"

crm configure primitive glanceRegistryService ocf:openstack:glance-registry \

params config="/etc/glance/glance-registry.conf" os_auth_url="" \

os_password="admin" os_tenant_name="admin" os_username="admin" user="glance" \

op monitor interval="15s" timeout="30s"

现在pacemaker可以在我们的集群上运行Glance API and Registry了。

按惯例，分组并给Glance添加正确的命令：

group Glance glanceIP glanceApiService glanceRegistryService

crm configure order glance_after_keystone inf: Keystone Glance

我设置让Glance在Keystone之后运行，因为它依赖于那两者还有MySQL，因为Keystone在MySQL之后运行，你只能让它在Keystone之后运行。

这是由此产生的配置：

============

Last updated: Mon Jul 30 16:14:09 2012

Last change: Mon Jul 30 16:11:54 2012 via crm_attribute on server1

Stack: openais

Current DC: server1 - partition with quorum

Version: 1.1.6-9971ebba4494012a93c03b40a2c58ec0eb60f50c

2 Nodes configured, 2 expected votes

8 Resources configured.

============

Online: [ server1 server2 ]

mysqlmasterIP (ocf::heartbeat:IPaddr2): Started server1

Master/Slave Set: ms_MySQL [clustermysql]

Masters: [ server1 ]

Slaves: [ server2 ]

Resource Group: Keystone

keystoneIP (ocf::heartbeat:IPaddr2): Started server2

keystoneService (ocf::openstack:keystone): Started server2

Resource Group: Glance

glanceIP (ocf::heartbeat:IPaddr2): Started server1

glanceApiService (ocf::openstack:glance-api): Started server1

glanceRegistryService (ocf::openstack:glance-registry): Started server1

建立HA Openstack云（六）：安装Nova

蓝调 发表于：12年08月30日 00:28 [来稿] 服务器在线

• 分享：
• 
• 
• 

[导读]在MySQL, RabbitMQ, Keystone和Glance之后，我们要来安装要用Pacemaker管理的Nova服务，并让它们高度可用。

本文为《建立HA Openstack云》第六篇。第一篇：《》，第二篇：《》，第三篇：《》，第四篇：《》，第五篇：《》。 

在MySQL, RabbitMQ, Keystone和Glance之后，我们要来安装要用Pacemaker管理的Nova服务，并让它们高度可用。

和其他教程一样，当编辑/etc/nova/api-paste.ini，还要改动服务主机：

service_protocol=http

service_host = clusterkeystone

service_port = 5000

auth_host = clusterkeystone

auth_port = 35357

auth_protocol = http

auth_uri =

admin_tenant_name = service

admin_user = nova

admin_password = nova

还有，在做nova-manage db sync之前，一定要设置SQL主机为“clustermysql”，我这里这样设置/etc/nova/nova.conf：

[DEFAULT]

dhcpbridge_flagfile=/etc/nova/nova.conf

dhcpbridge=/usr/bin/nova-dhcpbridge

logdir=/var/log/nova

state_path=/var/lib/nova

lock_path=/run/lock/nova

allow_admin_api=true

use_deprecated_auth=false

auth_strategy=keystone

scheduler_driver=nova.scheduler.simple.SimpleScheduler

s3_host=clusterglance

ec2_host=clusterec2

ec2_dmz_host=clusterec2

rabbit_host=clusterrabbit

cc_host=clusterec2

nova_url=

glance_api_servers=clusterglance:9292

image_service=nova.image.glance.GlanceImageService

iscsi_ip_prefix=192.168.4

sql_connection=mysql://novadbadmin:password@clustermysql/nova

ec2_url=

keystone_ec2_url=ec2tokens

api_paste_config=/etc/nova/api-paste.ini

libvirt_type=kvm

libvirt_use_virtio_for_bridges=true

start_guests_on_host_boot=true

resume_guests_state_on_host_boot=true

novnc_enabled=true

novncproxy_base_url=

vncserver_proxyclient_address=10.8.0.1

vncserver_listen=0.0.0.0

network_manager=nova.network.manager.FlatDHCPManager

public_interface=eth0

flat_interface=eth2

flat_network_bridge=br100

flat_injected=False

force_dhcp_release=true

iscsi_helper=tgtadm

connection_type=libvirt

root_helper=sudo nova-rootwrap

verbose=True

debug=True

multi_host=true

enabled_apis=ec2,osapi_compute,osapi_volume,metadata

再次检查你的/etc/hosts，确保你已经把“clustermysql”，“clusterglance”这样的虚拟IP声明成你在Keystone安装(在终端配置里)和MySQL认证时设定的那样。

现在你可以官方教程里的db_sync部分了。

我们必须停止服务并让它们由Pacemaker管理：

service nova-api stop

service nova-cert stop

service nova-compute stop

service nova-consoleauth stop

service nova-network stop

service nova-objectstore stop

service nova-scheduler stop

service nova-volume stop

service novnc stop

echo "manual" > /etc/init/nova-api.override

echo "manual" > /etc/init/nova-cert.override

echo "manual" > /etc/init/nova-compute.override

echo "manual" > /etc/init/nova-consoleauth.override

echo "manual" > /etc/init/nova-network.override

echo "manual" > /etc/init/nova-objectstore.override

echo "manual" > /etc/init/nova-scheduler.override

echo "manual" > /etc/init/nova-volume.override

echo "manual" > /etc/init/novnc.override

为服务下载资源代理：

cd /usr/lib/ocf/resource.d/openstack/

wget

wget

wget

wget

wget

wget

wget

wget

wget

chmod +x *

设置服务随Pacemaker启动：

crm configure primitive novaApiService ocf:openstack:nova-api-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="5s" timeout="5s"

crm configure primitive novaCertService ocf:openstack:nova-cert-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="30s" timeout="30s"

crm configure primitive novaConsoleauthService ocf:openstack:nova-consoleauth-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="30s" timeout="30s"

crm configure primitive novaSchedulerService ocf:openstack:nova-scheduler-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="30s" timeout="30s"

crm configure primitive novaVncService ocf:openstack:nova-vnc-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="30s" timeout="30s"

crm configure primitive novaNetworkService ocf:openstack:nova-network-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="30s" timeout="30s"

crm configure primitive novaComputeService ocf:openstack:nova-compute-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="30s" timeout="30s"

crm configure primitive novaObjectstoreService ocf:openstack:nova-objectstore-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="30s" timeout="30s"

crm configure primitive novaVolumeService ocf:openstack:nova-volume-ra \

params config="/etc/nova/nova.conf" \

op monitor interval="30s" timeout="30s"

crm configure clone novaVolume novaVolumeService \

meta clone-max="2" clone-node-max="1"

crm configure clone novaNetwork novaNetworkService \

meta clone-max="2" clone-node-max="1"

crm configure clone novaCompute novaComputeService \

meta clone-max="2" clone-node-max="1"

crm configure clone novaApi novaApiService \

meta clone-max="2" clone-node-max="1"

crm configure clone novaVnc novaVncService \

meta clone-max="2" clone-node-max="1"

crm configure group novaServices novaConsoleauthService novaCertService novaSchedulerService

crm configure order novaServices_after_keystone inf: Keystone novaServices

注意：一定根据你的需要的用处来使用clone指令，其实我在Api and Network上使用clone，因为我运行的是multi_host openstack。

我的nova.conf里面说s3_host是glance ip，一定要编辑group Glance来包括nova-objectstore服务，所以要进行crm configure edit并确保有这一行：

group Glance glanceIP novaObjectstoreService glanceApiService glanceRegistryService

现在你就能查看OpenStack集群的状态了：

Binary Host Zone Status State Updated_At

nova-compute server1 nova enabled :-) 2012-07-31 10:00:27

nova-compute server2 nova enabled :-) 2012-07-31 10:00:19

nova-network server2 nova enabled :-) 2012-07-31 10:00:26

nova-network server1 nova enabled :-) 2012-07-31 10:00:26

nova-scheduler server2 nova enabled :-) 2012-07-31 10:00:26

nova-consoleauth server2 nova enabled :-) 2012-07-31 10:00:26

nova-cert server2 nova enabled :-) 2012-07-31 10:00:26

nova-volume server1 nova enabled :-) 2012-07-31 10:00:26

nova-volume server2 nova enabled :-) 2012-07-31 10:00:26

好了，现在你已经有了所有Corosync+Pacemaker管理的Openstack组件了。Openstack的虚拟机高可用性特性仍在开发，敬请期待这方面的更新。