MySQL集群搭建详解

概述

MySQL Cluster 是MySQL 适合于分布式计算环境的高实用、可拓展、高性能、高冗余版本，其研发设计的初衷就是要满足许多行业里的最严酷应用要求，这些应用中经常要求数据库运行的可靠性要达到99.999%。MySQL Cluster允许在无共享的系统中部署“内存中”数据库集群，通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。

实际上，MySQL集群是把一个叫做NDB的内存集群存储引擎集成与标准的MySQL服务器集成。它包含一组计算机，每个都跑一个或者多个进程，这可能包括一个MySQL服务器，一个数据节点，一个管理服务器和一个专有的一个数据访问程序。

MySQL Cluster能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在Cluster 级别上的存储引擎上做这个最简单。以下为MySQL集群结构关系图，

MySQL从结构看，由3类节点(计算机或进程)组成，分别是：

管理节点:用于给整个集群其他节点提供配置、管理、仲裁等功能。理论上通过一台服务器提供服务就可以了。

数据节点:MySQL Cluster的核心，存储数据、日志，提供数据的各种管理服务。2个以上 时就能实现集群的高可用保证，DB节点增加时，集群的处理速度会变慢。

SQL节点(API):用于访问MySQL Cluster数据，提供对外应用服务。增加 API 节点会提高整个集群的并发访问速度和整体的吞吐量，该节点 可以部署在Web应用服务器上，也可以部署在专用的服务器上，也开以和DB部署在 同一台服务器上。

NDB引擎

MySQL Cluster 使用了一个专用的基于内存的存储引擎——NDB引擎，这样做的好处是速度快， 没有磁盘I/O的瓶颈，但是由于是基于内存的，所以数据库的规模受系统总内存的限制， 如果运行NDB的MySQL服务器一定要内存够大，比如4G, 8G, 甚至16G。NDB引擎是分布式的，它可以配置在多台服务器上来实现数据的可靠性和扩展性，理论上 通过配置2台NDB的存储节点就能实现整个数据库集群的冗余性和解决单点故障问题。

缺陷

• 基于内存，数据库的规模受集群总内存的大小限制

• 基于内存，断电后数据可能会有数据丢失，这点还需要通过测试验证。

• 多个节点通过网络实现通讯和数据同步、查询等操作，因此整体性受网络速度影响，因此速度也比较慢

2.2 优点

• 多个节点之间可以分布在不同的地理位置，因此也是一个实现分布式数据库的方案。

• 扩展性很好，增加节点即可实现数据库集群的扩展。

• 冗余性很好，多个节点上都有完整的数据库数据，因此任何一个节点宕机都不会造成服务中断。

实现高可用性的成本比较低，不象传统的高可用方案一样需要共享的存储设备和专用的软件才能实现，NDB 只要有足够的内存就能实现。

本文将搭建一个最简化的MySQL Cluster系统，配置方法中的所有命令都是以root账户运行。这个MySQL Cluster包含一个管理结点、两个数据结点、两个SQL结点，这五个结点会分别安装在五个虚拟机上，虚拟机的名称和IP如下所示：

一、公共配置

请在三个虚拟机上分别配置此处的配置项。

1. 安装虚拟机

虚拟机操作系统安装CentOS 6.4的x86_64版本，使用NAT网络，并且还要安装vmware-tools，具体安装方法此处不详述。

2. 拷贝mysql cluster

下载以下版本的MySQL-Cluster：

下载得到的压缩包拷贝至虚拟机的/root/Downloads目录，然后在shell中运行以下命令：

cd /root/Downloads  
tar -xvzf mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64.tar.gz  
mv mysql-cluster-gpl-7.3.4-linux-glibc2.5-x86_64 /usr/local/mysql 

3. 关闭安全策略

关闭iptables防火墙(或者打开防火墙的1186、3306端口)，在Shell中运行以下命令：

chkconfig --level 35 iptables off 

关闭SELinux，在Shell中运行以下命令：

gedit /etc/selinux/config 

将config文件中的SELINUX项改为disabled，修改后的config文件的内容如下：

# This file controls the state of SELinux on the system.  
# SELINUX= can take one of these three values:  
# enforcing - SELinux security policy is enforced.  
# permissive - SELinux prints warnings instead of enforcing.  
# disabled - No SELinux policy is loaded. SELINUX=disabled  # SELINUXTYPE= can take one of these two values:  
# targeted - Targeted processes are protected,  
# mls - Multi Level Security protection.  

SELINUXTYPE=targeted 

最后重启系统

二、配置管理结点(192.168.124.141)

1. 配置config.ini配置文件

在shell中运行以下命令：

mkdir /var/lib/mysql-cluster  
cd /var/lib/mysql-cluster  
gedit config.ini 

配置文件config.ini内容如下：

[ndbd default] NoOfReplicas=2  DataMemory=80M  
IndexMemory=18M [ndb_mgmd] NodeId=1  
hostname=192.168.124.141  
datadir=/var/lib/mysql-cluster [ndbd] NodeId=2  
hostname=192.168.124.142  
datadir=/usr/local/mysql/data [ndbd] NodeId=3  
hostname=192.168.124.143  
datadir=/usr/local/mysql/data [mysqld]  NodeId=4  
hostname=192.168.124.144 [mysqld]  NodeId=5  
hostname=192.168.124.145 

2. 安装管理结点

安装管理节点，不需要mysqld二进制文件，

只需要MySQL Cluster服务端程序(ndb_mgmd)和监听客户端程序(ndb_mgm)。

在shell中运行以下命令：

cp /usr/local/mysql/bin/ndb_mgm* /usr/local/bin  

cd /usr/local/bin  

chmod +x ndb_mgm* 

三、配置数据结点(192.168.124.142、192.168.124.143)

1. 添加mysql组和用户

在shell中运行以下命令：

groupadd mysql  
useradd -g mysql mysql 

2. 配置my.cnf配置文件

在shell中运行以下命令：

gedit /etc/my.cnf 

配置文件my.cnf的内容如下：

[mysqld]  
basedir=/usr/local/mysql  
datadir=/usr/local/mysql/data  
socket=/usr/local/mysql/sock/mysql.sock  
user=mysql        # Disabling symbolic-links is recommended to prevent assorted security riskssymbolic-links=0  [mysqld_safe]  
log-error=/var/log/mysqld.log  
pid-file=/var/run/mysqld/mysqld.pid  
[mysql_cluster] ndb-connectstring=192.168.124.141 

3. 创建系统数据库

在shell中运行以下命令：

cd /usr/local/mysql  
mkdir sock scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data  

4. 设置数据目录

在shell中运行以下命令：

chown -R root .  
chown -R mysql.mysql /usr/local/mysql/data  
chown -R mysql.mysql /usr/local/mysql/sock  
chgrp -R mysql . 

5. 配置MySQL服务

在shell中运行以下命令：

cp support-files/mysql.server /etc/rc.d/init.d/ chmod +x /etc/rc.d/init.d/mysql.server  

chkconfig --add mysql.server 

四、配置SQL结点(192.168.124.144、192.168.124.145)

1. 添加mysql组和用户

在shell中运行以下命令：

groupadd mysql  useradd -g mysql mysql 

2. 配置my.cnf配置文件

在shell中运行以下命令：

gedit /etc/my.cnf

配置文件my.cnf的内容如下：

[client]  
socket=/usr/local/mysql/sock/mysql.sock  
[mysqld] ndbcluster datadir=/usr/local/mysql/data  
socket=/usr/local/mysql/sock/mysql.sock ndb-connectstring=192.168.124.141  
[mysql_cluster] ndb-connectstring=192.168.124.141 

3. 创建系统数据库

在shell中运行以下命令：

cd /usr/local/mysql  
mkdir sock  
scripts/mysql_install_db --user=mysql --basedir=/usr/local/mysql --datadir=/usr/local/mysql/data 

4. 设置数据目录

在shell中运行以下命令：

chown -R root .  
chown -R mysql.mysql /usr/local/mysql/data  
chown -R mysql.mysql /usr/local/mysql/sock  
chgrp -R mysql . 

5. 配置MySQL服务

在shell中运行以下命令：

cp support-files/mysql.server /etc/rc.d/init.d/  
chmod +x /etc/rc.d/init.d/mysql.server  
chkconfig --add mysql.server 

五、Cluster环境启动

注意启动顺序：首先是管理节点，然后是数据节点，最后是SQL节点。

1. 启动管理结点

在shell中运行以下命令：

ndb_mgmd -f /var/lib/mysql-cluster/config.ini  

还可以使用ndb_mgm来监听客户端，如下：

ndb_mgm

2. 启动数据结点

首次启动，则需要添加--initial参数，以便进行NDB节点的初始化工作。

在以后的启动过程中，则是不能添加该参数的，否则ndbd程序会清除在之前建立的所有用于恢复的数据文件和日志文件。

/usr/local/mysql/bin/ndbd --initial  

如果不是首次启动，则执行下面的命令。

/usr/local/mysql/bin/ndbd  

3. 启动SQL结点

若MySQL服务没有运行，则在shell中运行以下命令：

/usr/local/mysql/bin/mysqld_safe --user=mysql &  

4. 启动测试

查看管理节点，启动成功

六、集群测试

1. 测试一

现在我们在其中一个SQL结点上进行相关数据库的创建,然后到另外一个SQL结点上看看数据是否同步。

在SQL结点1(192.168.124.144)上执行：

shell> /usr/local/mysql/bin/mysql -u root -p  
mysql>show databases;  
mysql>create database aa;  
mysql>use aa;  
mysql>CREATE TABLE ctest2 (i INT) ENGINE=NDB; //这里必须指定数据库表的引擎为NDB,否则同步失败  mysql> INSERT INTO ctest2 () VALUES (1);  
mysql> SELECT * FROM ctest2; 

然后在SQL结点2上看数据是否同步过来了

经过测试，在非master上创建数据，可以同步到master上

查看表的引擎是不是NDB，>show create table 表名;

2. 测试二

关闭一个数据节点 ，在另外一个节点写输入，开启关闭的节点，看数据是否同步过来。

首先把数据结点1重启，然后在结点2上添加数据

在SQL结点2(192.168.124.145)上操作如下：

mysql> create database bb;  
mysql> use bb;  
mysql> CREATE TABLE ctest3 (i INT) ENGINE=NDB;  
mysql> use aa;  
mysql> INSERT INTO ctest2 () VALUES (3333);  
mysql> SELECT * FROM ctest2; 

等数据结点1启动完毕，启动数据结点1的服务

#/usr/local/mysql/bin/ndbd --initial

#service mysqld start 

然后登录进去查看数据

# /usr/local/mysql/bin/mysql -u root –p 

可以看到数据已经同步过来了，说明数据可以双向同步了。

七、关闭集群

1. 关闭管理节点和数据节点，只需要在管理节点(ClusterMgm--134)里执行：

shell> /usr/local/mysql/bin/ndb_mgm -e shutdown  

显示

Connected to Management Server at: localhost:1186  2 NDB Cluster node(s) have shutdown.  Disconnecting to allow management server to shutdown. 

2. 然后关闭Sql节点(135,136)，分别在2个节点里运行：

shell> /etc/init.d/mysql.server stop

Shutting down MySQL... SUCCESS!

注意：要再次启动集群，就按照第五部分的启动步骤即可，不过这次启动数据节点的时候就不要加”-initial”参数了。

一、环境简述

1、工作逻辑图

2、MySQL-MMM优缺点

• 优点：高可用性，扩展性好，出现故障自动切换，对于主主同步，在同一时间只提供一台数据库写操作，保证的数据的一致性。

• 缺点：Monitor节点是单点，可以结合Keepalived实现高可用。

3、MySQL-MMM工作原理

MMM(Master-Master replication managerfor Mysql，Mysql主主复制管理器)是一套灵活的脚本程序，基于perl实现，用来对mysql replication进行监控和故障迁移，并能管理mysql Master-Master复制的配置(同一时间只有一个节点是可写的)。

• mmm_mond：监控进程，负责所有的监控工作，决定和处理所有节点角色活动。此脚本需要在监管机上运行。

• mmm_agentd：运行在每个mysql服务器上的代理进程，完成监控的探针工作和执行简单的远端服务设置。此脚本需要在被监管机上运行。

• mmm_control：一个简单的脚本，提供管理mmm_mond进程的命令。

mysql-mmm的监管端会提供多个虚拟IP（VIP），包括一个可写VIP，多个可读VIP，通过监管的管理，这些IP会绑定在可用mysql之上，当某一台mysql宕机时，监管会将VIP迁移至其他mysql。

在整个监管过程中，需要在mysql中添加相关授权用户，以便让mysql可以支持监理机的维护。授权的用户包括一个mmm_monitor用户和一个mmm_agent用户，如果想使用mmm的备份工具则还要添加一个mmm_tools用户。

4、需求描述

• 操作系统：CentOS 6.5_X64

• 数据库：MySQL 5.1

• MMM：MySQL-MMM 2.2.1

数据库分配：

function	ip	hostname	server id
monitoring host	192.168.0.201	monitor	无
master 1	192.168.0.202	db1	1
master 2	192.168.0.203	db2	2
slave 1	192.168.0.204	db3	3
slave 2	192.168.0.205	db4	4

虚拟IP地址（VIP）：

ip	role
192.168.0.211	writer
192.168.0.212	reader
192.168.0.213	reader

数据库同步需要的用户：

function	description	privileges
monitor user	mmm监控用于对mysql服务器进程健康检查	REPLICATION CLIENT
agent user	mmm代理用来更改只读模式，复制的主服务器等	SUPER, REPLICATION CLIENT, PROCESS
replication user	用于复制	REPLICATION SLAVE

二、db1，db2，db3和db4安装数据库并配置

1 2 3

[root@db1 ~]# yum install mysql-server mysql [root@db1 ~]# service mysqld start [root@db1 ~]# mysqladmin -u root password 123.com

1 2 3 4 5 6 7 8 9 10 11 12 13

[root@db1 ~]# vi /etc/my.cnf #添加如下 [mysqld] binlog-do-db=test #需要记录二进制日志的数据库，多个用逗号隔开 binlog-ignore-db=mysql，information_schema #不需要记录二进制日志的数据库，多个用逗号隔开 auto_increment_increment=2 #字段一次递增多少 auto_increment_offset=1 #自增字段的起始值，值设置不同 replicate-do-db=test #同步的数据库，多个写多行 replicate-ignore-db = information_schema #不同步的数据库，多个写多行 server_id = 1 #每台设置不同 log_bin = mysql-bin log_slave_updates #当一个主故障，另一个立即接管 sync-binlog=1 #每条自动更新，安全性高，默认是0 [root@db1 ~]# service mysqld restart

三、配置db1和db2主主同步

#先查看下log bin日志和pos值位置

db1配置如下：

1 2 3 4 5 6 7 8 9 10

[root@db1 ~]# mysql -u root -p123.com mysql> GRANT REPLICATION SLAVE ON *.* TO 'replication'@'192.168.0.%' IDENTIFIED BY 'replication'; mysql> flush privileges; mysql> change master to -> master_host='192.168.0.203', -> master_user='replication', -> master_password='replication', -> master_log_file='mysql-bin.000002', -> master_log_pos=106; #对端状态显示的值 mysql> start slave; #启动同步

db2配置如下：

1 2 3 4 5 6 7 8 9 10

[root@db2 ~]# mysql -u root -p123.com mysql>  GRANT REPLICATION SLAVE ON *.* TO 'replication'@'192.168.0.%' IDENTIFIED BY 'replication'; mysql> flush privileges; mysql> change master to -> master_host='192.168.0.202', -> master_user='replication', -> master_password='replication', -> master_log_file='mysql-bin.000002', -> master_log_pos=106; mysql> start slave; #启动同步

#主主同步配置完毕，查看同步状态Slave_IO和Slave_SQL是YES说明主主同步成功。

在db2插入数据测试下：

在db2查看是否同步成功：

可以看到已经成功同步过去，同样在db2插入到user表数据，也能同步过去。我们的双主就成功了，开始做主从复制。

四、配置slave1和slave2做为master1的从库

#先看下master1状态值

在slave1和slave2分别执行：

1 2 3 4 5 6

mysql> change master to -> master_host='192.168.0.202', -> master_user='replication', -> master_password='replication', -> master_log_file='mysql-bin.000002', -> master_log_pos=434;

在slave1和slave2查看如下说明主从复制成功。但是数据没过来，这是因为主从复制原理只同步配置完后的增删改记录，以后的数据是不能同步的，我们可以把主的数据库备份了，然后在送数据库还原。

1 2 3 4

[root@db1 ~]# mysqldump -uroot -p123.com test > test.sql [root@db1 ~]# scp test.sql root@192.168.0.204:/root/ [root@db1 ~]# scp test.sql root@192.168.0.205:/root/ [root@db3 ~]# mysql -u root -p123.com test

五、MySQL-MMM安装配置

CentOS 默认没有 mysql-mmm 软件包，官方推荐使用 epel 的网络源，五台都安装epel：

1

rpm -ivh

1、monitor节点安装

1	[root@monitor1 ~]# yum -y install mysql-mmm-monitor

2、四台db节点安装

1	[root@db1 ~]# yum -y install mysql-mmm-agent

3、在四台db节点授权monitor访问

1 2 3 4

[root@db ~]# mysql -u root -p123.com mysql> GRANT REPLICATIONCLIENT ON *.* TO 'mmm_monitor'@'192.168.0.%' IDENTIFIED BY 'monitor'; mysql> GRANT SUPER,REPLICATION CLIENT, PROCESS ON *.* TO 'mmm_agent'@'192.168.0.%' IDENTIFIED BY'agent';

4、修改mmm_common.conf文件（五台相同）

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39

[root@monitor1 ~]# vi /etc/mysql-mmm/mmm_common.conf active_master_role writer cluster_interface eth0 pid_path /var/run/mysql-mmm/mmm_agentd.pid bin_path /usr/libexec/mysql-mmm/ replication_user replication replication_password replication agent_user mmm_agent agent_password agent ip 192.168.0.202 mode master peer db2 ip 192.168.0.203 mode master peer db1 ip 192.168.0.204 mode slave ip 192.168.0.205 mode slave hosts db1, db2 ips 192.168.0.211 mode exclusive #只有一个host可以writer，一般写操作是这个模式 hosts db3, db4 ips 192.168.0.212,192.168.0.213 mode balanced #多个host可以reader，一般读操作是这个模式

#通过scp命令传送到其他四台：

1	scp /etc/mysql-mmm/mmm_common.conf root@192.168.0.202/203/204/205:/etc/mysql-mmm/

5、修改四台db代理端 mmm_agent.conf 文件

1 2 3

[root@db ~]# vi /etc/mysql-mmm/mmm_agent.conf include mmm_common.conf this db1 #分别修改为本机的主机名，即db1、db2、db3和db4

6、修改管理端mmm_mon.conf文件

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16

[root@monitor1 ~]# vi /etc/mysql-mmm/mmm_mon.conf include mmm_common.conf ip 127.0.0.1 pid_path /var/run/mysql-mmm/mmm_mond.pid bin_path /usr/libexec/mysql-mmm status_path /var/lib/mysql-mmm/mmm_mond.status ping_ips 192.168.0.202,192.168.0.203,192.168.0.204,192.168.0.205 #真实数据库IP，来检测网络是否正常 auto_set_online 10 #恢复后自动设置在线的时间 monitor_user mmm_monitor monitor_password monitor debug 0

六、启动MySQL-MMM

1、db代理端启动

1 2	[root@db1 ~]# /etc/init.d/mysql-mmm-agent start [root@db1 ~]# chkconfigmysql-mmm-agent on

2、monitor管理端启动

1 2	[root@monitor1 ~]# /etc/init.d/mysql-mmm-monitor start [root@monitor1 ~]# chkconfigmysql-mmm-monitor on

七、测试集群

1、查看集群状态

由此看来，主db1是对外一个写入的角色，但不真正提供只写，要想实现读写分离还需要结合amoeba。后面的虚拟IP是真正来访问Mysql数据库的。

2、故障转移

切换停掉主db1数据库，等待几秒后，可以看到数据库db1处于HARD_OFFLINE（离线状态），检测不到数据库的存在。启动主db1数据库 后，可以看到数据库db1处于AWAITING_RECOVER（恢复状态），几秒后将恢复在线状态。模拟Slave故障也是如此，DOWN掉一个，虚拟 IP会全部在另一台正常数据库上。

至此，MySQL-MMM架构配置完毕。后续会写在此基础上实现读写分离、负载均衡机制。如图：