redis集群----------redis cluster

Redis分布式集群redis-cluster

 

一、Redis集群介绍

    1）Redis集群是一个可以在多个Redis节点之间进行数据共享的设施（installation）。

    2）Redis集群不支持那些需要同时处理多个键的Redis命令，因为执行这些命令需要在多个Redis节点之间移动数据，并且在高负载的情况下，这些命令将降低Redis集群的性能，并导致不可预测的行为。

    3）Redis集群通过分区（partition）来提供一定程度的可用性（availability）：即使集群中有一部份分节点失效或者无法进行通讯，集群也可以继续处理命令请求。

Redis集群提供了以下两个好处：

    1、将数据自动切分(split)到多个节点的能力。

2、当集群中的一部份节点失效或者无法进行通讯时，仍然可以继续处理命令请求的能力。

 

二、Redis集群数据共享

    Redis集群使用数据分片（sharding）而非一致性哈希（consistency hashing）来实现：一个Redis集群包含16384个哈希槽(hash slot)，数据库中的每个键都属于这个16384个哈希槽的其中一个，集群使用公式CRC16(key) % 16384来计算键key属于哪个槽，其中CRC16(key)语句用于计算键key的CRC16校验和。

集群中的每个节点负责处理一部分哈希槽。举个例子，一个集群有三个哈希槽，其中：

     节点 A 负责处理0号至于5500号哈希槽。

     节点 B 负责处理5501号至11000号哈希槽。

     节点 C 负责处理11001号至16384号哈希槽。

这种将哈希槽分布到不同节点的做法使得用户可以很容易地向集群中添加或者删除节点。比如说：

 1.如果用户将新节点 D 添加到集群中， 那么集群只需要将节点 A 、B 、 C 中的某些槽移动到节点 D 就可以了。

 2.与此类似， 如果用户要从集群中移除节点 A ， 那么集群只需要将节点 A 中的所有哈希槽移动到节点 B 和节点 C ， 然后再移除空白（不包含任何哈希槽）的节点 A 就可以了。

因为将一个哈希槽从一个节点移动到另一个节点不会造成节点阻塞，所以无论是添加新节点还是移除已经存在的节点，又或者改变某个节点包含的哈希数量，都不会造成集群下线。

 

三、Redis集群中的主从复制

为了使得集群在一部分节点下线或者无法与集群的大多数（majority）节点进行通讯的情况下， 仍然可以正常运作，Redis 集群对节点使用了主从复制功能： 集群中的每个节点都有 1 个至 N 个复制品（replica）， 其中一个复制品为主节点（master）， 而其余的 N-1 个复制品为从节点（slave）。

在之前列举的节点 A 、B 、C 的例子中， 如果节点 B 下线了， 那么集群将无法正常运行， 因为集群找不到节点来处理 5501 号至 11000 号的哈希槽。

另一方面， 假如在创建集群的时候（或者至少在节点 B 下线之前）， 我们为主节点 B 添加了从节点 B1 ， 那么当主节点 B 下线的时候， 集群就会将 B1 设置为新的主节点， 并让它代替下线的主节点 B ， 继续处理 5501 号至 11000 号的哈希槽， 这样集群就不会因为主节点 B 的下线而无法正常运作了。

不过如果节点 B 和 B1 都下线的话，Redis 集群还是会停止运作。

1）redis-cluster架构图：

 

架构细节:

 

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可

(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

2)redis-cluster选举:容错图：

 

 

 

(1)领着选举过程是集群中所有master参与，如果半数以上master节点与master节点通信超过(cluster-node-timeout)，认为当前master节点挂掉。

(2):什么时候整个集群不可用(cluster_state:fail)?

    a:如果集群任意master挂掉,且当前master没有slave.集群进入fail状态，也可以理解成集群的slot映射[0-16383]不完成时进入fail状态。 （redis-3.0.0.rc1加入cluster-require-full-coverage参数,默认关闭，打开集群兼容部分失败。）

b:如果集群超过半数以上master挂掉，无论是否有slave集群进入fail状态。（当集群不可用时,所有对集群的操作做都不可用，收到((error) CLUSTERDOWN The cluster is down)错误）

 

四．Redis-cluster 部署

1.集群环境

Ip地址	os版本	安装应用	端口	内存大小
192.168.6.67	Centos6.5	Redis3.0.5	6381	100m
192.168.6.67	Centos6.5	Redis3.0.5	6382	100m
192.168.6.67	Centos6.5	Redis3.0.5	6383	100m
192.168.6.67	Centos6.5	Redis3.0.5	6384	100m
192.168.6.155	Centos6.5	Redis3.0.5	7381	100m
192.168.6.155	Centos6.5	Redis3.0.5	7382	100m
192.168.6.155	Centos6.5	Redis3.0.5	7383	100m
192.168.6.155	Centos6.5	Redis3.0.5	7384	100m

 

Reids.conf配置环境

 

 

 

############################# CLUSTER #########################################

cluster-enabled yes

cluster-node-timeout 60

cluster-migration-barrier 1

cluster-config-file nodes-6381.conf

 

其余的配置部分和redis单实例一样，配置文件中指定不通的端口。

cp -ra src/redis-trib.rb /data/app/redis/bin/

 

 

2.启动各个实例

在192.168.6.67上启动4个节点 

./bin/redis-server /data/app/redis/conf/r1_6381.conf

./bin/redis-server /data/app/redis/conf/r1_6382.conf

./bin/redis-server /data/app/redis/conf/r1_6383.conf

./bin/redis-server /data/app/redis/conf/r1_6384.conf

 

在192.168.6.155上启动4个节点 

./bin/redis-server /data/app/redis/conf/r2_7381.conf

./bin/redis-server /data/app/redis/conf/r2_7382.conf

./bin/redis-server /data/app/redis/conf/r2_7383.conf

./bin/redis-server /data/app/redis/conf/r2_7384.conf

 

 

3.创建集群

安装相关的依赖

yum install ruby rubygems -y

gem install redis

 

创建集群

./bin/redis-trib.rb create --replicas 1 192.168.6.67:6381 192.168.6.67:6382 192.168.6.67:6383 192.168.6.155:7381 192.168.6.155:7382 192.168.6.155:7383

 

创建集群

>>> Creating cluster

Connecting to node 192.168.6.67:6381: OK

Connecting to node 192.168.6.67:6382: OK

Connecting to node 192.168.6.67:6383: OK

Connecting to node 192.168.6.155:7381: OK

Connecting to node 192.168.6.155:7382: OK

Connecting to node 192.168.6.155:7383: OK

>>> Performing hash slots allocation on 6 nodes...

Using 3 masters:

192.168.6.155:7381

192.168.6.67:6381

192.168.6.155:7382

Adding replica 192.168.6.67:6382 to 192.168.6.155:7381

Adding replica 192.168.6.155:7383 to 192.168.6.67:6381

Adding replica 192.168.6.67:6383 to 192.168.6.155:7382

M: dbe006a034acd5181ab780c9a00bba9cc3648b7e 192.168.6.67:6381

   slots:5461-10922 (5462 slots) master

S: 201293525b011941cbb0e7104fbe58c99dbba6e9 192.168.6.67:6382

   replicates cff060f60fd642d9a01d9abf5f0ad41152b0107c

S: 682e22f7fd296bef4f01f2952e5610367cb4fded 192.168.6.67:6383

   replicates 8113b858a96ea24c36481c57163c3433cf08b704

M: cff060f60fd642d9a01d9abf5f0ad41152b0107c 192.168.6.155:7381

   slots:0-5460 (5461 slots) master

M: 8113b858a96ea24c36481c57163c3433cf08b704 192.168.6.155:7382

   slots:10923-16383 (5461 slots) master

S: 2024a7741929761e2ec2cf0aa41a81230181d273 192.168.6.155:7383

   replicates dbe006a034acd5181ab780c9a00bba9cc3648b7e

Can I set the above configuration? (type 'yes' to accept): yes

>>> Nodes configuration updated

>>> Assign a different config epoch to each node

>>> Sending CLUSTER MEET messages to join the cluster

Waiting for the cluster to join

>>> Performing Cluster Check (using node 192.168.6.67:6381)

M: dbe006a034acd5181ab780c9a00bba9cc3648b7e 192.168.6.67:6381

   slots:5461-10922 (5462 slots) master

M: 201293525b011941cbb0e7104fbe58c99dbba6e9 192.168.6.67:6382

   slots: (0 slots) master

   replicates cff060f60fd642d9a01d9abf5f0ad41152b0107c

M: 682e22f7fd296bef4f01f2952e5610367cb4fded 192.168.6.67:6383

   slots: (0 slots) master

   replicates 8113b858a96ea24c36481c57163c3433cf08b704

M: cff060f60fd642d9a01d9abf5f0ad41152b0107c 192.168.6.155:7381

   slots:0-5460 (5461 slots) master

M: 8113b858a96ea24c36481c57163c3433cf08b704 192.168.6.155:7382

   slots:10923-16383 (5461 slots) master

M: 2024a7741929761e2ec2cf0aa41a81230181d273 192.168.6.155:7383

   slots: (0 slots) master

   replicates dbe006a034acd5181ab780c9a00bba9cc3648b7e

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

 

--replicas 1： 指定Redis Cluster中的每个Master节点配备几个Slave节点, 这里 1 就是一个！

简单来说，以上命令的意思就是让 redis-trib 程序创建一个包含三个主节点和三个从节点的集群。

实际上，这一条命令，如果拆分为原生的redis命令来实现，则主要有以下4个过程：

1). 使用`CLUSTER MEET`命令将所有节点构建成一个集群；

2). 使用`CLUSTER REPLICATE`命令设置master/slave结构；

3). 使用`CLUSTER SETSLOTS`命令将16384个slot分配到集群中的master中；

4). 等待集群的状态变为OK。

 

检查集群的状态

./bin/redis-trib.rb check 192.168.6.67:6381

Connecting to node 192.168.6.67:6381: OK

Connecting to node 192.168.6.155:7381: OK

Connecting to node 192.168.6.155:7383: OK

Connecting to node 192.168.6.67:6383: OK

Connecting to node 192.168.6.67:6382: OK

Connecting to node 192.168.6.155:7382: OK

>>> Performing Cluster Check (using node 192.168.6.67:6381)

M: dbe006a034acd5181ab780c9a00bba9cc3648b7e 192.168.6.67:6381

   slots:5461-10922 (5462 slots) master

   1 additional replica(s)

M: cff060f60fd642d9a01d9abf5f0ad41152b0107c 192.168.6.155:7381

   slots:0-5460 (5461 slots) master

   1 additional replica(s)

S: 2024a7741929761e2ec2cf0aa41a81230181d273 192.168.6.155:7383

   slots: (0 slots) slave

   replicates dbe006a034acd5181ab780c9a00bba9cc3648b7e

S: 682e22f7fd296bef4f01f2952e5610367cb4fded 192.168.6.67:6383

   slots: (0 slots) slave

   replicates 8113b858a96ea24c36481c57163c3433cf08b704

S: 201293525b011941cbb0e7104fbe58c99dbba6e9 192.168.6.67:6382

   slots: (0 slots) slave

   replicates cff060f60fd642d9a01d9abf5f0ad41152b0107c

M: 8113b858a96ea24c36481c57163c3433cf08b704 192.168.6.155:7382

   slots:10923-16383 (5461 slots) master

   1 additional replica(s)

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

 

 

 

五．Redis-cluser集群管理

1.集群相关的命令

集群

CLUSTER INFO 打印集群的信息

CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。

节点

CLUSTER MEET   将 ip 和 port 所指定的节点添加到集群当中，让它成为集群的一份子。

CLUSTER FORGET  从集群中移除 node_id 指定的节点。

CLUSTER REPLICATE  将当前节点设置为 node_id 指定的节点的从节点。

CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。

槽(slot)

CLUSTER ADDSLOTS  [slot ...] 将一个或多个槽（slot）指派（assign）给当前节点。

CLUSTER DELSLOTS  [slot ...] 移除一个或多个槽对当前节点的指派。

CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。

CLUSTER SETSLOT  NODE  将槽 slot 指派给 node_id 指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。

CLUSTER SETSLOT  MIGRATING  将本节点的槽 slot 迁移到 node_id 指定的节点中。

CLUSTER SETSLOT  IMPORTING  从 node_id 指定的节点中导入槽 slot 到本节点。

CLUSTER SETSLOT  STABLE 取消对槽 slot 的导入（import）或者迁移（migrate）。

键

CLUSTER KEYSLOT  计算键 key 应该被放置在哪个槽上。

CLUSTER COUNTKEYSINSLOT  返回槽 slot 目前包含的键值对数量。

CLUSTER GETKEYSINSLOT   返回 count 个 slot 槽中的键。

 

eg： 

redis-cli -p 6381 cluster info

cluster_state:ok

cluster_slots_assigned:16384

cluster_slots_ok:16384

cluster_slots_pfail:0

cluster_slots_fail:0

cluster_known_nodes:6

cluster_size:3

cluster_current_epoch:6

cluster_my_epoch:1

cluster_stats_messages_sent:240686

cluster_stats_messages_received:240686

 

redis-cli -p 6381 cluster nodes

cff060f60fd642d9a01d9abf5f0ad41152b0107c 192.168.6.155:7381 master - 0 1448348247214 4 connected 0-5460

2024a7741929761e2ec2cf0aa41a81230181d273 192.168.6.155:7383 slave dbe006a034acd5181ab780c9a00bba9cc3648b7e 0 1448348247213 6 connected

dbe006a034acd5181ab780c9a00bba9cc3648b7e 192.168.6.67:6381 myself,master - 0 0 1 connected 5461-10922

682e22f7fd296bef4f01f2952e5610367cb4fded 192.168.6.67:6383 slave 8113b858a96ea24c36481c57163c3433cf08b704 0 1448348247213 5 connected

201293525b011941cbb0e7104fbe58c99dbba6e9 192.168.6.67:6382 slave cff060f60fd642d9a01d9abf5f0ad41152b0107c 0 1448348247213 4 connected

8113b858a96ea24c36481c57163c3433cf08b704 192.168.6.155:7382 master - 0 1448348247213 5 connected 10923-16383

 

 

 

2.添加master节点

给集群中添加一个master节点，基本方法是：先创建一个空节点（empty node）加入到集群中，然后将某些slot移动到这个空节点上,这个过程目前需要人工干预手动来进行添加！！

 

新节点添加到集群中

./bin/redis-trib.rb add-node 192.168.6.67:6384 192.168.6.67:6381

 

注意：

1). add-node : 将一个新的空节点添加到集群中，第一个是新节点ip:port, 第二个是任意一个已存在节点ip:port

2). 新节点没有包含任何数据，因为它没有包含任何slot。新加入的加点是一个主节点，当集群需要将某个从节点升级为新的主节点时， 这个新节点不会被选中

 

为新添加的节点分配slot

新节点添加到集群中

./bin/redis-trib.rb reshard 192.168.6.67:6384

 

#根据提示选择要迁移的slot数量

How many slots do you want to move (from 1 to 16384)? 5641  ###根据16384/3得来   

#选择要接受这些slot的node-id（从上面的只剩中可以看得到新添加这个节点的node-id）

What is the receiving node ID? f51e26b5d5ff74f85341f06f28f125b7254e61bf  

#选择slot来源:

#all表示从所有的master重新分配

#或者数据要提取slot的master节点id,最后用done结束

Please enter all the source node IDs.

  Type 'all' to use all the nodes as source nodes for the hash slots.

  Type 'done' once you entered all the source nodes IDs.

Source node #1:all

#打印被移动的slot后，输入yes开始移动slot以及对应的数据.

Do you want to proceed with the proposed reshard plan (yes/no)? yes

 

注意：

1.) 上面红色精体字是要输入的东西

2.) 浅蓝色是操作说明解释

3.) 通过 redis-cli -p 6381 cluster nodes | grep myself 来查看node id

 

#加入之后再检查一下集群状态

redis-trib.rb check 192.168.6.67:6381

 

3.添加slave 节点

给集群中添加一个slave节点，跟添加master方法稍有不同。

基本方法是：先创建一个空节点（empty node）加入到集群中，然后借助cluster replicate 来建立复制关系,这个过程也需要人工干预手动来进行添加！

 

把slave节点和主结点关联起来(有三种方法)

1.redis-cli连接上新节点shell,输入命令:cluster replicate 对应master的node-id

cluster replicate 3e65410f7d837211c05826805af5fddc65e1c3de 

2.redis-trib.rb add-node --slave 192.168.6.155:7384 192.168.6.67:6381 -------将该slave节点随机分配给集群中具有最少slave的master节点

3.redis-trib.rb add-node --slave --master-id 3e65410f7d837211c05826805af5fddc65e1c3de 192.168.6.155:7384 192.168.6.67:6381 -----将slave节点分配给指定的master节点

 

 

注意:在线添加slave 时，需要bgsave整个master数据，并传递到slave，再由 slave加载rdb文件到内存，rdb生成和传输的过程中消耗Master大量内存和网络IO,以此不建议单实例内存过大，线上小心操作。

 

4.在线reshard 数据

对于负载/数据不均匀的情况，可以在线reshard slot来解决,方法与添加新master的reshard一样，只是需要reshard的master节点是已存在的老节点.

 

5.删除slave节点

删除一个slave比较简单，命令格式：redis-trib.rb del-node ip:port '' 

如：

删除salve节点

redis-trib.rb del-node 192.168.6.155:7384 '2aa9f5b5c6ecc0e9452eb533ae4cf0ed30d8d064' 

Redis 7384实例也会跟着关闭

 

 

 

 

6.删除master节点

把192.168.6.67:6384当前master迁移到192.168.6.67:6381上：

redis-trib.rb reshard 192.168.6.67:6381

 

#根据提示选择要迁移的slot数量

How many slots do you want to move (from 1 to 16384)? 5641(被删除master的所有slot数量)

#选择要接受这些slot的node-id(192.168.6.67:6381)

What is the receiving node ID? dbe006a034acd5181ab780c9a00bba9cc3648b7e

Please enter all the source node IDs.

  Type 'all' to use all the nodes as source nodes for the hash slots.

  Type 'done' once you entered all the source nodes IDs.

Source node #1:3e65410f7d837211c05826805af5fddc65e1c3de(被删除master的node-id)

Source node #2:done

#打印被移动的slot后，输入yes开始移动slot以及对应的数据.

Do you want to proceed with the proposed reshard plan (yes/no)? yes

 

注意，上面的交互式操作还可以通过全命令行来操作：

./redis-trib.rb reshard --from  --to  --slots --yes  : 

redis-trib.rb reshard --from 3e65410f7d837211c05826805af5fddc65e1c3de --to dbe006a034acd5181ab780c9a00bba9cc3648b7e --slots 5641 --yes 192.168.6.67:6381

 

六．故障转移

127.0.0.1:6381> KEYS *

1) "user"

2) "name"

 

模拟master主库节点6381挂掉

[root@localhost ~]# ps -ef | grep redis

root      7514     1  0 Nov24 ?        00:27:40 ./bin/redis-server 0.0.0.0:6381 [cluster]           

root     17021     1  0 Nov24 ?        00:27:42 ./bin/redis-server 0.0.0.0:6382 [cluster]           

root     17879     1  0 Nov24 ?        00:27:07 ./bin/redis-server 0.0.0.0:6383 [cluster]           

root     18518     1  0 Nov24 ?        00:17:59 ./bin/redis-server 0.0.0.0:6384 [cluster]           

root     34457 29054  0 14:28 pts/2    00:00:00 redis-cli -p 6381

root     44163 29554  0 14:29 pts/3    00:00:00 grep redis

[root@localhost ~]# 

[root@localhost ~]# kill -9 7514

 

 

 

主库192.168.6.67:6381 对应的从库为192.168.6.155:7383

 

 

 

连接到从库查看数据

[root@localhost ~]# redis-cli -p 7383  -h 192.168.6.155

192.168.6.155:7383> 

192.168.6.155:7383> keys *

1) "user"

2) "name"

192.168.6.155:7383> 

 

如果其余几个主库挂掉，会自动切换到从库，保证集群的可用性。但是如果同一组的主从都挂掉则整个集群不可用。