一、需求
前段时间做了一个项目,在后台有很多的数据都放入到了cache中了,而且还会对cache中的数据进行更新。如果只有一台server没有任何问题,但是如果考虑到集群负载平衡,连接多个server的时候,就有问题出现了,怎么样才能保证多个server之间cache的同步呢?请看下面的部署图。
![](http://www.blogjava.net/images/blogjava_net/swingboat/DeploymentDiagram.jpg)
二、引入JGroups
JGroups是一个可靠的组间通讯工具,进程可以加入一个通讯组,给组内所有的成员或单独的成员发送消息,同样,也可以从组中的成员处接收消息。
系统会记录组的每一个成员,在新成员加入或是现有的成员离开或是崩溃时,会通知组内的其他成员。
当我们更新一台server上的cache的时候,利用JGroups进行广播,其他的server接收到广播,根据接收到的信息来更新自己的cache,这样达到了
每个server的cache同步。
三、实现
1、定义一个接口BaseCache规定出对cache类操作的方法
1![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedBlockStart.gif)
public interface BaseCache
{
2
3
public void put(String key, Object ob);
4
public Object get(String key);
5
6
public void delete(String key);
7
public void batchDelete(String[] list);
8
public void batchDelete(List list);
9
public void deleteAll();
10
11
}
2、定义一个同步器(CacheSynchronizer),这个类利用JGroups进行发送广播和接收广播
1![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedBlockStart.gif)
public class CacheSynchronizer
{
2
private static String protocolStackString=
3
"UDP(mcast_addr=235.11.17.19;mcast_port=32767;ip_ttl=3;"+
4
"mcast_send_buf_size=150000;mcast_recv_buf_size=80000):"+
5
"PING(timeout=2000;num_initial_members=3):"+
6
"MERGE2(min_interval=5000;max_interval=10000):"+
7
"FD_SOCK:"+
8
"VERIFY_SUSPECT(timeout=1500):"+
9
"pbcast.NAKACK(gc_lag=50;retransmit_timeout=300,600,1200,2400,4800):"+
10
"pbcast.STABLE(desired_avg_gossip=20000):"+
11
"UNICAST(timeout=2500,5000):"+
12
"FRAG:"+
13
"pbcast.GMS(join_timeout=5000;join_retry_timeout=2000;shun=false;print_local_addr=false)";
14
private static String groupName="YHPTEST";
15
16
private Channel jgroupsChannel=null;
17
18
//inner class ,定义接收广播,已经对接收到的广播进行处理
19![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
private class ReceiveCallback extends ExtendedReceiverAdapter
{
20
private BaseCache cache=null;
21![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void setCache(BaseCache baseCache)
{//设置cache类
22
cache=baseCache;
23
}
24![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void receive(Message msg)
{
25
if(cache==null) return ;
26
String strMsg = (String) msg.getObject();
27![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
if(strMsg!=null&&(!"".equals(strMsg)))
{
28
cache.put(strMsg, strMsg); //根据接收到的广播,同步cache
29
}
30
}
31
}
32
33
private ReceiveCallback recvCallback = null;
34
35![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public CacheSynchronizer(BaseCache cache) throws Exception
{
36
jgroupsChannel = new JChannel(protocolStackString);
37
recvCallback = new ReceiveCallback();
38
recvCallback.setCache(cache);
39
jgroupsChannel.setReceiver(recvCallback);
40
jgroupsChannel.connect(groupName);
41
}
42
43![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
/** *//**
44
* 发送广播信息,我们可以自定义广播的格式。
45
* 这里简单起见,仅仅发送一个字符串
46
* @param sendMsg
47
* @throws Exception
48
*/
49![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void sendCacheFlushMessage(String sendMsg)throws Exception
{
50
jgroupsChannel.send(null, null, sendMsg); //发送广播
51
52
}
53
}
3、定义cache类,调用同步器同步cache
1![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedBlockStart.gif)
public class TestDataCache implements BaseCache
{
2
private Map dataCache=null;//保持cache数据
3
private CacheSynchronizer cacheSyncer = null; //同步器
4
5
//inner class for thread safe.
6![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
private static final class TestDataCacheHold
{
7
private static TestDataCache theSingleton=new TestDataCache();
8![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public static TestDataCache getSingleton()
{
9
return theSingleton;
10
}
11![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
private TestDataCacheHold()
{}
12
}
13
14
//Prevents to inherit
15![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
private TestDataCache()
{
16
dataCache=new HashMap();
17
createSynchronizer();
18
}
19
20![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public static TestDataCache getInstance()
{
21
return TestDataCacheHold.getSingleton();
22
}
23
24![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public CacheSynchronizer getSynchronizer()
{
25
return cacheSyncer;
26
}
27
28![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public int getCacheLength()
{
29
return dataCache.size();
30
}
31
32![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void createSynchronizer()
{
33![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
try
{
34
cacheSyncer=new CacheSynchronizer(this);
35![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
}catch(Exception e)
{
36
e.printStackTrace();
37
}
38
}
39
40![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void batchDelete(String[] list)
{
41
if(list!=null) return ;
42![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
synchronized (dataCache)
{
43![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
for(int i=0;i<list.length;i++)
{
44![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
if(list[i].length()>0)
{
45
dataCache.remove(list[i]);
46
}
47
}
48
}
49![](http://www.blogjava.net/Images/OutliningIndicators/InBlock.gif)
50
}
51![](http://www.blogjava.net/Images/OutliningIndicators/InBlock.gif)
52![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void batchDelete(List list)
{
53![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
synchronized (dataCache)
{
54
Iterator itor=list.iterator();
55![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
while(itor.hasNext())
{
56
String tmpKey=(String)itor.next();
57![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
if(tmpKey.length()>0)
{
58
dataCache.remove(tmpKey);
59
}
60
}
61
}
62
}
63![](http://www.blogjava.net/Images/OutliningIndicators/InBlock.gif)
64![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void delete(String key)
{
65![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
synchronized (dataCache)
{
66
dataCache.remove(key);
67
}
68
}
69![](http://www.blogjava.net/Images/OutliningIndicators/InBlock.gif)
70![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void deleteAll()
{
71![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
synchronized (dataCache)
{
72
dataCache.clear();
73
}
74![](http://www.blogjava.net/Images/OutliningIndicators/InBlock.gif)
75
}
76![](http://www.blogjava.net/Images/OutliningIndicators/InBlock.gif)
77![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public Object get(String key)
{
78
Object theObj=null;
79![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
synchronized (dataCache)
{
80
theObj =dataCache.get(key);
81
}
82
return theObj;
83
}
84![](http://www.blogjava.net/Images/OutliningIndicators/InBlock.gif)
85![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
public void put(String key, Object obj)
{
86
Object theObj=null;
87![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
synchronized (dataCache)
{
88
theObj=dataCache.get(key);
89![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
if(theObj==null)
{
90
dataCache.put(key, obj);
91![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
}else
{
92
theObj=obj;
93
}
94
}
95
}
96![](http://www.blogjava.net/Images/OutliningIndicators/InBlock.gif)
97
}
98![](http://www.blogjava.net/Images/OutliningIndicators/None.gif)
4、更新cache,测试是否同步
1
Scanner cin=new Scanner(System.in);
2
String input=cin.next().trim();
3
TestDataCache cache=TestDataCache.getInstance();
4![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedBlockStart.gif)
while(!"q".equalsIgnoreCase(input))
{
5![](http://www.blogjava.net/Images/OutliningIndicators/ExpandedSubBlockStart.gif)
if(!"".equals(input))
{
6
cache.put(input, input);
7
cache.getSynchronizer().sendCacheFlushMessage(input);
8
}
9
System.out.println(cache.getCacheLength());
10
input=cin.next();
11
}
我打开两个Eclipse,run此程序,输入测试数据,控制台显示同步后cache的长度。
下面是相应的类图:
![](http://www.blogjava.net/images/blogjava_net/swingboat/ClassDiagram.jpg)
四、引申
在此实例中,我们为简单起见仅仅考虑了新增对cache的同步,如果是个真正的项目,这显然是不够的。这样我们就必须定义出消息的格式,例如操作的对象,操作的命令等等。根据消息的定义来执行同步数据的操作。
五、附录
Multicast是一种同时像多台机器发送数据的机制。
Multicast使用224.0.0.0 到 239.255.255.255 这段IP来传送数据,这段IP地址是保留的,发送到这上面的数据不会通过你的子网转发。
在RFC-1060中定义了一部分预留的组播地址,使用时应注意不要重复。
一些比较特别的组播地址:(更多内容请查看RFC-1060)
1) 224.0.0.0 这个是保留地址,不会被指定到任何的组播组
2) 224.0.0.1 这个地址在所有的主机上被指定为一个永久组播组,这个地址可以用来找到本地子网内所有的组播主机。
使用ping 224.0.0.1可以查看这些地址
在一个组播中的所有主机使用一个相同的组播地址,它们被称为一个组(Group),组中的成员是动态的,他们可以随时加入或者离开组。每台主机可以同时是多个组的成员,也可以不属于任何一个组。比较特别的是,并不是只有组中的成员才可以给组发送数据。
组分为两种,一种是永久性的,一种是动态的。对于永久性的组,他们拥有一个众所周知的管理IP地址,这个地址不是组中的成员,它是永久的。永久性的组可以拥有任何数量的成员,甚至没有成员。而动态组只有在拥有成员的时候才存在。JGroups使用的就是动态组来实现组播数据的。
六、参考
http://renex.spaces.live.com/blog/cns!93BE33C757C385AE!280.entry?_c=BlogParthttp://puras.javaeye.com/blog/81783 七、备注
在linux下,如果要调用JGroups,启动Tomcat时,必须修改catalina.sh,增加下面的参数:
JAVA_OPTS=" -Djava.net.preferIPv4Stack=true "
请参考下面的链接:
http://weblogs.java.net/blog/dcengija/archive/2006/04/jgroups_demos_o.html