Memcache详解

一、Memcache概述 

Memcache是danga.com的一个开源项目，可以类比于MySQL这样的服务。memcached 是高效、快速的分布式内存对象缓存系统，主要用于加速 WEB 动态应用程序。 
用自己的话说，memcache是一个服务器端软件，跟apache、mysql一样，也有自己的端口。维护一个存在于内存中的hash表。 

 



二、Memcache工作原理 
（1）初级 
首先 memcached 是以守护程序方式运行于一个或多个服务器中，随时接受客户端的连接操作，客户端可以由各种语言编写，目前已知的客户端 API 包括 Perl/PHP/Python/Ruby/Java/C#/C 等等。客户端在与 memcached 服务建立连接之后，接下来的事情就是存取对象了，每个被存取的对象都有一个唯一的标识符 key，存取操作均通过这个 key 进行，保存到 memcached 中的对象实际上是放置内存中的，并不是保存在 cache 文件中的，这也是为什么 memcached 能够如此高效快速的原因。注意，这些对象并不是持久的，服务停止之后，里边的数据就会丢失。 

与许多 cache 工具类似，Memcached 的原理并不复杂。它采用了C/S的模式，在 server 端启动服务进程，在启动时可以指定监听的 ip，自己的端口号，所使用的内存大小等几个关键参数。一旦启动，服务就一直处于可用状态。Memcached 的目前版本是通过C实现，采用了单进程，单线程，异步I/O，基于事件 (event_based) 的服务方式.使用 libevent 作为事件通知实现。多个 Server 可以协同工作，但这些 Server 之间是没有任何通讯联系的，每个 Server 只是对自己的数据进行管理。Client 端通过指定 Server 端的 ip 地址(通过域名应该也可以)。需要缓存的对象或数据是以 key->value 对的形式保存在Server端。key 的值通过 hash 进行转换，根据 hash 值把 value 传递到对应的具体的某个 Server 上。当需要获取对象数据时，也根据 key 进行。首先对 key 进行 hash，通过获得的值可以确定它被保存在了哪台 Server 上，然后再向该 Server 发出请求。Client 端只需要知道保存 hash(key) 的值在哪台服务器上就可以了。 

其实说到底，memcache 的工作就是在专门的机器的内存里维护一张巨大的 hash 表，来存储经常被读写的一些数组与文件，从而极大的提高网站的运行效率（当然花钱就是必不可免的事了，听说 MySpace 的每台 Cache 服务器都配备了至少 64G 的内存）。但是也要注意 memcache 不是万能的，毕竟网络方面的不稳定因素还是比较多的，如果不是很大的应用，我建议大家使用一些本地的轻量级的 Cache 库，比如 PHP 的 Cache_Lite 或者 Java 的 FileCache 等，最后希望大家读完这篇能有所收获 ：） 
（2）高级 
很多人把它当作和SharedMemory那种形式的存储载体来使用，虽然memcached使用了同样的“Key=>Value”方式组织数据，但是它和共享内存、APC等本地缓存有非常大的区别。Memcached是分布式的，也就是说它不是本地的。它基于网络连接（当然它也可以使用 localhost）方式完成服务，本身它是一个独立于应用的程序或守护进程（Daemon方式）。 

Memcached使用libevent库实现网络连接服务，理论上可以处理无限多的连接，但是它和Apache不同，它更多的时候是面向稳定的持续连接的，所以它实际的并发能力是有限制的。在保守情况下memcached的最大同时连接数为200，这和Linux线程能力有关系，这个数值是可以调整的。关于libevent可以参考相关文档。 Memcached内存使用方式也和APC不同。APC是基于共享内存和MMAP的，memcachd有自己的内存分配算法和管理方式，它和共享内存没有关系，也没有共享内存的限制，通常情况下，每个memcached进程可以管理2GB的内存空间，如果需要更多的空间，可以增加进程数。 

三、为什么要在Web中使用（memcache解决什么问题） 
（1）减少数据库压力 
这个算是比较重要的，所有的数据基本上都是保存在数据库当中的，每次频繁的存取数据库，导致 数据库性能极具下降，无法同时服务更多的用户，比如MySQL，特别频繁的锁表，那么让Memcache来分担数据库的压力吧。我们需要一种改动比较小， 并且能够不会大规模改变前端的方式来进行改变目前的架构。 

 


我考虑的一种简单方法： 
后端的数据库操作模块，把所有的Select操作提取出来 （update/delete/insert不管），然后把对应的SQL进行相应的hash算法计算得出一个hash数据key（比如MD5或者 SHA），然后把这个key去Memcache中查找数据，如果这个数据不存在，说明还没写入到缓存中，那么从数据库把数据提取出来，一个是数组类格式， 然后把数据在set到Memcache中，key就是这个SQL的hash值，然后相应的设置一个失效时间，比如一个小时，那么一个小时中的数据都是从缓 存中提取的，有效减少数据库的压力。缺点是数据不实时，当数据做了修改以后，无法实时到前端显示，并且还有可能对内存占用比较大，毕竟每次select出 来的数据数量可能比较巨大，这个是需要考虑的因素。




（2）什么场合使用？ 
在很多时候，memcached都被滥用了，这当然少不了对它的抱怨。我经常在论坛上看见有人发贴，类似于“如何提高效率”，回复是“用memcached”，至于怎么用，用在哪里，用来干什么一句没有。memcached不是万能的，它也不是适用在所有场合。 

Memcached是“分布式”的内存对象缓存系统，那么就是说，那些不需要“分布”的，不需要共享的，或者干脆规模小到只有一台服务器的应用，memcached不会带来任何好处，相反还会拖慢系统效率，因为网络连接同样需要资源，即使是UNIX本地连接也一样。 在我之前的测试数据中显示，memcached本地读写速度要比直接PHP内存数组慢几十倍，而APC、共享内存方式都和直接数组差不多。可见，如果只是本地级缓存，使用memcached是非常不划算的。 

Memcached在很多时候都是作为数据库前端cache使用的。因为它比数据库少了很多SQL解析、磁盘操作等开销，而且它是使用内存来管理数据的，所以它可以提供比直接读取数据库更好的性能，在大型系统中，访问同样的数据是很频繁的，memcached可以大大降低数据库压力，使系统执行效率提升。另外，memcached也经常作为服务器之间数据共享的存储媒介，例如在SSO系统中保存系统单点登陆状态的数据就可以保存在memcached 中，被多个应用共享。 

需要注意的是，memcached使用内存管理数据，所以它是易失的，当服务器重启，或者memcached进程中止，数据便会丢失，所以 memcached不能用来持久保存数据。很多人的错误理解，memcached的性能非常好，好到了内存和硬盘的对比程度，其实memcached使用内存并不会得到成百上千的读写速度提高，它的实际瓶颈在于网络连接，它和使用磁盘的数据库系统相比，好处在于它本身非常“轻”，因为没有过多的开销和直接的读写方式，它可以轻松应付非常大的数据交换量，所以经常会出现两条千兆网络带宽都满负荷了，memcached进程本身并不占用多少CPU资源的情况。 

四、安装memcache（在服务器端） 
（1）windows下 
（2）在linux下 

五、memcached服务器的管理 
（1）Windows下： 
启动 
查看端口，是否启动成功 

（2）Linux下： 
运行 memcached 守护程序很简单，只需一个命令行即可，不需要修改任何配置文件（也没有配置文件给你修改 ）： 

/usr/bin/memcached -d -m 128 -l 192.168.10.1 -p 10101 -u httpd 

参数解释： 
-d 以守护程序（daemon）方式运行 memcached； 
-m 设置 memcached 可以使用的内存大小，单位为 M； 
-l 设置监听的 IP 地址，如果是本机的话，通常可以不设置此参数； 
-p 设置监听的端口，默认为 11211，所以也可以不设置此参数； 
-u 指定用户，如果当前为 root 的话，需要使用此参数指定用户。 

当然，还有其它参数可以用，man memcached 一下就可以看到了。 

六、使用memcache（在客户端） 
不同语言：可以是php/JAVA等 
首先，建立连接。通过IP和端口。访问apache、mysql也是通过IP和端口。 
其实，连接成功后，使用： 
Add 
Set/replace 
Get 
Quit 
遍历：本身没提供。 
State子命令： stat items 
Stats cachedump 1 0 


附：PHP的Memcache 


< ?php 
//连接 
$mem = new Memcache; 
$mem->connect("192.168.0.200", 12000); 

//保存数据 
$mem->set('key1', 'This is first value', 0, 60); 
$val = $mem->get('key1'); 
echo "Get key1 value: " . $val ."
"; 

//替换数据 
$mem->replace('key1', 'This is replace value', 0, 60); 
$val = $mem->get('key1'); 
echo "Get key1 value: " . $val . "
"; 

//保存数组 
$arr = array('aaa', 'bbb', 'ccc', 'ddd'); 
$mem->set('key2', $arr, 0, 60); 
$val2 = $mem->get('key2'); 
echo "Get key2 value: "; 
print_r($val2); 
echo "
"; 

//删除数据 
$mem->delete('key1'); 
$val = $mem->get('key1'); 
echo "Get key1 value: " . $val . "
"; 

//清除所有数据 
$mem->flush(); 
$val2 = $mem->get('key2'); 
echo "Get key2 value: "; 
print_r($val2); 
echo "
"; 

//关闭连接 
$mem->close(); 
?> 


如果正常的话，浏览器将输出： 
Get key1 value: This is first value 
Get key1 value: This is replace value 
Get key2 value: Array ( [0] => aaa [1] => bbb [2] => ccc [3] => ddd ) 
Get key1 value: 
Get key2 value: 

程序代码分析 

初始化一个Memcache的对象： 
$mem = new Memcache; 

连接到我们的Memcache服务器端，第一个参数是服务器的IP地址，也可以是主机名，第二个参数是Memcache的开放的端口： 
$mem->connect("192.168.0.200", 12000); 

保存一个数据到Memcache服务器上，第一个参数是数据的key，用来定位一个数据，第二个参数是需要保存的数据内容，这里是一个字符串，第三个参数是一个标记，一般设置为0或者MEMCACHE_COMPRESSED就行了，第四个参数是数据的有效期，就是说数据在这个时间内是有效的，如果过去这个时间，那么会被Memcache服务器端清除掉这个数据，单位是秒，如果设置为0，则是永远有效，我们这里设置了60，就是一分钟有效时间： 
$mem->set(‘key1‘, ‘This is first value', 0, 60); 

从Memcache服务器端获取一条数据，它只有一个参数，就是需要获取数据的key，我们这里是上一步设置的key1，现在获取这个数据后输出输出： 
$val = $mem->get('key1′); 
echo "Get key1 value: " . $val; 

现在是使用replace方法来替换掉上面key1的值，replace方法的参数跟set是一样的，不过第一个参数key1是必须是要替换数据内容的key，最后输出了： 

$mem->replace(‘key1′, ‘This is replace value', 0, 60); 
$val = $mem->get(‘key1′); 
echo "Get key1 value: " . $val; 

同样的，Memcache也是可以保存数组的，下面是在Memcache上面保存了一个数组，然后获取回来并输出 
$arr = array(‘aaa', ‘bbb', ‘ccc', ‘ddd'); 
$mem->set(‘key2′, $arr, 0, 60); 
$val2 = $mem->get(‘key2′); 
print_r($val2); 

现在删除一个数据，使用delte接口，参数就是一个key，然后就能够把Memcache服务器这个key的数据删除，最后输出的时候没有结果 
$mem->delete(‘key1′); 
$val = $mem->get(‘key1′); 
echo "Get key1 value: " . $val . "
"; 

最后我们把所有的保存在Memcache服务器上的数据都清除，会发现数据都没有了，最后输出key2的数据为空，最后关闭连接 
$mem->flush(); 
$val2 = $mem->get(‘key2′); 
echo "Get key2 value: "; 
print_r($val2); 
echo "
"; 




七、Memcache的安全 
我们上面的 Memcache服务器端都是直接通过客户端连接后直接操作，没有任何的验证过程，这样如果服务器是直接暴露在互联网上的话是比较危险，轻则数据泄露被其 他无关人员查看，重则服务器被入侵，因为Mecache是以root权限运行的，况且里面可能存在一些我们未知的bug或者是缓冲区溢出的情况，这些都是 我们未知的，所以危险性是可以预见的。为了安全起见，我做两点建议，能够稍微的防止黑客的入侵或者数据的泄露。 

内网访问 
最好把两台服务器之间的访问是内网形态的，一般是Web服务器跟Memcache服务器之间。普遍 的服务器都是有两块网卡，一块指向互联网，一块指向内网，那么就让Web服务器通过内网的网卡来访问Memcache服务器，我们Memcache的服务 器上启动的时候就监听内网的IP地址和端口，内网间的访问能够有效阻止其他非法的访问。 
# memcached -d -m 1024 -u root -l 192.168.0.200 -p 11211 -c 1024 -P /tmp/memcached.pid 
Memcache服务器端设置监听通过内网的192.168.0.200的ip的11211端口，占用1024MB内存，并且允许最大1024个并发连接 

设置防火墙 
防火墙是简单有效的方式，如果却是两台服务器都是挂在网的，并且需要通过外网IP来访问Memcache的话，那么可以考虑使用防火墙或者代理程序来过滤非法访问。 
一般我们在Linux下可以使用iptables或者FreeBSD下的ipfw来指定一些规则防止一些非法的访问，比如我们可以设置只允许我们的Web服务器来访问我们Memcache服务器，同时阻止其他的访问。 
# iptables -F 
# iptables -P INPUT DROP 
# iptables -A INPUT -p tcp -s 192.168.0.2 –dport 11211 -j ACCEPT 
# iptables -A INPUT -p udp -s 192.168.0.2 –dport 11211 -j ACCEPT 
上面的iptables规则就是只允许192.168.0.2这台Web服务器对Memcache服务器的访问，能够有效的阻止一些非法访问，相应的也可以增加一些其他的规则来加强安全性，这个可以根据自己的需要来做。 

查看memcache的使用情况：          

查看当前的memcache连接数：

[root@mem1 ~]# netstat -n | grep :11211 | wc -l
15752

查看默认允许的连接数：
[root@mem1 ~]# cat /etc/rc.local 
#!/bin/sh
#
# This script will be executed *after* all the other init scripts.
# You can put your own initialization stuff in here if you don't
# want to do the full Sys V style init stuff.

touch /var/lock/subsys/local
/usr/local/bin/memcached -d -m 15360 -u root -l 172.20.1.54 -p 11211 -c 40960  
/usr/local/bin/memcached -d -m 512 -u root -l 172.20.1.54 -p 11212 -c 10000 

这里设置的11211端口默认连接数是40960

在网络上查到资料， Memcache也有自己的查看工具：

如何查看memcache服务器端版本:  ./memcached  -h

memcache的运行状态可以方便的用 stats 命令显示。
首先用telnet 127.0.0.1 11211这样的命令连接上memcache，然后直接输入stats就可以得到当前memcache的状态。
这些状态的说明如下：

pid	memcache服务器的进程ID
uptime	服务器已经运行的秒数
time	服务器当前的unix时间戳
version	memcache版本
pointer_size	当前操作系统的指针大小（32位系统一般是32bit）
rusage_user	进程的累计用户时间
rusage_system	进程的累计系统时间
curr_items	服务器当前存储的items数量
total_items	从服务器启动以后存储的items总数量
bytes	当前服务器存储items占用的字节数
curr_connections	当前打开着的连接数
total_connections	从服务器启动以后曾经打开过的连接数
connection_structures	服务器分配的连接构造数
cmd_get	get命令（获取）总请求次数
cmd_set	set命令（保存）总请求次数
get_hits	总命中次数
get_misses	总未命中次数
evictions	为获取空闲内存而删除的items数（分配给memcache的空间用满后需要删除旧的items来得到空间分配给新的items）
bytes_read	总读取字节数（请求字节数）
bytes_written	总发送字节数（结果字节数）
limit_maxbytes	分配给memcache的内存大小（字节）
threads	当前线程数