Memcached是一个很好的东西.在分布式内存管理领域给我很有启发性.不过其分布式的处理不是在其服务器端实现,而是在基于客户端的一个中间层上实现的.这种处理分布式的方式在应付中小型要求上很有实际效果.由于不能维持一个动态的分布式Hash表,因此其在分布式应用上的高度还不够.不过这个方法提供了一个学习的例子.
文章借鉴了heiyeluren的blog(黑夜路人的开源世界)在这篇帖子上编写了一个session类,并做了修改,生成的新类在文章末尾以文件方式给出.如果有兴趣,可以供参考.同时提供了两个运用的例子,在此向heiyeluren致敬了.
本文内容如下:
1.关于本文档
2.libevent,memcache相关说明
3.搭建memcache分布式环境
4.mem_session类说明
5.两个样例程序说明
6.使用过程中需要注意的问题
1.关于本文档
本文档是用来构建存储session的memcache环境,并对session操作类mem_session做了详细说明,提供了两个使用该类的例子.
文档分六个部分:
第一部分.关于本文档,主要介绍文档组织和文档目的
第二部分.libevent,memcache相关说明,主要介绍搭建环境中使用到的软件包.
第三部分.搭建memcache分布式环境,主要诠释怎样搭建分布式memcache环境
第四部分.mem_session类说明,主要分析mem_session类的成员函数和变量,是文档的主要部分和重点所在
第五部分.两个样例程序说明,分析两个使用mem_session类操作session的例子
第六部分.使用过程中需要注意的问题,一些使用看法和问题提交
如果是系统工程师,请参考第一,二,三部分即可;如果是开发工程师,请仔细参考第二,四,五,六部分.如果需要在此基础上进行二次开发,请直接查看源代码.memcached的源代码下载地址: ,可以下载到最新版本.
2.libevent,memcache相关说明
搭建memcache的环境需要安装配置memcache服务器端和安装memcache客户端.而memcache服务器端是以daemon方式运行,下面将memcache服务器端简称为memcached,是基于libevent库实现异步io(使用epoll)的.因此在安装 memcached端是还需要安装libevent库,如果系统中不存在的话.
memcache的客户端是以php extension方式工作的.也即是php官方认可的软件包编译成php extension.当然,完全可以自己写一个memcache的客户端.具体编写方式网络上有一些相关的文档可以参考.
同时,需要注意的是,memcached部分实现的是内存空间分配和回收,以及存储服务监听和提供.对于分布式的实现,取决于客户端的使用和构造.我们使用的客户端是完全支持分布式的.只是可能会出现某些问题,这个在后面会有详细的描述.
3.搭建memcache分布式环境
搭建memcache分布式环境需要三个软件包,目前统一软件包的版本为:libevent-1.1b.tar.gz,memcache- 2.1.0.tgz,memcached-1.1.13.tar.gz.这些在31~34的/home/zhengyu/tools里面都能找到.
xplore提供下载:libevent,memcached,memcache下载
按以下三个步骤:
1) 先安装libevent：
引用
# tar zxvf libevent-1.1b.tar.gz
# cd libevent-1.1b
# ./configure --prefix=/usr
# make >make.log 2>&1
# sudo make install >install.log 2>&1
如果没有错误,那么应该是安装成功了,可以通过查看/usr/lib目录看看是否安装成功：
引用
# ls -al /usr/lib | grep libevent
lrwxrwxrwx 1 root root 22 Jan 9 13:34 libevent-1.1b.so.1 -> libevent-1.1b.so.1.0.2
-rwxr-xr-x 1 root root 91205 Jan 9 13:34 libevent-1.1b.so.1.0.2
-rw-r--r-- 1 root root 121472 Jan 9 13:34 libevent.a
-rwxr-xr-x 1 root root 808 Jan 9 13:34 libevent.la
lrwxrwxrwx 1 root root 22 Jan 9 13:34 libevent.so -> libevent-1.1b.so.1.0.2
2)再安装memcached:
引用
# tar zxvf memcached-1.1.13.tar.gz
# cd memcached-1.1.13
# ./configure --prefix=/usr/local --with-libevent=/usr
# make >make.log 2>&1
# sudo make install >install.log 2>&1
如果中间出现报错，请仔细检查错误信息，按照错误信息来配置或者增加相应的库或者路径。
安装完成后会把memcached放到 /usr/local/bin/memcached ，我们看以下是否安装了：
引用
# ls -al /usr/local/bin/mem*
-rwxr-xr-x 1 root root 78340 Jan 9 13:42 /usr/local/bin/memcached
-rwxr-xr-x 1 root root 80365 Jan 9 13:42 /usr/local/bin/memcached-debug
安装完成之后,必须启动一个memcached的守护进程,提供服务,启动方式如下:
引用
# /usr/local/bin/memcached -d -m 512 -l 10.68.1.31 -p 11211 -u www
还有其他的参数,具体可以参看memcached的说明文档:
引用
# /usr/local/bin/memcached -h
memcached 1.1.13
-p port number to listen on
-l interface to listen on, default is INDRR_ANY
-d run as a daemon
-r maximize core file limit
-u assume identity of (only when run as root)
-m max memory to use for items in megabytes, default is 64 MB
-M return error on memory exhausted (rather than removing items) ////注意
-c max simultaneous connections, default is 1024 ////注意
-k lock down all paged memory
-v verbose (print errors/warnings while in event loop)
-vv very verbose (also print client commands/reponses)
-h print this help and exit
-i print memcached and libevent license
-b run a managed instanced (mnemonic: buckets)
-P save PID in , only used with -d option ////pid文件
-d选项是启动一个守护进程，-m是分配给memcache使用的内存数量，单位是MB，-l是监听的服务器IP地址，-p是设置memcache监听的端口, -u是运行memcache的用户.还有-M,-P,-c参数可以设置.也可以启动多个守护进程，不过端口不能重复。
为了方便管理,在31~34的/home/zhengyu/bin下面有一个启动控制脚本,是为memcache服务的启动,关闭,重启服务的.名字为mem_session.sh,执行方式为:
引用
# /home/zhengyu/bin/mem_session.sh start|stop|restart [512(-m的参数)]
3)最后安装memcache的php客户端,这个在每个需要用到memcache服务的机器上都需要安装,memcache的php客户端是以php extension的方式安装的.
引用
# tar zxvf memcache-2.1.0.tgz
# cd memcache-2.1.0
# /usr/local/php/bin/phpize
# ./configure --enable-memcache --with-php-config=/usr/local/php/bin/php-config --with-zlib-dir
# make >make.log 2>&1
# sudo make install >install.log 2>&1
如果执行过程中没有出错的话,在install.log将回写入一个目录,这个目录即为编译好的extension memcache.so的所在地.
引用
Installing shared extensions: /usr/local/php/lib/php/extensions/no-debug-non-zts-20020429/
需要在php.ini文件中相应的位置加入:
引用
extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20020429/"
extension=memcache.so
或者将路径改变,自己定义.然后在memcache-2.1.0下有个example.php,修改了host,port之后就可以做个简单的测试了.
4.mem_session类说明
基于heiyeluren编写session类修改而来的mem_session类当作memcached的客户端,提供给php代码使用,此类是 svn库/data0/vshare/htdocs/include/mem_session.php.使用时只需引用该文件,同时引用 memcached服务器ip列表文件/data0/vshare/conf/memcache_server_ip.php(这个在类中已经完成了).
下面详细讲述mem_session中的变量与方法(目前试用的版本):
1.变量:
引用
$server_ip = array(); //在/data0/vshare/conf/memcache_server_ip.php中定义的memcached服务器ip列表
$sess_id = ''; //session id,一个md5串,128位,16个字节
$sess_key_prefix = 'sess_'; //区别别的session而加的session头描述
$sess_expire_time = 3600; //session的生存时长,固定为一个小时.目前版本的类中并没有一个修改它的方法.
$cookie_name = '__SessHandler'; //client中对应于该session的cookie名称
$cookie_expire_time = ''; //cookie的生存时长,默认为无限长,目前版本的类中也没有一个修改它的方法.
$conn = null; //建立到memcached的连接.
$error = ''; //错误字符串,目前版本只是简单的出错提示.
2.方法:
引用
函数名 参数返回值 函数描述备注
1 is_registered $key(string) true|false(bool) 判断某个键值是否在SESSION中已经注册(存在),存在返回true 无
2 register $key(string) true|false(bool)判断某个键值是否在SESSION中已经注册(存在),存在返回true 无
3 set $key,$value true将键为$key的值设置为$value，不管存在与否都将建立 无
4 unregister $key true将键为$key的变量注销掉无
5 destroy 无 true 将整个Session变量集注销掉无
6 get $key(string) false|$value(string) 获取键为$key的值$value无
7 get_all 无 $SESSION(array) 获取真个Session变量集无
8 get_sid 无 $sess_id(string) 获取当前session的32位id无
9 get_mem_config 无 $server_ip(array) 获取当前mem_session服务器的ip地址数组无
10 close_sess 无 true 关闭当前mem_session的连接无
11 debug 无 $error(string) 获取调试信息，简单的为出错信息的字符串无
---------------------------------------------------------------------------------------------------------------------------------
12 _get_session $sess_id $sess_data(array)内部函数，通过$sess_id获取$SESSION无
13 _save_session $sess_id true|false(bool)内部函数，保存$SESSION,并将其键设置为$sess_id 无
14 _init_memcache_obj 无 true|false(bool)在构造函数中初始化时调用无
5.两个样例程序说明
下面的两个例子,可以通过**访问到.
example1:
引用
include_once("include/mem_session.php"); //引入mem_session类说明
$mm = new mem_session();
echo "starting mem_session test
";
$sess_id = $mm->get_sid(); //获取当前会话的id
echo "
";
echo " sessid ".var_dump($sess_id);
echo "
";
$all = $mm->get_all(); //获取当前会话种入的所有变量值
var_dump($all);
$mm->register('akey','i am akey'); //向当前会话中创建一个变量,如果该变量存在,则不会做任何操作
$mm->register('bkey','i am bkey');
$mm->register('ckey','i am ckey');
$a1 = $mm->get('akey'); //获取当前会话中的单个变量.如果变量不存在,返回false.
$b1 = $mm->get('bkey');
$c1 = $mm->get('ckey');
var_dump($a1);
var_dump($b1);
var_dump($c1);
$mm->set("akey","i am aakey,notice: i am changed."); //设置当前会话中的一个变量,如果变量不存在,则先创建,然后设置.如果存在,则无条件设置
$a2 = $mm->get("akey");
var_dump($a2);
$mm->unregister('ckey'); //从当前会话中注销掉一个变量.如果不存在,不做任何操作.
$c2 = $mm->get('ckey');
var_dump($c2);
$error = $mm->debug(); //获取调试信息
var_dump($error);
$sess_id = $mm->get_sid();
echo "
";
echo " sessid ".var_dump($sess_id);
echo "
";
$another_all = $mm->_get_session($sess_id); //这个是内部函数,测试之用,极不推荐.
var_dump($another_all);
$mm->close_sess(); //关闭对mem_session服务器的链接
?>
example2:
这是一个更详细一点的样例.流程和上面的差不多.
引用
include_once("include/mem_session.php");
$mm = new mem_session();
echo "starting mem_session test
";
$sess_id = $mm->get_sid();
echo "
";
echo " sessid ".$sess_id;
echo "
";
$all = $mm->get_all();
print_r($all);
?>
********************************
********************************
if($_POST["set"] != "")
{
if((($key = trim($_POST["set_key"]))!="") && (($value = trim($_POST["set_value"]))!=""))
{
$mm->set($key,$value);
echo "
".$key." is set to value: ".$value."
";
}
else
{
echo "
you must fill all two field at first
";
}
}
if($_POST["get"] != "")
{
if(($key = trim($_POST["get_key"]))!="")
{
if($mm->is_registered($key) === true)
{
$value = $mm->get($key);
echo "
".$key." is alread exist with value: ".$value."
";
}
else
{
echo "
".$key." is not exist.
";
}
}
else
{
echo "
you must fill the keyword field at first
";
}
}
if($_POST["test"] != "")
{
if(($key = trim($_POST["test_key"]))!="")
{
if($mm->is_registered($key) === true)
{
$value = $mm->get($key);
echo "
".$key." is alread exist with value: ".$value."
";
}
else
{
echo "
".$key." is not exist.
";
}
}
else
{
echo "
you must fill the keyword field at first
";
}
}
if($_POST["sid"] != "")
{
if((($key = trim($_POST["sid_key"]))!="") && (strlen($key) == 32))
{
$all_sid = $mm->_get_session($key);
echo "
";
var_dump($all_sid);
echo "
";
}
else
{
echo "
you must fill all two field at first OR fill it normally
";
}
}
$error = $mm->debug();
echo "
The error is: ".$error."
";
$mm->close_sess();
?>
6.使用过程中需要注意的问题
对于session而言,关闭浏览器即将结束一个session.也就是session_id将会被撤消.但是储存在memcached服务器内存中的 key-value并没有消失.需要等到memcached的算法清除掉这些过时的信息.因此大量垃圾信息可能会导致memcache的低命中率.如果条件允许,你可以通过加大-m参数,也就是加大服务的内存空间,可以增加命中率.
由于memcached的思想是在自定义的客户端使用一个lib包支持分布式,这种思路值得学习.解决了一些问题,诸如一旦出现网络问题,能够确保数据的写入是正常的.但是却会出现另外的一些问题.如,网络问题导致某个分布式服务器中的一台失去联系之后,到这台机器恢复正常工作的这段时间内, 写入分布式服务器的数据将基本不可以获取.可以通过采用分布式hash表的方式解决这个问题.无疑,这将代价十分昂贵.
mem_session类:
define("MEMCACHE_SERVER_IP","/data0/vshare/conf/memcache_server_ip.php");
class mem_session
{
var $server_ip = array();
var $sess_id = '';
var $sess_key_prefix = 'sess_';
var $sess_expire_time = 3600;
var $cookie_name = '__SessHandler';
var $cookie_expire_time = '';
var $conn = null;
var $error = '';
function mem_session()
{
//array serverips
$this->start();
}
function start($expireTime = 0)
{
$sess_id = $_COOKIE[$this->cookie_name];
if (!$sess_id)
{
$this->error .= "Just a Notice: The sess_id is not exist at first.";
$this->sess_id = $this->_get_id();
$this->cookie_expire_time = ($expireTime > 0) ? time() + $expire_time : 0;
setcookie($this->cookie_name, $this->sess_id, $this->cookie_expire_time, "/", '');
$this->_init_memcache_obj();
$_SESSION = array();
$this->_save_session();
}
else
{
$this->sess_id = $sess_id;
$this->_init_memcache_obj();
$_SESSION = $this->_get_session($sess_id);
}
}
function is_registered($key)
{
if (!isset($_SESSION[$key]))
{
return false;
}
return true;
}
function register($key, $value)
{
if (isset($_SESSION[$key]))
{
return false;
}
$_SESSION[$key] = $value;
$this->_save_session();
return true;
}
function set($key, $value)
{
$_SESSION[$key] = $value;
$this->_save_session();
return true;
}
function unregister($key)
{
unset($_SESSION[$key]);
$this->_save_session();
return true;
}
function destroy()
{
$_SESSION = array();
$this->_save_session();
return true;
}
function get($key)
{
if (!isset($_SESSION[$key]))
{
return false;
}
return $_SESSION[$key];
}
function get_all()
{
return $_SESSION;
}
function get_sid()
{
return $this->sess_id;
}
function get_mem_config()
{
return $this->server_ip;
}
function close_sess()
{
memcache_close($this->conn);
}
function debug()
{
return $this->error;
}
///////////////////////////////////internal functions
function _get_id()
{
return md5(uniqid(microtime()));
}
function _init_memcache_obj()
{
include(MEMCACHE_SERVER_IP);
$server_num = count($serverips);
$this->server_ip = $serverips;
$conn_main = memcache_connect($serverips[0],11211);
$i=1;
while((!$conn_main) && ($i < $server_num))
{
$conn_main = memcache_connect($serverips[$i],11211);
$i++;
}
if(($i==$server_num) && (!$conn_main))
{
$this->error .= "All servers were bad
\n";
$this->conn = $conn_main;
return false;
}
for(;$i<$server_num;$i++)
{
$ret = memcache_add_server($conn_main,$serverips[$i],11211);
if($ret!=true)
{
$this->error .= " Servers: {$serverips[$i]} is bad
\n";
}
}
$this->conn = $conn_main;
return true;
}
function _get_session($sess_id = '')
{
$sess_key = $this->_get_sess_key($sess_id);
$sess_data = memcache_get($this->conn, $sess_key);
if (!is_array($sess_data) && empty($sess_data))
{
$this->error .= 'Failed: Session ID '. $sess_key .' session data not exists';
return false;
}
else
{
return $sess_data;
}
}
function _save_session($sess_id = '')
{
$sess_key = $this->_get_sess_key($sess_id);
$ret = memcache_set($this->conn, $sess_key , $_SESSION, 0, $this->sess_expire_time);
if (!$ret)
{
$this->error .= 'Failed: Save sessiont data failed, please check memcache server';
return false;
}
else
{
return true;
}
}
function _get_sess_key($sess_id = '')
{
$sess_key = ($sess_id == '') ? $this->sess_key_prefix.$this->sess_id : $this->sess_key_prefix.$sess_id;
return $sess_key;
}
///////////////////////////////////end
}
?>
