按照目录或者URL清除Squid的cache-yifangyou-ChinaUnix博客

yifangyouyifangyou.blog.chinaunix.net

首页　| 　博文目录　| 　关于我

yifangyou

博客访问： 4212251
博文数量： 291
博客积分： 8003
博客等级：大校
技术积分： 4275
用户组：普通用户
注册时间： 2010-10-30 18:28

文章分类

全部博文（291）

geode（1）
交叉编译（1）
路由器（1）
技术会议（1）
移动开发（3）

flash（1）
IOS（11）
项目管理（1）
mac（7）
翻译（2）
读书（8）
phonegap（0）
java（26）
javascript（5）
android（3）
虚拟机（5）
php（15）
win7技巧（4）
硬件（1）
windows（12）
c开发（13）
shell（2）
windows技巧（7）
linux系统（32）
linux环境开发（18）
perl（11）
日记（25）
开发（46）
数据库（22）
未分配的博文（8）

文章存档

2017年（1）

2013年（47）

2012年（115）

2011年（121）

2010年（7）

我的朋友

相关博文

按照目录或者URL清除Squid的cache

分类：系统运维

2012-06-23 22:17:02

当我们需要清除squid的某个URL，我们需要对squid发出purge请求，但是一次只能发出一个请求清除一个URL。

当我们修改了某个模版或者页头和页尾时，会影响到某个目录下的很多个页面或者全站所有页面，需要清除某个域名目录下的所有时，

1）比较笨的方法是列出所有的URL进行一个个清除，这种方法在URL数目太多时，提取URL是个难题

2）更好的是停止squid把cache目录清空，然后重新建立索引目录，这种方法需要停止服务

3）自然过期，但是这种时间太长，况且修改模版不会引起last-modified的变化

我对这三种办法都感觉不满意，于是我研究了squid的cache文件格式见《从squid cache文件中提取url》，我写了一个程序实现了

1）提交多个url，可以一块清除对应的缓存

2）提交多个目录，可以把以对应目录为前缀的所有URL删除

3）当提交域名时，表示全站清空。

代码如下(下面的代码显示有点错乱，大家可以到文库里查找yifangyou上传的文档,刚才才上传的没有审核通过因此不便提供下载链接)：

点击(此处)折叠或打开

<?php
/*
* 作者:yifangyou
日期:2012-06-19 14:00:00
功能:按照多个目录或者多个URL的方式，清除squid的cache
*/
//代理服务器的ip
$proxyIp="127.0.0.1";
//代理服务器端口
$proxyPort=83;
//代理服务器的缓存目录
$cacheDir="D:/squid_var/cache";
$proxySites=array(
//用户访问的域名 => 被代理的实际网站的域名，若是都是80的话就是一样即可
""=>":83"
);
$output="";
$result=array();
$filedirs = array();
//提交多个url的处理过程
if($_POST["urls"]){
//访问的域名
$accessSite=$_POST["accessSite"];
//被代理的网站
$proxySite=$proxySites[$accessSite];
$output.=
"
执行结果
\n
```
\n";
```
$urls=explode ("\n",$_POST["urls"]);
foreach($urls as $url2){
$url=trim($url2);
$output.="------------------------$url start-----------------------------\n";
$pos = strpos($url, $accessSite);
if ($pos !== false && $pos==0) {
$url=str_replace($accessSite, $proxySite,$url);
if(purge($proxyIp,$proxyPort,$url)==0){
$result[$url2]=0;
}else{
$result[$url2]=1;
}
}else{
$output.="skip $url\n";
$result[$url2]=-1;
}
$output.="------------------------$url end -----------------------------\n";
}
$output.="\n";
}
//提交多个目录的处理过程
if($_POST["dirs"]){
//访问的域名
$accessSite=$_POST["accessSite"];
//被代理的网站
$proxySite=$proxySites[$accessSite];
//解析出多个要清除的URL
$clearUrls=explode ("\n",$_POST["dirs"]);
//替换为被代理的网站
if($$proxySite){
foreach($ds as $d){
$d=str_replace($accessSite, $proxySite,$d);
$clearUrls[]=$d;
}
}
//递归扫描cache目录下所有的cache文件路径
scan_dir($cacheDir);
$cacheurls = array();
foreach($filedirs as $filename){
if(!is_file($filename)){
continue;
}
//获取各个cache文件中的URL
$cacheUrl=getUrlFromCacheFile($filename);
foreach($clearUrls as $clearUrl){
$clearUrl=str_replace($accessSite, $proxySite,$clearUrl);
$pos=strpos($cacheUrl,$clearUrl);
// echo "$cacheUrl,$clearUrl,$pos
";
//比较和
if($pos===0){
//获得要清除的真实URL
$cacheurls[]=$cacheUrl;
}
}
}
//获得要清除的Url后，逐个清除
if(count($cacheurls) > 0){
$accessSite=$_POST["accessSite"];
$proxySite=$proxySites[$accessSite];
$output.=
"
执行结果
\n
```
\n";
```
foreach($cacheurls as $url2){
$url=trim($url2);
$output.="------------------------$url start-----------------------------\n";
$pos = strpos($url, $accessSite);
//清除URL
if(purge($proxyIp,$proxyPort,$url)==0){
$result[$url2]=0;
}else{
$result[$url2]=1;
}
$output.="------------------------$url end -----------------------------\n";
}
$output.="\n";
}else{
foreach($clearUrls as $u){
$result[$u]=-1;
}
}
}
?>
<!DOCTYPE html>
<html xmlns="">
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
<title>刷新squid</title>
<body>
<?php
if($result){
        echo "\n";
        foreach($result as $url=>$isOk){
            switch($isOk){
                case 0://成功
                $r="成功";
                break;
                case 1://成功
                $r="失败";
                break;
                case -1://跳过
                $r="跳过";
                break;
            }
            if($$proxySite){
                $url=str_replace($proxySite, $accessSite, $url);
            }
            echo "
\n";
        }
        echo "
URL 结果
$url $r
\n";
}
?>
<form action="" method="post">
<table >
<tr><td>选择站点：</td></tr>
<tr><td>
<select name="accessSite" >
<?php
foreach($proxySites as $accessSite=>$proxySite){
echo "\n";
}
?>
</select>
</td></tr>
<tr><td>输入一组URL(一个一行)：</td></tr>
<tr><td><textarea name="urls" style="width:1000px;height:200px;"></textarea></td></tr>
<tr><td>刷新目录(一个一行)：</td></tr>
<tr><td><textarea name="dirs" style="width:1000px;height:200px;"></textarea></td></tr>
<tr><td><input type="submit" value="提交" /></td></tr>
</table>
</form>
<?php
echo $output;
?>
</body></html>
<?php
//清除某个URL的cache文件
function purge($proxyIp,$proxyPort,$url)
{
global $output;
$host = parse_url($url);
$host = $host['host'];
if (empty($proxyIp)) {
$proxyIp = gethostbyname($host);
}
if (empty($proxyPort)) {
$proxyPort = "80";
}
$output.="正在从服务器".$proxyIp."更新".$url."\n";
$errstr = '';
$errno = '';
$fp = fsockopen ($proxyIp, $proxyPort, $errno, $errstr, 2);
if (!$fp)
{
$output.="连接失败！";
return -1;
}
else
{
$out = "PURGE ".$url." HTTP/1.1\r\n";
$out .= "Host:".$host."\r\n";
$out .= "Connection: close\r\n\r\n";
$output.="***********request start**************\n";
$output.=$out;
$output.="***********request end **************\n";
fputs ($fp, $out);
$output.="***********response start**************\n";
//是否更新成功
$isOk=false;
while($out = fgets($fp , 4096)){
if($out=="HTTP/1.0 200 OK\r\n"){
//更新成功
$isOk=true;
}
$output.=$out;
if($out=="\r\n"){
break;
}
}
fclose ($fp);
$output.="***********response end **************\n";
flush();
if($isOk){
return 0;
}else{
return 1;
}
}
}
//递归扫描cache目录下所有文件路径
function scan_dir($dir) {
global $filedirs;
if (!is_dir($dir)) return false;
if ($dh = opendir($dir)) {
while (($file = readdir($dh)) !== false) {
if ($file[0] == '.') continue;
if($file=='swap.state')continue;
$fullpath = "$dir/$file";
$filedirs[] = $fullpath;
if (is_dir($fullpath))
scan_dir($fullpath);
}
closedir($dh);
}
return $filedirs;
}
//从cache文件中提取真实的URL
function getUrlFromCacheFile($filename){
//cache文件头长度
$headerLen=0x40;
$handle = fopen($filename, "rb");
if(!$handle){
return -1;
}
//读取文件的前1k字节
$contents = fread($handle, 1024);
fclose($handle);
if(strlen($contents)<=$headerLen){
return -2;
}
//截掉文件头
$contents=substr($contents,$headerLen);
//cache文件的分隔符为\0
$pos=strpos($contents, chr(0));
if($pos===FALSE){
return -3;
}
//获取分隔符前的字符串
$contents=substr($contents,0,$pos);
return $contents;
}
?>