Chinaunix首页 | 论坛 | 博客

iammecn

首页　| 　博文目录　| 　关于我

iammecn

  • 博客访问： 23263
  • 博文数量： 1
  • 博客积分： 136
  • 博客等级： 入伍新兵
  • 技术积分： 45
  • 用 户 组： 普通用户
  • 注册时间： 2005-11-02 00:44
文章分类

全部博文（1）

文章存档

2012年（1）

我的朋友
最近访客
推荐博文
按照目录或者URL清除Squid的cache

分类：

2012-06-25 10:12:30

原文地址：按照目录或者URL清除Squid的cache 作者：yifangyou

    当我们需要清除squid的某个URL，我们需要对squid发出purge请求，但是一次只能发出一个请求清除一个URL。
    当我们修改了某个模版或者页头和页尾时，会影响到某个目录下的很多个页面或者全站所有页面，需要清除某个域名目录下的所有时，
     1）比较笨的方法是列出所有的URL进行一个个清除，这种方法在URL数目太多时，提取URL是个难题
     2）更好的是停止squid把cache目录清空，然后重新建立索引目录，这种方法需要停止服务
     3）自然过期，但是这种时间太长，况且修改模版不会引起last-modified的变化
    我对这三种办法都感觉不满意，于是我研究了squid的cache文件格式见《从squid cache文件中提取url》，我写了一个程序实现了
     1）提交多个url，可以一块清除对应的缓存
     2）提交多个目录，可以把以对应目录为前缀的所有URL删除
     3）当提交域名时，表示全站清空。

代码如下(下面的代码显示有点错乱，大家可以到文库里查找yifangyou上传的文档,刚才才上传的没有审核通过因此不便提供下载链接)：

点击(此处)折叠或打开

  1. <?php
  2. /*
  3.  * 作者:yifangyou
  4.    日期:2012-06-19 14:00:00
  5.    功能:按照多个目录或者多个URL的方式，清除squid的cache
  6.  */
  7.   //代理服务器的ip
  8.   $proxyIp="127.0.0.1";
  9.   //代理服务器端口
  10.     $proxyPort=83;
  11.     //代理服务器的缓存目录
  12.     $cacheDir="D:/squid_var/cache";
  13.     $proxySites=array(
  14.      //用户访问的域名 => 被代理的实际网站的域名，若是都是80的话就是一样即可
  15.         ""=>":83"
  16.     );
  17. $output="";    
  18. $result=array();
  19. $filedirs = array();
  20. //提交多个url的处理过程
  21. if($_POST["urls"]){
  22.     //访问的域名
  23.     $accessSite=$_POST["accessSite"];
  24.     //被代理的网站
  25.     $proxySite=$proxySites[$accessSite];
  26.     $output.="
    执行结果
    \n
    \n";
  27.     $urls=explode ("\n",$_POST["urls"]);
  28.     foreach($urls as $url2){
  29.         $url=trim($url2);
  30.         $output.="------------------------$url start-----------------------------\n";
  31.         $pos = strpos($url, $accessSite);
  32.         if ($pos !== false && $pos==0) {
  33.             $url=str_replace($accessSite, $proxySite,$url);
  34.             if(purge($proxyIp,$proxyPort,$url)==0){
  35.                 $result[$url2]=0;
  36.             }else{
  37.                 $result[$url2]=1;
  38.             }
  39.         }else{
  40.             $output.="skip $url\n";
  41.             $result[$url2]=-1;
  42.         }
  43.         $output.="------------------------$url end -----------------------------\n";
  44.     }
  45.     $output.="\n";
  46. }
  47. //提交多个目录的处理过程
  48. if($_POST["dirs"]){
  49.     //访问的域名
  50.   $accessSite=$_POST["accessSite"];
  51.   //被代理的网站
  52.   $proxySite=$proxySites[$accessSite];
  53.     //解析出多个要清除的URL
  54.     $clearUrls=explode ("\n",$_POST["dirs"]);
  55.     //替换为被代理的网站
  56.     if($$proxySite){
  57.         foreach($ds as $d){
  58.             $d=str_replace($accessSite, $proxySite,$d);
  59.             $clearUrls[]=$d;
  60.         }
  61.     }
  62.     //递归扫描cache目录下所有的cache文件路径
  63.     scan_dir($cacheDir);
  64.     $cacheurls = array();
  65.     foreach($filedirs as $filename){
  66.         if(!is_file($filename)){
  67.             continue;
  68.         }
  69.         //获取各个cache文件中的URL
  70.         $cacheUrl=getUrlFromCacheFile($filename);

  72.         foreach($clearUrls as $clearUrl){
  73.         
  74.          $clearUrl=str_replace($accessSite, $proxySite,$clearUrl);
  75.             $pos=strpos($cacheUrl,$clearUrl);
  76.             // echo "$cacheUrl,$clearUrl,$pos
    ";
  77.             //比较和
  78.             if($pos===0){
  79.                  //获得要清除的真实URL
  80.                     $cacheurls[]=$cacheUrl;
  81.             }
  82.         }
  83.     }
  84.     //获得要清除的Url后，逐个清除
  85.     if(count($cacheurls) > 0){
  86.         $accessSite=$_POST["accessSite"];
  87.         $proxySite=$proxySites[$accessSite];
  88.         $output.="
    执行结果
    \n
    \n";
  89.         foreach($cacheurls as $url2){

  91.             $url=trim($url2);
  92.             $output.="------------------------$url start-----------------------------\n";
  93.             $pos = strpos($url, $accessSite);
  94.             //清除URL
  95.             if(purge($proxyIp,$proxyPort,$url)==0){
  96.                     $result[$url2]=0;
  97.             }else{
  98.                     $result[$url2]=1;
  99.             }
  100.             $output.="------------------------$url end -----------------------------\n";
  101.         }
  102.         $output.="\n";
  103.     }else{
  104.         foreach($clearUrls as $u){
  105.             $result[$u]=-1;
  106.         }
  107.     }
  108. }
  109. ?>

  111. <!DOCTYPE html>
  112. <html xmlns="">
  113. <head>
  114. <meta http-equiv="Content-Type" content="text/html; charset=utf-8" />
  115. <title>刷新squid</title>
  116. <body>
  117. <?php
  118.     if($result){
  119.         echo "\n";
  120.         foreach($result as $url=>$isOk){
  121.             switch($isOk){
  122.                 case 0://成功
  123.                 $r="成功";
  124.                 break;
  125.                 case 1://成功
  126.                 $r="失败";
  127.                 break;
  128.                 case -1://跳过
  129.                 $r="跳过";
  130.                 break;
  131.             }
  132.             if($$proxySite){
  133.                 $url=str_replace($proxySite, $accessSite, $url);
  134.             }
  135.             echo "
    136. \n";
  136.         }
  137.         echo "
    138. URL结果
    $url$r
    \n"    ;
  138.     }
  139. ?>

  141. <form action="" method="post">
  142. <table >
  143. <tr><td>选择站点：</td></tr>
  144. <tr><td>
  145. <select name="accessSite" >
  146.     <?php
  147.         foreach($proxySites as $accessSite=>$proxySite){
  148.             echo "\n";
  149.         }
  150.     ?>
  151. </select>
  152. </td></tr>
  153. <tr><td>输入一组URL(一个一行)：</td></tr>
  154. <tr><td><textarea name="urls" style="width:1000px;height:200px;"></textarea></td></tr>
  155. <tr><td>刷新目录(一个一行)：</td></tr>
  156. <tr><td><textarea name="dirs" style="width:1000px;height:200px;"></textarea></td></tr>
  157. <tr><td><input type="submit" value="提交" /></td></tr>
  158. </table>
  159. </form>
  160. <?php
  161.     echo $output;
  162. ?>
  163. </body></html>
  164. <?php
  165. //清除某个URL的cache文件
  166. function purge($proxyIp,$proxyPort,$url)
  167. {
  168.     global $output;
  169.     $host = parse_url($url);
  170.     $host = $host['host'];
  171.     if (empty($proxyIp)) {
  172.         $proxyIp = gethostbyname($host);
  173.     }
  174.     if (empty($proxyPort)) {
  175.         $proxyPort = "80";
  176.     }
  177.     $output.="正在从服务器".$proxyIp."更新".$url."\n";
  178.     $errstr = '';
  179.     $errno = '';
  180.     $fp = fsockopen ($proxyIp, $proxyPort, $errno, $errstr, 2);
  181.     if (!$fp)
  182.     {
  183.          $output.="连接失败！";
  184.          return -1;
  185.     }
  186.     else
  187.     {
  188.         $out = "PURGE ".$url." HTTP/1.1\r\n";
  189.         $out .= "Host:".$host."\r\n";
  190.         $out .= "Connection: close\r\n\r\n";
  191.         $output.="***********request start**************\n";
  192.         $output.=$out;
  193.         $output.="***********request end **************\n";
  194.         fputs ($fp, $out);
  195.         $output.="***********response start**************\n";
  196.         //是否更新成功
  197.         $isOk=false;
  198.         while($out = fgets($fp , 4096)){
  199.             if($out=="HTTP/1.0 200 OK\r\n"){
  200.                 //更新成功
  201.                 $isOk=true;
  202.             }
  203.             $output.=$out;
  204.             if($out=="\r\n"){
  205.                 break;
  206.             }
  207.         }
  208.         fclose ($fp);
  209.         $output.="***********response end **************\n";        
  210.         flush();
  211.         if($isOk){
  212.             return 0;
  213.         }else{
  214.             return 1;
  215.         }
  216.     }
  217. }

  219. //递归扫描cache目录下所有文件路径
  220. function scan_dir($dir) {
  221.         global $filedirs;
  222.         if (!is_dir($dir)) return false;
  223.         if ($dh = opendir($dir)) {
  224.             while (($file = readdir($dh)) !== false) {
  225.                 if ($file[0] == '.') continue;
  226.                 if($file=='swap.state')continue;
  227.                 $fullpath = "$dir/$file";
  228.                 $filedirs[] = $fullpath;
  229.                 if (is_dir($fullpath))
  230.                     scan_dir($fullpath);
  231.             }
  232.             closedir($dh);
  233.         }
  234.         return $filedirs;
  235. }

  237. //从cache文件中提取真实的URL
  238. function getUrlFromCacheFile($filename){
  239.         //cache文件头长度
  240.         $headerLen=0x40;
  241.         $handle = fopen($filename, "rb");
  242.         if(!$handle){
  243.             return -1;
  244.         }
  245.         //读取文件的前1k字节
  246.         $contents = fread($handle, 1024);
  247.         fclose($handle);
  248.         if(strlen($contents)<=$headerLen){
  249.             return -2;
  250.         }
  251.         //截掉文件头
  252.         $contents=substr($contents,$headerLen);
  253.         
  254.         //cache文件的分隔符为\0
  255.         $pos=strpos($contents, chr(0));
  256.         if($pos===FALSE){
  257.             return -3;
  258.         }
  259.         //获取分隔符前的字符串
  260.         $contents=substr($contents,0,$pos);
  261.         return $contents;
  262. }
  263. ?>


测试过程：

阅读(685) | 评论(0) | 转发(0) |
0

上一篇：没有了

下一篇：没有了

给主人留下些什么吧！~~
关于我们 | 关于IT168 | 联系方式 | 广告合作 | 法律声明 | 免费注册

Copyright 2001-2010 ChinaUnix.net All Rights Reserved 北京皓辰网域网络信息技术有限公司. 版权所有

感谢所有关心和支持过ChinaUnix的朋友们

16024965号-6