全部博文(535)
分类: LINUX
2012-03-06 16:14:58
目前很多网站都使用Squid作为前端缓存服务器并取得了很好的效果,成都全搜索也分别在网通和电信部署了专门的前端缓存服务器用于缓存图片,视频,静态页面,js等静态资源。 (全搜索系统架构逻辑示意图) 网站进行内容更新是常有的事情,当被缓存的资源更新时,前端Squid缓存服务器内容也必须要相应的更新,否则用户就可能会看到过期的数据。当没有程序支持时就需要每次登录到服务器上执行刷新操作,在服务器数量小的的时候这种方式还可行,如果服务器数量上了一定的规模,这就是一种非常笨重的处理方式,以下分别介绍通过编程方式实现刷新Squid的三种方法: 1. refresh_pattern用于配置Squid的刷新策略,当Squid没有配置ignonre-reload来忽略客户端no-cache和reload头的时候。 ignore-reload - ignores a client no-cache or reload header. Doing this VIOLATES the HTTP standard. Enabling this feature could make you liable for problems which it causes.(ignore-reload,忽略客户端no-cache或reload头,这是违反HTTP标准的做法,允许此特性可能导致相关问题.) 在这种情况下可以通过模拟客户端向服务器发送no-cache头(ctrl + f5就完成此功能)来实现刷新操作。发送的请求头如下: (httpwatch关于no-cache请求头的截图)
2. 通过PURGE头刷新缓存,这需要Suqid配置ACL以允许PURGE请求头,实例如下: acl AdminBoxes src 127.0.0.1 172.16.0.1 192.168.0.1 acl Purge method PURGE http_access allow AdminBoxes Purge http_access deny Purge 打开配置之后可以使用如下的请求头来完成删除操作 PURGE HTTP/1.0 上个例子代码中,把HEAD修改为PURGE即可,如下:
3. 通过使用多播HTCP包来完成Squid清理,这是MediaWiki目前正在使用的方法,当wiki更新时用于更新全球的Squid缓存服务器,实现原理为:发送PURGE请求到特定的多播组,所有Squid服务器通过订阅该多播组信息完成删除操作,这种实现方式非常高效,避免了Squid服务器处理响应和建立TCP连接的开销。参考资料: 发送no-cache头的方式在很多情况下不适用,因为大多数站长都会配置ignore-reload来阻止no-cache和reload头以提高Squid的命中率;通过适当的权限控制PURGE清理将是一种非常简单可行的方式,考虑到安全问题我们可以仅允许特定的主机进行PURGE清理操作,对第1,2种方式进行简单的变通就可以用于管理较大规模数量的前端缓存服务器 - 我们可以在被允许的主机上提供一个专门的后台刷新队列,这个刷新队列在接收到刷新操作时就多线程的向前端服务器发送删除指令,这样就达到了同步刷新的效果。第3种方式没有进行过尝试,因为需要安装相应的补丁,并进行配置,操作成本相对较高,在服务器数量特别巨大的情况下这无疑是一种非常高效的实现方式。 |