# create by bdkyr
# date 2014-8-10
# 参考网上资源修改的配置文件参数
# 转载请注明
http://woaimaidong.blog.chinaunix.net
一、硬件环境
lenovo RD540
二、软件环境
server OS IP
Varnish-server CentOS 5.8 192.168.12.246
Web-server CentOS 5.8 192.168.12.26
三、部署
3.1创建varnish用户以及用户组
useradd -s /sbin/nologin varnish
3.2创建Varnish缓存目录和日志目录：
mkdir /data/varnish/cache
mkdir /data/varnish/log
chown -R varnish:varnish /data/varnish/cache
chown -R varnish:varnish /data/varnish/log
3.3下载varnish软件
3.3.1安装pcre,兼容正则表达式。
unzip pcre-8.31.zip
cd pcre-8.31
./configure --prefix=/usr/local/pcre/
make && make install
cd ..
3.3.2安装varnish
cd /home/xuekun/soft
wget
tar zxvf varnish-4.0.0.tar.gz
cd varnish-4.0.0
export PKG_CONFIG_PATH=/usr/local/pcre/lib/pkgconfig
./configure --prefix=/application/varnish-4.0.0 \
--enable-dependency-tracking \
--enable-debugging-symbols \
--enable-developer-warnings
make && make install
ln -s /application/varnish-4.0.0 /application/varnish
mkdir /application/varnish/etc
cp redhat/varnish.initrc /etc/init.d/varnish
cp redhat/varnish.sysconfig /etc/sysconfig/varnish
cp etc/example.vcl /application/varnish/etc/varnish_vcl.conf
cd ../
说明：“PKG_CONFIG_PATH”是指定varnish查找pcre库的路径，
如果pcre安装在了其它路径下，在这里指定相应的路径即可，
Varnish默认查找的pcre库路径为/usr/local/lib/ pkgconfig。
最后两步操作是拷贝一些varnish守护进程的初始化脚本文件，
这些脚本用于varnish的启动、关闭管理等方面，至此，varnish安装完毕。
四、配置Varnish
4.1、VCL使用说明
VCL，即为Varnish Configuation Language，用来定义varnish的存取策略，VCL语法比较简单，跟C和perl比较相似，可以使用指定运算符“=”，比较运算符“==”，逻辑运算符“!,&&,!!”等形式。还支持正则表达样和用“~”进行ACL匹配运算，同时还可以使用“set”这样的关键字来指定变量。
需要注意的是，“\”字符在VCL里没有特别的含义，这点与其它语言略有不同，另外，VCL只是配置，并不是真正的编程语言，没有循环，也没有自定义变量。
在讲述Varnish配置之前，首先需要了解下varnish的配置语法，即VCL，下面对VCL常用的一些内置函数和公用变量进行详细介绍。
VCL内置函数
（1）vcl_recv函数
用于接收和处理请求，当请求到达并成功接收后被调用，通过判断请求的数据来决定如何处理请求。
此函数一般以如下几个关键字结束：
? pass：表示进入pass模式，把请求控制权交给vcl_pass函数。
? pipe：表示进入pipe模式，把请求控制权交给vcl_pipe函数。
? error code [reason]：表示返回“code”给客户端，并放弃处理该请求，“code”是错误标识，例如200、405等，“reason”是错误提示信息。
（2）vcl_pipe函数
此函数在进入pipe模式时被调用，用于将请求直接传递至后端主机，在请求和返回的内容没有改变的情况下，将不变的内容返回给客户端，直到这个链接关闭。
此函数一般以如下几个关键字结束：
? error code [reason]
? pipe
（3）vcl_pass函数
此函数在进入pass模式时被调用，用于将请求直接传递至后端主机，后端主机应答数据后送给客户端，但不进行任何缓存，在当前连接下每次都返回最新的内容。
此函数一般以如下几个关键字结束：
? error code [reason]
? pass
（4）lookup
表示在缓存里查找被请求的对象，并且根据查找的结果把控制权交给函数vcl_hit或者函数vcl_miss。
（5）vcl_hit函数
在执行lookup指令后，如果在缓存中找到请求的内容，将自动调用该函数。
此函数一般以如下几个关键字结束：
? deliver：表示将找到的内容发送给客户端，并把控制权交给函数vcl_deliver。
? error code [reason]
? pass
（6）vcl_miss函数
在执行lookup指令后，如果没有在缓存中找到请求的内容时自动调用该方法，此函数可以用于判断是否需要从后端服务器取内容。
此函数一般以如下几个关键字结束：
? fetch：表示从后端获取请求的内容，并把控制权交给vcl_fetch函数。
? error code [reason]
? pass
（7）vcl_fetch函数
在从后端主机更新缓存并且获取内容后调用该方法，接着，通过判断获取的内容来决定是否将内容放入缓存，还是直接返回给客户端。
此函数一般以如下几个关键字结束：
? error code [reason]
? pass
? deliver
（8）vcl_deliver函数
在缓存中找到请求的内容后，发送给客户端前调用此方法。此函数一般以如下几个关键字结束：
? error code [reason]
? deliver
（9）vcl_timeout 函数
此函数在缓存内容到期前调用。一般以如下几个关键字结束：
? discard：表示从缓存中清除该内容。
? fetch
（10）vcl_discard函数
在缓存内容到期后或缓存空间不够时，自动调用该方法，一般以如下几个关键字结束：
? keep：表示将内容继续保留在缓存中。
? discard
4.2、VCL处理流程图
通过上面对VCL函数的介绍，读者对各个函数实现的功能已经有了一个了解，其实每个函数之间都是相互关联的，下图列出了varnish处理HTTP请求的一个运行流程图。
处理过程大致分为如下几个步骤：
（1） Receive状态，也就是请求处理的入口状态，根据VCL规则判断该请求应该是Pass或Pipe，或者进入Lookup（本地查询）。
（2） Lookup状态，进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入miss状态。
（3） Pass状态，在此状态下，会进入后端请求，即进入fetch状态。
（4） Fetch状态，在Fetch状态下，对请求进行后端的获取，发送请求，获得数据，并进行本地的存储。
（5） Deliver状态， 将获取到的数据发送给客户端，然后完成本次请求。
4.3、内置公用变量
VCL内置的公用变量可以用在不同的VCL函数中，根据这些公用变量使用的不同阶段，下面依次介绍。
当请求到达后，可以使用的公用变量如表2所示：
表2
公用变量名称 含义
req.backend 指定对应的后端主机
server.ip 表示服务器端IP
client.ip 表示客户端IP
req.request 指定请求的类型，例如GET、HEAD、POST等
req.url 指定请求的地址
req.proto 表示客户端发起请求的HTTP协议版本
req.http.header 表示对应请求中的http头部信息
req. restarts 表示请求重启的次数，默认最大值为4
Varnish 在向后端主机请求时，可以使用的公用变量如表3所示：
表3
公用变量名称 含义
beresp.request 指定请求的类型，例如GET、HEAD等
beresp.url 指定请求的地址
beresp .proto 表示客户端发起请求的HTTP协议版本
beresp .http.header 表示对应请求中的http头部信息
beresp .ttl 表示缓存的生存周期，也就是cache保留多长时间，单位是秒
从cache或者后端主机获取内容后，可以使用的公用变量如表4所示：
表4
公用变量名称 含义
obj.status 表示返回内容的请求状态代码，例如200、302、504等
obj.cacheable 表示返回的内容是否可以缓存，也就是说，如果HTTP返回是200、203、300、301、302、404、410等，并且有非0的生存期，则可以缓存
obj.valid 表示是否是有效的HTTP应答
obj.response 表示返回内容的请求状态信息
obj.proto 表示返回内容的HTTP协议版本
obj.ttl 表示返回内容的生存周期，也就是缓存时间，单位是秒
obj.lastuse 表示返回上一次请求到现在的间隔时间，单位是秒
对客户端应答时，可以使用的公用变量如表5所示：
表5
公用变量名称 含义
resp.status 表示返回给客户端的HTTP状态代码
resp.proto 表示返回给客户端的HTTP协议版本
resp.http.header 表示返回给客户端的HTTP头部信息
resp.response 表示返回给客户端的HTTP状态信息
在上面的讲述中，我们只是介绍了常用的VCL内置公用变量，如果需要了解和使用更多的公用变量信息，请登录varnish官方网站查阅。
五 、配置一个简单的Varnish实例
由于版本的不同，Varnish配置文件的写法也存在一定差异，varnish2.x版本和1.x版本之间不但配置文件写法不同，而且新的版本功能也增加很多，并且去除了很多应用BUG，这里讲述的版本是varnish2.1.2，配置文件写法也以varnish2.x版本为基准。
Varnish安装完成后，默认的配置文件为/usr/local/varnish/etc/varnish/default.vcl，此文件内容默认全部被注释掉了，这里，我们以这个文件为模板，创建一个新的文件vcl.conf，并且放到/usr/local/varnish/etc目录下，配置完成的vcl.conf文件如下：
#通过backend定义了一个名称为webserver的后端主机，“.host”指定后端主机的IP地址或者域名，“.port”指定后端主机的服务端口。其中，“192.168.12.26”就是后端的一个web服务器。
backend webserver {
.host = "192.168.12.26";
.port = "80";
}
#调用vcl_recv开始。
sub vcl_recv {
if (req.http.x-forwarded-for) {
set req.http.X-Forwarded-For =
req.http.X-Forwarded-For ", " client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
#如果请求的类型不是GET、HEAD、PUT、POST、TRACE、OPTIONS、DELETE时，进入pipe模式。注意这里是“&&”的关系。
if (req.request != "GET" &&
req.request != "HEAD" &&
req.request != "PUT" &&
req.request != "POST" &&
req.request != "TRACE" &&
req.request != "OPTIONS" &&
req.request != "DELETE") {
return (pipe);
}
#如果请求的类型不是GET与HEAD，则进入pass模式。
if (req.request != "GET" && req.request != "HEAD") {
return (pass);
}
#对ixdba.net或者ixdba.cn两个域名进行缓存加速，这是个泛域名的概念，也就是所有以ixdba.net或者ixdba.cn结尾的域名都进行缓存。
if (req.http.host ~ "^(.*).ixdba.net" || req.http.host ~ "^(.*).ixdba.cn") {
set req.backend = webserver;
}
#对以.jsp和.do结尾以及带有?的URL时，直接从后端服务器读取内容。
if (req.url ~ "\.(jsp|do)($|\?)") {
return (pass);
} else {
return (lookup);
}
}
sub vcl_pipe {
return (pipe);
}
sub vcl_pass {
return (pass);
}
sub vcl_hash {
set req.hash += req.url;
if (req.http.host) {
set req.hash += req.http.host;
} else {
set req.hash += server.ip;
}
return (hash);
}
sub vcl_hit {
if (!obj.cacheable) {
return (pass);
}
return (deliver);
}
sub vcl_miss {
return (fetch);
}
sub vcl_fetch {
if (!beresp.cacheable) {
return (pass);
}
if (beresp.http.Set-Cookie) {
return (pass);
}
#当url中包含servlet时，不进行缓存。
if (req.url ~ "^/servlet/") {
return (pass);
}
#当url中包含services时，不进行缓存。
if (req.url ~ "^/services/") {
return (pass);
}
#对于请求类型是GET，并且请求的URL中包含upload，那么就进行缓存，缓存的时间是300秒，即5分钟。
if (req.request == "GET" && req.url ~ "^/upload(.*)$") {
set beresp.ttl = 300s;
}
#对于请求类型是GET，并且请求的URL以png、xsl、xml、gif、css、js等结尾时，则进行缓存，缓存时间为600秒。
if (req.request == "GET" && req.url ~ "\.(png|xsl|xml|pdf|ppt|doc|docx|chm|rar|zip|bmp|jpeg|swf|ico|mp3|mp4|rmvb|ogg|mov|avi|wmv|swf|txt|png|gif|jpg|css|js|html|htm)$") {
set beresp.ttl = 600s;
}
return (deliver);
}
#下面是添加一个Header标识，以判断缓存是否命中。
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from ";
} else {
set resp.http.X-Cache = "MISS from ";
}
return (deliver);
}
#############################
backend www {
.host = "";
.port = "80";
}
acl purge {
"localhost";
"127.0.0.1";
"172.16.2.0"/24;
}
sub vcl_recv {
if (req.restarts == 0) {
if (req.http.x-forwarded-for) {
set req.http.X-Forwarded-For =
req.http.X-Forwarded-For ", " client.ip;
} else {
set req.http.X-Forwarded-For = client.ip;
}
}
if (req.request != "GET" &&
req.request != "HEAD" &&
req.request != "PUT" &&
req.request != "POST" &&
req.request != "TRACE" &&
req.request != "OPTIONS" &&
req.request != "DELETE") {
/* Non-RFC2616 or CONNECT which is weird. */
return (pipe);
}
if (req.request != "GET" && req.request != "HEAD") {
/* We only deal with GET and HEAD by default */
return (pass);
}
if (req.http.Authorization || req.http.Cookie) {
/* Not cacheable by default */
return (pass);
}
else {
lookup;
}
return (lookup);
}
sub vcl_pipe {
return (pipe);
}
sub vcl_pass {
return (pass);
}
sub vcl_hash {
set req.hash += req.url;
if (req.http.host) {
set req.hash += req.http.host;
} else {
set req.hash += server.ip;
}
return (hash);
}
sub vcl_hit {
if (!obj.cacheable) {
return (pass);
}
return (deliver);
}
sub vcl_miss {
return (fetch);
}
sub vcl_fetch {
if (!beresp.cacheable) {
return (pass);
}
if (beresp.http.Set-Cookie) {
return (pass);
}
return (deliver);
}
sub vcl_deliver {
return (deliver);
}
sub vcl_error {
set obj.http.Content-Type = "text/html; charset=utf-8";
synthetic {"
"">
"} obj.status " " obj.response {"
Error "} obj.status " " obj.response {"
"} obj.response {"
Guru Meditation:
XID: "} req.xid {"
Varnish cache server
"};
return (deliver);
}
###################################
配置文件解释：
(1)、Varnish通过反向代理请求后端IP为172.16.2.223，端口为80的web服务器；
(2)、Varnish允许localhost、127.0.0.1、172.16.2.233 三个来源IP通过PURGE方法清除缓存；
(3)、Varnish对域名为的请求进行处理，非域名的请求则返回“bdkyr Cache Server”；
(4)、Varnish对HTTP协议中的GET、HEAD请求进行缓存，对POST请求透过，让其直接访问后端Web服务器。之所以这样配置，是因为POST请求一般是发送数据给服务器的，需要服务器接收、处理，所以不缓存；
(5)、Varnish对以.txt和.js结尾的URL缓存时间设置1小时，对其他的URL缓存时间设置为30天。
启动Varnish
ulimit -SHn 65535
/application/varnish/sbin/varnishd -f /application/varnish/etc/varnish/bdkyr_vcl.conf -a 172.16.2.223:80 -s file,/bdkyr/data/vcache,1G -w 1024,51200,10 -t 3600 -T 172.16.2.223:3500
参数:
-u 以什么用运行
-g 以什么组运行
-f varnish 配置文件
-a 绑定 IP 和端口
-s varnish 缓存文件位置与大小
-w 最小,最大线程和超时时间
-T varnish 管理端口,主要用来清除缓存
启动varnishncsa用来将Varnish访问日志写入日志文件：
/application/varnish/bin/varnishncsa -w /bdkyr/logs/varnish.log &
停止Varnish
pkill varnish
配置开机自动启动Varnish
vi /etc/rc.local
在末尾增加以下内容：
ulimit -SHn 65535
/application/varnish/sbin/varnishd -f /application/varnish/etc/varnish/bdkyr_vcl.conf -a 172.16.2.223:80 -s file,/bdkyr/data/vcache,1G -w 1024,51200,10 -t 3600 -T 172.16.2.223:3500
/application/varnish/bin/varnishncsa -n /bdkyr/data/vcache -w /bdkyr/logs/varnish.log &
优化Linux内核参数
vi /etc/sysctl.conf
在末尾增加以下内容：
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 300
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.ip_local_port_range = 5000 65000
sysctl -p
管理Varnish：
1、查看Varnish服务器连接数与命中率：
//application/varnish/bin/varnishstat
2、通过Varnish管理端口进行管理：
用help看看可以使用哪些Varnish命令：
//application/varnish/bin/varnishadm -T 172.16.2.223:3500 help
[root@vanish ~]# //application/varnish/bin/varnishadm -T 172.16.2.223:3500 help
help [command]
ping [timestamp]
auth response
quit
banner
status
start
stop
stats
vcl.load
vcl.inline
vcl.use
vcl.discard
vcl.list
vcl.show
param.show [-l] []
param.set
purge.url
purge [&& ]...
purge.list
3、通过Varnish管理端口，使用正则表达式批量清除缓存：
(1)、例：清除类似http:///download/111.html的URL地址）：
//application/varnish/bin/varnishadm -T 172.16.2.223:3500 url.purge /download/
(2)、例：清除类似http:///dl 的URL地址：
//application/varnish/bin/varnishadm -T 172.16.2.223:3500 url.purge w*$
(3)、例：清除所有缓存：
//application/varnish/bin/varnishadm -T 172.16.2.223:3500 url.purge *$
Varnish日志切割脚本
cat /root/scripts/cut_varnish_log.sh
#!/bin/sh
# This script run at 00:00
date=$(date -d "yesterday" +"%Y-%m-%d")
pkill -9 varnishncsa
mv /bdkyr/logs/varnish/images.log /bdkyr/logs/varnish/${date}.log
//application/varnish/bin/varnishncsa -w /bdkyr/logs/varnish/images.log &
mkdir -p /bdkyr/logs/varnish/logsbak/
gzip -c /bdkyr/logs/varnish/${date}.log > /bdkyr/logs/varnish/logsbak/${date}.log.gz
rm -f /bdkyr/logs/varnish/${date}.log
rm -f /bdkyr/logs/varnish/logsbak/$(date -d "-1 month" +"%Y-%m*").log.gz
chmod 700 /root/scripts/cut_varnish_log.sh
设置在每天00:00定时执行：
crontab -e
# Info : 每天切割varnish日志
# Author : dingtm
# CTime : 2011.04.08
0 0 * * * /root/scripts/cut_varnish_log.sh 