varnish代理服务器部署
Varnish与Squid的对比
说到Varnish，不能不提Squid，Squid是一个高性能的代理缓存服务器，它和varnish之间有诸多的异同点，这里分析如下：
下面是他们之间的相同点：
（1）都是一个反向代理服务器。
（2）都是开源软件。
下面是它们的不同点，也是Varnish的优点：
（1）Varnish的稳定性很高，两者在完成相同负荷的工作时，Squid服务器发生故障的几率要高于Varnish，因为使用Squid要经常重启。
（2）Varnish访问速度更快，Varnish采用了“Visual Page Cache”技术，所有缓存数据都直接从内存读取，而squid是从硬盘读取，因而Varnish在访问速度方面会更快。
（3）Varnish可以支持更多的并发连接，因为Varnish的TCP连接释放要比Squid快。因而在高并发连接情况下可以支持更多TCP连接。
（4）Varnish可以通过管理端口，使用正则表达式批量的清除部分缓存，而Squid是做不到的。
（5） squid属于是单进程使用单核CPU，但Varnish是通过fork形式打开多进程来做处理，所以是合理的使用所有核来处理相应的请求。
（6）Varnish的性能更高，挪威最大的在线报纸 Verdens Gang 使用3台Varnish代替了原来的12台Squid，可见性能比以前更好。
当然，与传统的Squid相比，Varnish也是有缺点的，列举如下：
1） varnish进程一旦Hang、Crash或者重启，缓存数据都会从内存中完全释放，此时所有请求都会发送到后端服务器，在高并发情况下，会给后端服务器造成很大压力。
2） 在varnish使用中如果单个url的请求通过HA/F5（负载均衡）每次请求不同的varnish服务器中，被请求varnish服务器都会被穿透到后端，而且同样的请求会在多台服务器上缓存，也会造成varnish的缓存的资源浪费，也会造成性能下降。
解决方案：
1） 综上 所述在访问量很大的情况下推荐使用varnish的内存缓存方式启动，而且后面需要跟多台squid服务器。主要为了防止前面的varnish服务、服务 器被重启的情况下，前期肯定会有很多的穿透这样squid可以担当第二层CACHE，而且也弥补了varnish缓存在内存中重启都会释放的问题。
2） 这样的问题可以在负载均衡上做url哈希，让单个url请求固定请求到一台varnish服务器上，可以解决该问题。
注：上面的解决方法还需要全面的测试，没有经过证实。
下面我们就来部署varnish：
主机环境： rhel6 selinux and iptables disabled
实验主机：www.westos.org bbs.westos.org 192.168.0.50 varnish
server1.example.com 192.168.0.1 apache
server2.example.com 192.168.0.2 apache (各主机做以上解析)
VCL处理流程图
处理过程大致分为如下几个步骤：
（1）Receive状态，也就是请求处理的入口状态，根据VCL规则判断该请求应该是Pass或Pipe，或者进入Lookup（本地查询）。
（2）Lookup状态，进入此状态后，会在hash表中查找数据，若找到，则进入Hit状态，否则进入miss状态。
（3）Pass状态，在此状态下，会进入后端请求，即进入fetch状态。
（4）Fetch状态，在Fetch状态下，对请求进行后端的获取，发送请求，获得数据，并进行本地的存储。
（5）Deliver 状态， 将获取到的数据发送给客户端，然后完成本次请求。
1. 安装(192.168.0.50)
http://repo.varnish-cache.org/redhat/varnish-3.0/el6/x86_64/
yum localinstall -y varnish-3.0.5-1.el6.x86_64.rpm varnish-libs-3.0.5-1.el6.x86_64.rpm
2. 配置
# vi /etc/varnish/default.vcl
###配置一个后端服务器
backend web1 {
.host = "192.168.0.1";
.port = "80";
}
###查看缓存命中情况
sub vcl_deliver {
if (obj.hits > 0) {
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http.X-Cache = "MISS from westos cache";
}
return (deliver);
}
###配置varnish服务端口
# vi /etc/sysconfig/varnish
VARNISH_LISTEN_PORT=80
# service varnish start
3.测试缓存命中
# curl -I 192.168.0.50
HTTP/1.1 200 OK
Server: Apache/2.2.15 (Red Hat)
Last-Modified: Mon, 20 Aug 2012 15:22:19 GMT
ETag: "1c13aa-16-4c7b4135e08a6"Content-Type: text/html; charset=UTF-8
Content-Length: 22
Accept-Ranges: bytes
Date: Fri, 24 Aug 2012 14:30:40 GMT
X-Varnish: 766467032
Age: 0
Via: 1.1 varnish
Connection: keep-alive
X-Cache: MISS from westos cache #未命中
# curl -I 192.168.0.50
HTTP/1.1 200 OK
Server: Apache/2.2.15 (Red Hat)
Last-Modified: Mon, 20 Aug 2012 15:22:19 GMT
ETag: "1c13aa-16-4c7b4135e08a6"
Content-Type: text/html; charset=UTF-8
Content-Length: 22
Accept-Ranges: bytes
Date: Fri, 24 Aug 2012 14:30:54 GMT
X-Varnish: 766467033 766467032
Age: 14
Via: 1.1 varnish
Connection: keep-alive
X-Cache:HIT from westos cache #命中
### 通过 varnishadm 手动清除缓存
# varnishadm ban.url .*$ #清除所有
# varnishadm ban.url /index.html #清除index.html页面缓存
# varnishadm ban.url /admin/$ #清除admin目录缓存
4.定义多个不同域名站点的后端服务器
#vim /etc/varnish/default.vcl
backend web1 {
.host = "192.168.0.1";
.port = "80";
}
backend web2 {
.host = "192.168.0.2";
.port = "80";
}
#当访问www.westos.org域名时从web1上取数据，访问bbs.westos.org域名时到web2取数据，访问其他页面报错。
sub vcl_recv {
if (req.http.host ~ "^(www.)?westos.org") {
set req.http.host = "www.westos.org";
set req.backend = web1;
} elsif (req.http.host ~ "^bbs.westos.org") {
set req.backend = web2;
} else { error 404 "westos cache";
}
}
sub vcl_deliver {
if (obj.hits > 0){
set resp.http.X-Cache = "HIT from westos cache";
}
else {
set resp.http.X-Cache = "MISS from westos cache";
}
return (deliver);
}
# service varnish reload
网页访问web:www.westos.org web:bbs.westos.org则会显示不同的内容。
5.定义负载均衡
##添加虚拟主机
vim /etc/httpd/conf/httpd.conf(192.168.0.2上的操作)
NameVirtualHost *:80
DocumentRoot /var/www/html
ServerName www.westos.org
DocumentRoot /var/www/web2 （你要自己创建这么目录哦！）
ServerName bbs.westos.org
#echo bbs.westos.org > /var/www/web2/index.html
#service httpd restart
##定义健康检查
probe healthcheck {
.url = "/index.html"; # 哪个 url需要varnish请求
.interval = 5s; #检查的间隔时间
.timeout = 1s; #等待多长时间探针超时
.window = 5; #维持5个sliding window的结果
.threshold = 3; #至少有三次window是成功的，就宣告bachend健康
}
backend web1 {
.host = "192.168.0.1";
.port = "80";
.probe = healthcheck;
}
backend web2 {
.host = "192.168.0.2";
.port = "80";
.probe = healthcheck;
}
director lb round-robin { #把多个后端聚合为一个组，并检测后端健康状况
{ .backend = web1; }
{ .backend = web2; }
}sub vcl_recv {
if (req.http.host ~ "^(www.)?westos.org") {
set req.http.host = "www.westos.org";
set req.backend = lb;
return (pass); #为了测试方便，不进行缓存。
} elsif (req.http.host ~ "^bbs.westos.org") {
set req.backend = web2;
} else {
error 404 "westos cache";
}
}
# service varnish reload
这时web访问http://www.westos.org/就会显示不同的内容，即实现了负载均衡。
6.varnish cdn推送平台
http://code.google.com/p/varnish-php-bansys/
#需要安装php支持
# unzip bansys.zip -d /var/www/html
# vi /var/www/html/bansys/config.php #只保留如下设置，其余注释掉(注意：注释掉并不是删除掉，删除会造成推送网页的乱码！)
$var_group1 = array(
'host' => array('192.168.0.50'),
'port' => '6082',
);
//varnish群组定义
//对主机列表进行绑定
$VAR_CLUSTER = array(
'www.westos.org' => $var_group1,
);
//varnish版本 //2.x和3.x推送命令不一样
$VAR_VERSION = "3";
?>
#bansys有两种工作模式，分别是：telnet和http模式。
#telnet模式需要关闭varnish服务管理端口的验证,注释掉/etc/sysconfig/varnish “ 文件中的 -S ${VARNISH_SECRET_FILE}”这行，重启varnish服务即可。
#如果是http模式需要对varnish做以下设置：
# vi /etc/varnish/default.vcl
acl westos {
#设置访问控制
"127.0.0.1";
"192.168.0.0"/24;
}
sub vcl_recv {
if (req.request == "BAN") {
if (!client.ip ~ westos) {
error 405 "Not allowed.";
}
ban("req.url ~ " + req.url);
error 200 "ban added";
}
}
修改httpd的端口号
#vim /etc/httpd/conf/httpd.conf Listen 8080(大概是136行)
# service varnish reload
##推送是为了更新cache，让原网页失效，这样从外网访问内网的时候就是最新的数据。
--leeypp@gmail.com
来自：http://my.oschina.net/leeypp1/blog/297551