LVS性能优化及问题总结

转自：http://blog.chinaunix.net/uid-25723371-id-4835004.html

最近笔者又准备重操旧业，在捣鼓LVS方面的东西，所以就在网上扒拉了些关于LVS性能优化的资料并粗略的整理了一些，希望在LVS优化及问题诊断方面能够为大家提供一些帮助和有价值的线索。后续将结合笔者测试结果及在优化LVS方面的心得体会将持续更新~
一、LVS 性能调优的方法最佳实践
1、最小化安装编译系统内核
2、优化持久服务超时时间:
    1）显示超时时间
    #ipvsadm -Ln --timeout
    #Timeout (tcp tcpfin udp): 900 120 300
    2）配置为与自身应用贴近的超时时间
    #ipvsadm --set tcp tcpfin udp
3、修改内核参数vi /etc/sysctl.conf
net.ipv4.tcp_tw_recyle=1
net.ipv4.tcp_tw_reuse=1
net.ipv4.tcp_max_syn_backlog=8192
net.ipv4.tcp_keepalive_time=1800
net.ipv4.tcp_fin_timeout=30
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
net.core.netdev_max_backlog=3000
二、遇到的问题
1、机房无法实时刷新MAC,LVS+Heartbeat方案无法正常随机切换IP?
假如两台VS之间使用的互备关系，那么当一台VS接管LVS服务时，可能会网络不通，这时因为路由器的MAC缓存表里无法及时刷新MAC.关于vip这个
地址的MAC地址还是替换的VS的MAC，有两种解决方法，一种是修改新VS的MAC地址，另一种是使用send_arp /arpiing命令.
以arping命令为例.
/sbin/arping -I eth0 -c 3 -s ${vip} ${gateway_ip} > /dev/null 2>&1
这个命令不一定非要在VS上执行，只要在同一VLAN即可：/sbin/arping -f -q -c 5 -w 5 -I eth0 -s $WEB_VIP -U $GW
2、某台机器down掉以后,IPVS列表中权值已经置0了,为什么还轮询到这台机器上?
##配置 ldirectord.conf
设置为：quiescent=no或 echo 1 >/proc/sys/net/ipv4/vs/expire_nodest_conn
3、为什么做压力测试的时候,LVS不能负载均衡多部分连接只到某一台机器上?
这和LVS脚本里指定-p参数有关，如果指定了一个client在一定的时间内，将会被调度到同一台RS上。所以你在从来源来做压力测试的时候大部分连接会调度到同一台机器上，这样就出现了负载不均衡的状况。
4、InActConn并不代表错误连接，它是指不活跃连接(Inactive Connections)，
我们将处于TCP ESTABLISH状态以外的连接都称为不活跃连接，例如处于SYN_RECV状态的连接，处于TIME_WAIT状态的连接等。
5、用四个参数来关闭arp查询响应请求：
echo 1 > /proc/sys/net/ipv4/conf/lo/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/lo/arp_announce
echo 1 > /proc/sys/net/ipv4/conf/all/arp_ignore
echo 2 > /proc/sys/net/ipv4/conf/all/arp_announce
6、在LVS方案中，虚拟ip地址与普通网络接口不同，这点需要特别注意。
虚拟ip地址的广播地址是它本身，子网掩码是255.255.255.255。 为什么要这样呢？因为有若干机器要使用同一个ip地址，用本身做广播地址和把子网掩码设成4个255就不会造成ip地址冲突了,否则lvs将不能正常转发访问请求。
三、其他需要注意的细节
1) LVS调度的最小单位是“连接”。
2) 当apache的KeepAlive被设置成Off时，“连接”才能被较均衡的调度。
3) 在不指定-p参数时，LVS才真正以“连接”为单位按“权值”调度流量。
4) 在指定了-p参数时，则一个client在一定时间内，将会被调度到同一台RS。
5) 可以通过”ipvsadm –set tcp tcpfin udp”来调整TCP和UDP的超时，让连接淘汰得快一些。
6) 在NAT模式时，RS的PORT参数才有意义。
7) DR和TUN模式时，InActConn 是没有意义的