解决 WEB（apache)服务器time_wait过高的性能优化过程

目录
1.网站的硬件环境
2.修改Httpd.conf
3.修改sysctl.conf文件
一、网站环境LAMP硬件环境
[root@www conf]# dmidecode -s processor-version
Intel(R) Xeon(R) CPU E3-1270 V2 @ 3.50GHz
四核八线程
内存32G
[root@www conf]# free -m
             total       used       free     shared    buffers     cached
Mem:         32080      14406      17674          0        189       1905
-/+ buffers/cache:      12310      19769
Swap:         1023          0       1023
硬盘为SSD raid10 大小 256G

问题环境如下time_wait 9K多，而且一直很稳定，不轮是高峰期，还是平时。都一直停在9K多
[root@www conf]#  netstat -n |awk '/^t/{++S[$NF]}END{for (i in S ) print i,S[i]}'
TIME_WAIT 9142
FIN_WAIT1 80
FIN_WAIT2 19
ESTABLISHED 89
SYN_RECV 88
CLOSING 10
LAST_ACK 3
下面是一步一步的配置
二、修改Httpd.conf文件
1)谷歌了一些配置
参考了下，然后查看了下服务器现在的sysctl.conf的配置
发现 下面的这些配置都已经配置过了
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
然后执行 /sbin/sysctl -p 让参数生效。

net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
net.ipv4.tcp_fin_timeout = 30  修改系?默认的 TIMEOUT 时间 
这些参数跟原来系统上现有的参数差不多，应该也是从网上cp下来的
重新sysctl -p 了下，发现没什么效果。
2)看了下后端的apache配置参数
# apache conf conf/httpd-wdl.conf
# Created by 
# Last Updated 2010.06.01
Timeout 10
KeepAlive Off
MaxKeepAliveRequests 512
KeepAliveTimeout 5
UseCanonicalName Off
ServerTokens Prod
ServerSignature Off
HostnameLookups Off
TraceEnable off
AddType appliion/x-httpd-php .php
DirectoryIndex index.html index.php index.htm
这是原来的配置，
下面是修改后的配置
Timeout 10   与客户端连接超时的时间，这个暂时没改变
KeepAlive On 这个给关闭了，在HTTP1.1中，一次连接可以多次传输，使的一次连接中可以传递多个HTTP请求，然后我给开启了
MaxKeepAliveRequests 100 设置一次连接内，可以进行多少次请求，原来是512 修改了 100
KeepAliveTimeout 15 如果服务器已经完成了一次请求，多长时间一直没有接受到下一次请求就会断开连接，这个设置为了15
UseCanonicalName Off
ServerTokens Prod
ServerSignature Off
HostnameLookups Off
TraceEnable off
AddType application/x-httpd-php .php
DirectoryIndex index.html index.php index.htm
修改完这几个参数后然后apachectl graceful了下，有了一点效果
[root@www conf]# netstat -n |awk '/^tcp/{++S[$NF]}END{for (i in S ) print i,S[i]}'
TIME_WAIT 7594
FIN_WAIT1 84
FIN_WAIT2 55
ESTABLISHED 848
SYN_RECV 21
CLOSING 2
LAST_ACK 12
[root@www conf]# netstat -n |awk '/^tcp/{++S[$NF]}END{for (i in S ) print i,S[i]}'
TIME_WAIT 3659
FIN_WAIT1 33
FIN_WAIT2 101
ESTABLISHED 754
SYN_RECV 23
CLOSING 3
LAST_ACK 8
经过上面的修改后，有一些改变，time_wait已经降到了 3000多
三、老大帮忙又修改了几个参数sysctl.conf
后面老大又给了两条建议，修改了下
net.ipv4.tcp_keepalive_time = 120   改成了30  保持连接的时间，由120改到了30
net.ipv4.tcp_max_tw_buckets = 10000改成100 这个是设置服务器同时保持的time_wait的数目

重新设置下Ulimit参数
cat >>/etc/security/limits.conf<
* soft no 655350
* hard nofile 655350
EOF
然后Ulimit -SHn 了下
然后time_wait的数量就降到了
[root@www conf]#  netstat -n |awk '/^tcp/{++S[$NF]}END{for (i in S ) print i,S[i]}'
TIME_WAIT 96
FIN_WAIT1 46
FIN_WAIT2 29
ESTABLISHED 838
SYN_RECV 30
CLOSING 7
LAST_ACK 3
网站的流量图

现在流量慢慢增长，负载高的情况，还要再观察一段时间。

公司最近新增的一批apache服务器上线以来，用 -an命令发现服务器中有大量状态为TIME-WAIT的TCP连接。
用/sbin/sysctl -a查看了一下Linux的各项内核参数，决定修改其中的两项参数，以达到减少TCP连接中TIME-WAIT sockets的目的。

操作方法如下：
vi /etc/sysctl.conf

编辑/etc/sysctl.conf文件，增加四行：
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000

说明：
net.ipv4.tcp_syncookies = 1 #表示开启SYN Cookies。当出现SYN等待队列溢出时，启用cookies来处理，可防范少量SYN攻击，默认为0，表示关闭；
net.ipv4.tcp_tw_reuse = 1 #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接，默认为0，表示关闭；
net.ipv4.tcp_tw_recycle = 1 #表示开启TCP连接中TIME-WAIT sockets的快速回收，默认为0，表示关闭。
net.ipv4.tcp_fin_timeout = 30 #表示如果套接字由本端要求关闭，这个参数决定了它保持在FIN-WAIT-2状态的时间。
net.ipv4.tcp_keepalive_time = 1200 表示当keepalive起用的时候，TCP发送keepalive消息的频度。缺省是2小时，改为20分钟。
net.ipv4.ip_local_port_range = 102465000 表示用于向外连接的端口范围。缺省情况下很小：32768到61000，改为1024到65000。
net.ipv4.tcp_max_syn_backlog = 8192 表示SYN队列的长度，默认为1024，加大队列长度为8192，可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets = 5000表示系统同时保持TIME_WAIT套接字的最大数量，如果超过这个数字，TIME_WAIT套接字将立刻被清除并打印警告信息。默认为 180000，改为5000。对于Apache、等服务器，上几行的参数可以很好地减少TIME_WAIT套接字数量，但是对于Squid，效 果却不大。此项参数可以控制TIME_WAIT套接字的最大数量，避免Squid服务器被大量的TIME_WAIT套接字拖死。

再执行以下命令，让修改结果立即生效：
/sbin/sysctl -p

查看服务器的TCP状态：
netstat -n | '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

返回结果：
ESTABLISHED 1423
FIN_WAIT1 1
FIN_WAIT2 262
SYN_SENT 1
TIME_WAIT 962

效果：处于TIME_WAIT状态的sockets从原来的10000多减少到1000左右。处于SYN_RECV等待处理状态的sockets为0，原来的为50～300。

附，TIME_WAIT状态的意义：

客户端与服务器端建立TCP/IP连接后关闭SOCKET后，服务器端连接的端口状态为TIME_WAIT

是不是所有执行主动关闭的socket都会进入TIME_WAIT状态呢？
有没有什么情况使主动关闭的socket直接进入CLOSED状态呢？

主动关闭的一方在发送最后一个 ack 后
就会进入 TIME_WAIT 状态，停留2MSL（max segment lifetime）时间，这个是TCP/IP必不可少的，也就是“解决”不了的。

主要有两个原因
1，防止上一次连接中的包，迷路后重新出现，影响新连接（经过2MSL，上一次连接中所有的重复包都会消失）
2，可靠的关闭TCP连接
在主动关闭方发送的最后一个 ack(fin) ，有可能丢失，这时被动方会重新发fin, 如果这时主动方处于 CLOSED 状态 ，就会响应 rst 而不是 ack。所以主动方要处于 TIME_WAIT 状态，而不能是 CLOSED 。TIME_WAIT 并不会占用很大资源的，除非受到攻击。还有，如果一方 send 或 recv 超时，就会直接进入 CLOSED 状态。

对一些大流量的web服务器来说，比较常见的问题就是time_wait会很多，起因大多都是apache里 keepalive 没开的原因，将这个开启，相对会少一些，但大流量时还是比较多，这里还有另外一个参数设置

net.ipv4.tcp_max_tw_buckets = 5000

如果不想time_wait不要太多，只要把这个值调低，就肯定不会超过了,但会出现一个新问题，就是在系统日志里，会很多类似这样的警告
Nov 27 15:50:01 localhost kernel: printk: 9498 messages suppressed.
Nov 27 15:50:01 localhost kernel: TCP: time wait bucket table overflow
Nov 27 15:50:06 localhost kernel: printk: 9562 messages suppressed.
Nov 27 15:50:06 localhost kernel: TCP: time wait bucket table overflow
Nov 27 15:50:11 localhost kernel: printk: 10120 messages suppressed.
Nov 27 15:50:11 localhost kernel: TCP: time wait bucket table overflow
Nov 27 15:50:16 localhost kernel: printk: 9182 messages suppressed.
Nov 27 15:50:16 localhost kernel: TCP: time wait bucket table overflow
Nov 27 15:50:21 localhost kernel: printk: 9626 messages suppressed.

这 个警告其实不影响使用和性能，只是烦而已。我曾为避免这个提示，就将 net.ipv4.tcp_max_tw_buckets 调得很大，接着 time_wait 也就很大了。这也是上面这个问题，在网上搜索到的解决办法了。不想这个警告出现，重新编译内核，可以避免。

还有另一外问题，就是 fin_wait1 过多的问题，这个情况，一般的服务器上不会有。至少我的情况是这样,但在用了集群/负载均衡（LVS）中，下面的机器，就有这种情况，也曾为解决这个问题苦恼了挺久，经过今天的测试，也可以解决了。

只要在/etc/sysctl.conf 中加入

net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_keepalive_intvl = 15
net.ipv4.tcp_retries2 = 5
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_reordering = 5
net.ipv4.tcp_retrans_collapse = 0

就会减少很多了，关键的是 net.ipv4.tcp_orphan_retries 这个