Chinaunix首页 | 论坛 | 博客
  • 博客访问: 2168591
  • 博文数量: 317
  • 博客积分: 5670
  • 博客等级: 大校
  • 技术积分: 3677
  • 用 户 组: 普通用户
  • 注册时间: 2008-08-10 17:51
文章分类

全部博文(317)

文章存档

2016年(2)

2015年(44)

2014年(68)

2013年(42)

2012年(23)

2011年(51)

2010年(67)

2009年(17)

2008年(3)

分类: LINUX

2014-02-20 17:35:27

目录
1.网站的硬件环境
2.修改Httpd.conf
3.修改sysctl.conf文件
一、网站环境LAMP硬件环境
[root@www conf]# dmidecode -s processor-version
Intel(R) Xeon(R) CPU E3-1270 V2 @ 3.50GHz
四核八线程
内存32G
[root@www conf]# free -m
             total       used       free     shared    buffers     cached
Mem:         32080      14406      17674          0        189       1905
-/+ buffers/cache:      12310      19769
Swap:         1023          0       1023
硬盘为SSD raid10 大小 256G

问题环境如下time_wait 9K多,而且一直很稳定,不轮是高峰期,还是平时。都一直停在9K多
[root@www conf]#  netstat -n |awk '/^t/{++S[$NF]}END{for (i in S ) print i,S[i]}'
TIME_WAIT 9142
FIN_WAIT1 80
FIN_WAIT2 19
ESTABLISHED 89
SYN_RECV 88
CLOSING 10
LAST_ACK 3
下面是一步一步的配置
二、修改Httpd.conf文件
1)谷歌了一些配置
参考了下,然后查看了下服务器现在的sysctl.conf的配置
发现 下面的这些配置都已经配置过了
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
然后执行 /sbin/sysctl -p 让参数生效。

net.ipv4.tcp_syncookies = 1 表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;
net.ipv4.tcp_tw_reuse = 1 表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
net.ipv4.tcp_tw_recycle = 1 表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
net.ipv4.tcp_fin_timeout = 30  修改系?默认的 TIMEOUT 时间 
这些参数跟原来系统上现有的参数差不多,应该也是从网上cp下来的
重新sysctl -p 了下,发现没什么效果。
2)看了下后端的apache配置参数
# apache conf conf/httpd-wdl.conf
# Created by 
# Last Updated 2010.06.01
Timeout 10
KeepAlive Off
MaxKeepAliveRequests 512
KeepAliveTimeout 5
UseCanonicalName Off
ServerTokens Prod
ServerSignature Off
HostnameLookups Off
TraceEnable off
AddType appliion/x-httpd-php .php
DirectoryIndex index.html index.php index.htm
这是原来的配置,
下面是修改后的配置
Timeout 10   与客户端连接超时的时间,这个暂时没改变
KeepAlive On 这个给关闭了,在HTTP1.1中,一次连接可以多次传输,使的一次连接中可以传递多个HTTP请求,然后我给开启了
MaxKeepAliveRequests 100 设置一次连接内,可以进行多少次请求,原来是512 修改了 100
KeepAliveTimeout 15 如果服务器已经完成了一次请求,多长时间一直没有接受到下一次请求就会断开连接,这个设置为了15
UseCanonicalName Off
ServerTokens Prod
ServerSignature Off
HostnameLookups Off
TraceEnable off
AddType application/x-httpd-php .php
DirectoryIndex index.html index.php index.htm
修改完这几个参数后然后apachectl graceful了下,有了一点效果
[root@www conf]# netstat -n |awk '/^tcp/{++S[$NF]}END{for (i in S ) print i,S[i]}'
TIME_WAIT 7594
FIN_WAIT1 84
FIN_WAIT2 55
ESTABLISHED 848
SYN_RECV 21
CLOSING 2
LAST_ACK 12
[root@www conf]# netstat -n |awk '/^tcp/{++S[$NF]}END{for (i in S ) print i,S[i]}'
TIME_WAIT 3659
FIN_WAIT1 33
FIN_WAIT2 101
ESTABLISHED 754
SYN_RECV 23
CLOSING 3
LAST_ACK 8
经过上面的修改后,有一些改变,time_wait已经降到了 3000多
三、老大帮忙又修改了几个参数sysctl.conf
后面老大又给了两条建议,修改了下
net.ipv4.tcp_keepalive_time = 120   改成了30  保持连接的时间,由120改到了30
net.ipv4.tcp_max_tw_buckets = 10000改成100 这个是设置服务器同时保持的time_wait的数目

重新设置下Ulimit参数
cat >>/etc/security/limits.conf<
* soft no 655350
* hard nofile 655350
EOF
然后Ulimit -SHn 了下
然后time_wait的数量就降到了
[root@www conf]#  netstat -n |awk '/^tcp/{++S[$NF]}END{for (i in S ) print i,S[i]}'
TIME_WAIT 96
FIN_WAIT1 46
FIN_WAIT2 29
ESTABLISHED 838
SYN_RECV 30
CLOSING 7
LAST_ACK 3
网站的流量图
网站的流量图
现在流量慢慢增长,负载高的情况,还要再观察一段时间。


公司最近新增的一批apache服务器上线以来,用 -an命令发现服务器中有大量状态为TIME-WAIT的TCP连接。
用/sbin/sysctl -a查看了一下Linux的各项内核参数,决定修改其中的两项参数,以达到减少TCP连接中TIME-WAIT sockets的目的。

操作方法如下:
vi /etc/sysctl.conf

编辑/etc/sysctl.conf文件,增加四行:
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_fin_timeout = 30
net.ipv4.tcp_keepalive_time = 1200
net.ipv4.ip_local_port_range = 1024 65000
net.ipv4.tcp_max_syn_backlog = 8192
net.ipv4.tcp_max_tw_buckets = 5000

说明:
net.ipv4.tcp_syncookies = 1 #表示开启SYN Cookies。当出现SYN等待队列溢出时,启用cookies来处理,可防范少量SYN攻击,默认为0,表示关闭;
net.ipv4.tcp_tw_reuse = 1 #表示开启重用。允许将TIME-WAIT sockets重新用于新的TCP连接,默认为0,表示关闭;
net.ipv4.tcp_tw_recycle = 1 #表示开启TCP连接中TIME-WAIT sockets的快速回收,默认为0,表示关闭。
net.ipv4.tcp_fin_timeout = 30 #表示如果套接字由本端要求关闭,这个参数决定了它保持在FIN-WAIT-2状态的时间。
net.ipv4.tcp_keepalive_time = 1200 表示当keepalive起用的时候,TCP发送keepalive消息的频度。缺省是2小时,改为20分钟。
net.ipv4.ip_local_port_range = 102465000 表示用于向外连接的端口范围。缺省情况下很小:32768到61000,改为1024到65000。
net.ipv4.tcp_max_syn_backlog = 8192 表示SYN队列的长度,默认为1024,加大队列长度为8192,可以容纳更多等待连接的网络连接数。
net.ipv4.tcp_max_tw_buckets = 5000表示系统同时保持TIME_WAIT套接字的最大数量,如果超过这个数字,TIME_WAIT套接字将立刻被清除并打印警告信息。默认为 180000,改为5000。对于Apache、等服务器,上几行的参数可以很好地减少TIME_WAIT套接字数量,但是对于Squid,效 果却不大。此项参数可以控制TIME_WAIT套接字的最大数量,避免Squid服务器被大量的TIME_WAIT套接字拖死。

再执行以下命令,让修改结果立即生效:
/sbin/sysctl -p

查看服务器的TCP状态:
netstat -n | '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'

返回结果:
ESTABLISHED 1423
FIN_WAIT1 1
FIN_WAIT2 262
SYN_SENT 1
TIME_WAIT 962

效果:处于TIME_WAIT状态的sockets从原来的10000多减少到1000左右。处于SYN_RECV等待处理状态的sockets为0,原来的为50~300。

附,TIME_WAIT状态的意义:

客户端与服务器端建立TCP/IP连接后关闭SOCKET后,服务器端连接的端口状态为TIME_WAIT

是不是所有执行主动关闭的socket都会进入TIME_WAIT状态呢?
有没有什么情况使主动关闭的socket直接进入CLOSED状态呢?

主动关闭的一方在发送最后一个 ack 后
就会进入 TIME_WAIT 状态,停留2MSL(max segment lifetime)时间,这个是TCP/IP必不可少的,也就是“解决”不了的。

主要有两个原因
1,防止上一次连接中的包,迷路后重新出现,影响新连接(经过2MSL,上一次连接中所有的重复包都会消失)
2,可靠的关闭TCP连接
在主动关闭方发送的最后一个 ack(fin) ,有可能丢失,这时被动方会重新发fin, 如果这时主动方处于 CLOSED 状态 ,就会响应 rst 而不是 ack。所以主动方要处于 TIME_WAIT 状态,而不能是 CLOSED 。TIME_WAIT 并不会占用很大资源的,除非受到攻击。还有,如果一方 send 或 recv 超时,就会直接进入 CLOSED 状态。



对一些大流量的web服务器来说,比较常见的问题就是time_wait会很多,起因大多都是apache里 keepalive 没开的原因,将这个开启,相对会少一些,但大流量时还是比较多,这里还有另外一个参数设置

net.ipv4.tcp_max_tw_buckets = 5000
如果不想time_wait不要太多,只要把这个值调低,就肯定不会超过了,但会出现一个新问题,就是在系统日志里,会很多类似这样的警告
Nov 27 15:50:01 localhost kernel: printk: 9498 messages suppressed.
Nov 27 15:50:01 localhost kernel: TCP: time wait bucket table overflow
Nov 27 15:50:06 localhost kernel: printk: 9562 messages suppressed.
Nov 27 15:50:06 localhost kernel: TCP: time wait bucket table overflow
Nov 27 15:50:11 localhost kernel: printk: 10120 messages suppressed.
Nov 27 15:50:11 localhost kernel: TCP: time wait bucket table overflow
Nov 27 15:50:16 localhost kernel: printk: 9182 messages suppressed.
Nov 27 15:50:16 localhost kernel: TCP: time wait bucket table overflow
Nov 27 15:50:21 localhost kernel: printk: 9626 messages suppressed.

这 个警告其实不影响使用和性能,只是烦而已。我曾为避免这个提示,就将 net.ipv4.tcp_max_tw_buckets 调得很大,接着 time_wait 也就很大了。这也是上面这个问题,在网上搜索到的解决办法了。不想这个警告出现,重新编译内核,可以避免。

还有另一外问题,就是 fin_wait1 过多的问题,这个情况,一般的服务器上不会有。至少我的情况是这样,但在用了集群/负载均衡(LVS)中,下面的机器,就有这种情况,也曾为解决这个问题苦恼了挺久,经过今天的测试,也可以解决了。

只要在/etc/sysctl.conf 中加入

net.ipv4.tcp_keepalive_probes = 5
net.ipv4.tcp_keepalive_intvl = 15
net.ipv4.tcp_retries2 = 5
net.ipv4.tcp_orphan_retries = 3
net.ipv4.tcp_reordering = 5
net.ipv4.tcp_retrans_collapse = 0

就会减少很多了,关键的是 net.ipv4.tcp_orphan_retries 这个

阅读(6641) | 评论(0) | 转发(3) |
给主人留下些什么吧!~~