Chinaunix首页 | 论坛 | 博客
  • 博客访问: 224860
  • 博文数量: 27
  • 博客积分: 1151
  • 博客等级: 少尉
  • 技术积分: 426
  • 用 户 组: 普通用户
  • 注册时间: 2010-06-15 19:25
文章分类
文章存档

2012年(5)

2011年(6)

2010年(16)

我的朋友

分类: LINUX

2010-07-18 23:48:48

在使用linux做为关键应用的过程中,特别是大压力负载的时候,经常会遇到一些诸如“too many open files”,“系统默认最大线程数是多少?如何调整?”等问题。此时,我们就必须使用ulimit或proc去调整系统的某些参数。
一、 区别
ulimit和对proc目录都可以作出某些限制,但它们之间是有区别的:
1、 ulimit命令:
1)直接使用ulimit命令,只对当前tty(终端有效),若要每次都生效的话,可以把ulimit参数 放到对应用户的.bash_profile里面;
2)针对所有用户的设置,在/etc/security/limits.conf文件,其是可以 对系统用户、组进行cpu、文件数等限制的,通过它可以针对某个用户或全部进行限制。但不能超越系统的限制;
(*表示所有用户、soft表示可以超出,但只是警告;hard表 示绝对不能超出,unlimited用于表示不限制)
3)另一方法是,如果想对所有用户设置,也可以放在 /etc/profile文件里面,下面是该文件里面的默认参数:

引用
ulimit -S -c 0 > /dev/null 2>&1


2、/proc目录:
1)/proc目录里面包括很多系统当前状态的参数,例如:

引用
/proc/sys/fs/file-max
/proc/sys/fs/inode-max


是对整个系统的限制,并不是针对用户的;
2)proc目录中的值可以进行动态的设置,若希望永久生效,可以修改/etc /sysctl.conf文件,并使用下面的命令确认:

# sysctl -p


例如增加:

引用
fs.file-max=xxx
fs.inode-max=xxx



二、ulimit命令简介
(以 下引用网上的部分资料)
1、说明:
ulimit用于shell启动进程所占用的资源.
2、类别:
shell内建命令
3、 语法格式:
ulimit [-acdfHlmnpsStvw] [size]
4、参数介绍:

引用
-H 设置硬件资源限制.
-S 设置软件资源限制.
-a 显示当前所有的资源限制.
-c size:设置core文件的最大值.单位:blocks
-d size:设置数据段的最大值.单位:kbytes
-f size:设置创建文件的最大值.单位:blocks
-l size:设置在内存中锁定进程的最大值.单位:kbytes
-m size:设置可以使用的常驻内存的最大值.单位:kbytes
-n size:设置内核可以同时打开的文件描述符的最大值.单位:n
-p size:设置管道缓冲区的最大值.单位:kbytes
-s size:设置堆栈的最大值.单位:kbytes
-t size:设置CPU使用时间的最大上限.单位:seconds
-v size:设置虚拟内存的最大值.单位:kbytes
unlimited 是一个特殊值,用于表示不限制


5、简单实例:
如果我们想要对由shell创建的文件大小作些限制,如:
引用:

[/home/javalee]ll h
-rw-r--r-- 1 javalee javalee 150062 7月 22 02:39 h
[/home/javalee]ulimit -f 100 #设置创建文件的最大块(一块=512字节)
[/home/javalee]cat h>newh
File size limit exceeded
[/home/javalee]
[/home/javalee]ll newh
-rw-r--r-- 1 javalee javalee 51200 11月 8 11:47 newh


文件h的大小是150062字节,而我们设定的创建文件的大小是512字节x100块=51200字节,当然系统就会根据你的设置生成了 51200字节的newh文件。
若要每次都生效,把你要设置的ulimit放在/etc/profile这个环境文件中即可。

三、实例说明
对于一般的应用来说(象 Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个 进程打开的文件句柄数量超过了系统定义的值,就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢?下面一段小脚本可以帮你查看:

# lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more


在系统访问高峰时间以root用户执行上面的脚本,可能出现的结果如下:

引用
# lsof -n|awk '{print $2}'|sort|uniq -c |sort -nr|more    
131 24204  
57 24244  
57 24231  
56 24264


其中第一行是打开的文件句柄数量,第二行是进程号。得到进程号后,我们可以通过ps命令得到进程的详细内容。

引用
# ps -aef|grep 24204
mysql  24204 24162 99 16:15 ?    00:24:25 /usr/sbin/mysqld


哦,原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量,远远底于系统默认值1024。
但是如果 系统并发特别大,尤其是squid服务器,很有可能会超过1024。这时候就必须要调整系统参数,以适应应用变化。以root用户运行以下命令:

# ulimit -HSn 4096



以上命令中,H指定了硬性大小,S指定了软性大小,n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096,毕 竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后,系统重启后,又会恢复默认值。如果想永久保存下来,可以修改.bash_profile文 件,可以修改 /etc/profile 把上面命令加到最后。

四、/proc目录配置
由于/proc目录涉及的配置非常多,包括网络、文件系统等,后 续以一篇独立的文章进行吧。


原文:http://chenling1018.blog.163.com/blog/static/14802542010513104033696/



阅读(1529) | 评论(0) | 转发(0) |
给主人留下些什么吧!~~