May
10
使用ulimit和proc去调整系统参数
在使用linux做为关键应用的过程中,特别是大压力负载的时候,经常会遇到一些诸如“too many open files”,“系统默认最大线程数是多少?如何调整?”等问题。此时,我们就必须使用ulimit或proc去调整系统的某些参数。
一、区别
ulimit和对proc目录都可以作出某些限制,但它们之间是有区别的:
1、ulimit命令:
1)直接使用ulimit命令,只对当前tty(终端有效),若要每次都生效的话,可以把ulimit参数放到对应用户的.bash_profile里面;
2)针对所有用户的设置,在/etc/security/limits.conf文件,其是可以对系统用户、组进行cpu、文件数等限制的,通过它可以针对某个用户或全部进行限制。但不能超越系统的限制;
(*表示所有用户、soft表示可以超出,但只是警告;hard表示绝对不能超出,unlimited用于表示不限制)
3)另一方法是,如果想对所有用户设置,也可以放在/etc/profile文件里面,下面是该文件里面的默认参数:
2、/proc目录:
1)/proc目录里面包括很多系统当前状态的参数,例如:
是对整个系统的限制,并不是针对用户的;
2)proc目录中的值可以进行动态的设置,若希望永久生效,可以修改/etc/sysctl.conf文件,并使用下面的命令确认:
例如增加:
二、ulimit命令简介
(以下引用网上的部分资料)
1、说明:
ulimit用于shell启动进程所占用的资源.
2、类别:
shell内建命令
3、语法格式:
ulimit [-acdfHlmnpsStvw] [size]
4、参数介绍:
5、简单实例:
如果我们想要对由shell创建的文件大小作些限制,如:
引用:
文件h的大小是150062字节,而我们设定的创建文件的大小是512字节x100块=51200字节,当然系统就会根据你的设置生成了51200字节的newh文件。
若要每次都生效,把你要设置的ulimit放在/etc/profile这个环境文件中即可。
※ 注意,不同的核心版本,ulimit 可设定的值可能会有不同,详细可参考系统中的/etc/security.limit.conf 文件或man 2 setrlimit 中的说明。另外,ulimit -u 可限制普通用户可打开的最大进程(线程)值,但对root 用户无效。
三、实例说明
对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值,就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢?下面一段小脚本可以帮你查看:
在系统访问高峰时间以root用户执行上面的脚本,可能出现的结果如下:
其中第一行是打开的文件句柄数量,第二行是进程号。得到进程号后,我们可以通过ps命令得到进程的详细内容。
哦,原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量,远远底于系统默认值1024。
但是如果系统并发特别大,尤其是squid服务器,很有可能会超过1024。这时候就必须要调整系统参数,以适应应用变化。以root用户运行以下命令:
以上命令中,H指定了硬性大小,S指定了软性大小,n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096,毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后,系统重启后,又会恢复默认值。如果想永久保存下来,可以修改.bash_profile文件,可以修改 /etc/profile 把上面命令加到最后。
四、/proc目录配置
由于/proc目录涉及的配置非常多,包括网络、文件系统等,后续以一篇独立的文章进行吧。
※实际应用中,需要分析清楚问题出现的原因,根据实际情况灵活配置!
一、区别
ulimit和对proc目录都可以作出某些限制,但它们之间是有区别的:
1、ulimit命令:
1)直接使用ulimit命令,只对当前tty(终端有效),若要每次都生效的话,可以把ulimit参数放到对应用户的.bash_profile里面;
2)针对所有用户的设置,在/etc/security/limits.conf文件,其是可以对系统用户、组进行cpu、文件数等限制的,通过它可以针对某个用户或全部进行限制。但不能超越系统的限制;
(*表示所有用户、soft表示可以超出,但只是警告;hard表示绝对不能超出,unlimited用于表示不限制)
3)另一方法是,如果想对所有用户设置,也可以放在/etc/profile文件里面,下面是该文件里面的默认参数:
引用
ulimit -S -c 0 > /dev/null 2>&1
2、/proc目录:
1)/proc目录里面包括很多系统当前状态的参数,例如:
引用
/proc/sys/fs/file-max
/proc/sys/fs/inode-max
/proc/sys/fs/inode-max
是对整个系统的限制,并不是针对用户的;
2)proc目录中的值可以进行动态的设置,若希望永久生效,可以修改/etc/sysctl.conf文件,并使用下面的命令确认:
# sysctl -p
例如增加:
引用
fs.file-max=xxx
fs.inode-max=xxx
fs.inode-max=xxx
二、ulimit命令简介
(以下引用网上的部分资料)
1、说明:
ulimit用于shell启动进程所占用的资源.
2、类别:
shell内建命令
3、语法格式:
ulimit [-acdfHlmnpsStvw] [size]
4、参数介绍:
引用
-H 设置硬件资源限制.
-S 设置软件资源限制.
-a 显示当前所有的资源限制.
-c size:设置core文件的最大值.单位:blocks
-d size:设置数据段的最大值.单位:kbytes
-f size:设置创建文件的最大值.单位:blocks
-l size:设置在内存中锁定进程的最大值.单位:kbytes
-m size:设置可以使用的常驻内存的最大值.单位:kbytes
-n size:设置内核可以同时打开的文件描述符的最大值.单位:n
-p size:设置管道缓冲区的最大值.单位:kbytes
-s size:设置堆栈的最大值.单位:kbytes
-t size:设置CPU使用时间的最大上限.单位:seconds
-v size:设置虚拟内存的最大值.单位:kbytes
unlimited 是一个特殊值,用于表示不限制
-S 设置软件资源限制.
-a 显示当前所有的资源限制.
-c size:设置core文件的最大值.单位:blocks
-d size:设置数据段的最大值.单位:kbytes
-f size:设置创建文件的最大值.单位:blocks
-l size:设置在内存中锁定进程的最大值.单位:kbytes
-m size:设置可以使用的常驻内存的最大值.单位:kbytes
-n size:设置内核可以同时打开的文件描述符的最大值.单位:n
-p size:设置管道缓冲区的最大值.单位:kbytes
-s size:设置堆栈的最大值.单位:kbytes
-t size:设置CPU使用时间的最大上限.单位:seconds
-v size:设置虚拟内存的最大值.单位:kbytes
unlimited 是一个特殊值,用于表示不限制
5、简单实例:
如果我们想要对由shell创建的文件大小作些限制,如:
引用:
[/home/javalee]ll h
-rw-r--r-- 1 javalee javalee 150062 7月 22 02:39 h
[/home/javalee]ulimit -f 100 #设置创建文件的最大块(一块=512字节)
[/home/javalee]cat h>newh
File size limit exceeded
[/home/javalee]
[/home/javalee]ll newh
-rw-r--r-- 1 javalee javalee 51200 11月 8 11:47 newh
-rw-r--r-- 1 javalee javalee 150062 7月 22 02:39 h
[/home/javalee]ulimit -f 100 #设置创建文件的最大块(一块=512字节)
[/home/javalee]cat h>newh
File size limit exceeded
[/home/javalee]
[/home/javalee]ll newh
-rw-r--r-- 1 javalee javalee 51200 11月 8 11:47 newh
文件h的大小是150062字节,而我们设定的创建文件的大小是512字节x100块=51200字节,当然系统就会根据你的设置生成了51200字节的newh文件。
若要每次都生效,把你要设置的ulimit放在/etc/profile这个环境文件中即可。
※ 注意,不同的核心版本,ulimit 可设定的值可能会有不同,详细可参考系统中的/etc/security.limit.conf 文件或man 2 setrlimit 中的说明。另外,ulimit -u 可限制普通用户可打开的最大进程(线程)值,但对root 用户无效。
三、实例说明
对于一般的应用来说(象Apache、系统进程)1024完全足够使用。但是如何象squid、mysql、java等单进程处理大量请求的应用来说就有点捉襟见肘了。如果单个进程打开的文件句柄数量超过了系统定义的值,就会提到“too many files open”的错误提示。如何知道当前进程打开了多少个文件句柄呢?下面一段小脚本可以帮你查看:
# lsof -n |awk '{print $2}'|sort|uniq -c |sort -nr|more
在系统访问高峰时间以root用户执行上面的脚本,可能出现的结果如下:
引用
# lsof -n|awk '{print $2}'|sort|uniq -c |sort -nr|more
131 24204
57 24244
57 24231
56 24264
131 24204
57 24244
57 24231
56 24264
其中第一行是打开的文件句柄数量,第二行是进程号。得到进程号后,我们可以通过ps命令得到进程的详细内容。
引用
# ps -aef|grep 24204
mysql 24204 24162 99 16:15 ? 00:24:25 /usr/sbin/mysqld
mysql 24204 24162 99 16:15 ? 00:24:25 /usr/sbin/mysqld
哦,原来是mysql进程打开最多文件句柄数量。但是他目前只打开了131个文件句柄数量,远远底于系统默认值1024。
但是如果系统并发特别大,尤其是squid服务器,很有可能会超过1024。这时候就必须要调整系统参数,以适应应用变化。以root用户运行以下命令:
# ulimit -HSn 4096
以上命令中,H指定了硬性大小,S指定了软性大小,n表示设定单个进程最大的打开文件句柄数量。个人觉得最好不要超过4096,毕竟打开的文件句柄数越多响应时间肯定会越慢。设定句柄数量后,系统重启后,又会恢复默认值。如果想永久保存下来,可以修改.bash_profile文件,可以修改 /etc/profile 把上面命令加到最后。
四、/proc目录配置
由于/proc目录涉及的配置非常多,包括网络、文件系统等,后续以一篇独立的文章进行吧。
※实际应用中,需要分析清楚问题出现的原因,根据实际情况灵活配置!