----ruixj
问题描述:
有一个系统的功能很简单,就是几个表单的提交和几个页面的显示。但是这个网站的访问量很大,一周时间累计至少10万次访问,高峰时间可能每秒的
点击数会达到500次。OS为Redhat Linux 9 , Database为Oracle 8i,JSP容器为Tomcat
4,使用Struts框架。当使用工具进行压力测试时,如果连接数到100个,2、3分钟后几乎所有访问都出现404错误,无法访问此页面。这就是我接到
问题时候的状况。
问题解决:
首先我们需要知道产生瓶颈的地方,分析后可能影响效率的地方有如下几处:
- Struts产生的瓶颈
- 数据库的设置,最大连接数问题
- Tomcat服务器的配置问题
- Linux OS的配置问题
- 服务器的机器硬件配置问题
- 服务器的带宽不够
测试是否是Struts瓶颈问题很容易,我们用压力测试工具中设置只访问index.jsp这个页面,此页面和Struts没有一点关系,在每
秒点击在100次左右的时候,网站访问速度只是稍微有些慢,但是到200个访问数后,错误404再次发生。说明不是Struts产生的瓶颈,或者说
Struts的瓶颈不是主要影响我们效率的问题所在。
然后我们写了一个很简单的JSP测试页面,使用和在ActionServlet中调用数据库相同的方法进行一个Select操作,并且把那个结
果显示到JSP页面中,针对这个test的页面,进行100次同时连接,错误出现了。此时还是不能判断什么是瓶颈所在。
然后登录上服务器,察看Tomcat的配置文件server.xml,发现允许最大的并发连接数设置项maxProcessors=
"75",说明Tomcat允许的同时连接最大为75,这个肯定是一个tomcat的配置失误。把它改为maxProcessors="1000",重新
启动服务器,进行测试。对index.jsp文件测试的时候,同时连接500人的时候没有出现问题,但是测试test页面的数据库查询时,仍然是到100
个左右的连接数的时候出现404错误。这两个测试说明了tomcat服务器配置的问题基本解决了,问题已经不在tomcat的设置上了,很有可能是在数据
库中。
检查Oracle的设置,把最大连接数改成1000,再次测试test页面,仍然是错误。
在Linux下使用[root@NetCom51 bin]# ulimit -a
core file size
(blocks, -c) 0
data seg size (kbytes, -d) unlimited
file
size (blocks, -f) unlimited
max locked memory
(kbytes, -l) unlimited
max memory size (kbytes, -m) unlimited
open
files (-n) 1024
pipe size (512 bytes,
-p) 8
stack size (kbytes, -s) 8192
cpu time
(seconds, -t)
发现允许使用的open files都达到了要求了。
服务器的硬件问题和带宽不是我们能解决的,暂时不管。现在把我们能做的事情定位在优化程序和优化服务器上。
Tomcat本身不能直接在计算机上运行,需要依赖于硬件基础之上的操作系统和一个java虚拟机。Sun公司和其它一些公司一直
在为提高性能而对java虚拟机做一些升级改进,一些报告显示JDK1.4在性能上比JDK1.3提高了将近10%到20%。我们使用java
-version命令查看JRE的版本,发现已经是1.4了。
Tomcat默认可以使用的内存为128MB,在较大型的应用项目中,这点内存是不够的,需要调大。在linux下,修改
{tomcat_home}/bin/catalina.sh文件,在
echo "Using CATALINA_BASE: $CATALINA_BASE"
echo "Using
CATALINA_HOME: $CATALINA_HOME"
echo "Using CATALINA_TMPDIR:
$CATALINA_TMPDIR"
echo "Using JAVA_HOME: $JAVA_HOME"
后加上
JAVA_OPTS='-Xms256m -Xmx512m'
JAVA_OPTS='-Xms【初始化内存大小】 -Xmx【可以使用的最大内存】'
这两个值的大小一般根据需要进行设置。初始化堆的大小执行了虚拟机在启动时向系统申请的内存的大小。一般而言,这个参数不重要。但是有的应用
程序在大负载的情况下会急剧地占用更多的内存,此时这个参数就是显得非常重要,如果虚拟机启动时设置使用的内存比较小而在这种情况下有许多对象进行初始
化,虚拟机就必须重复地增加内存来满足使用。由于这种原因,我们一般把-Xms和-Xmx设为一样大,而堆的最大值受限于系统使用的物理内存。一般使用数
据量较大的应用程序会使用持久对象,内存使用有可能迅速地增长。当应用程序需要的内存超出堆的最大值时虚拟机就会提示内存溢出,并且导致应用服务崩溃。因
此一般建议堆的最大值设置为可用内存的最大值的80%。
重新启动服务器进行测试,发现服务器启动速度变慢,但是启动后服务器效率确实有提高,但是仍然未能达到我们要求的每秒500访问数的要求。
重新检查程序,试着使用tomcat的数据库连接池,修改tomcat配置文件server.xml,在context标签中加上
factory
org.apache.commons.dbcp.BasicDataSourceFactory
driverClassName
oracle.jdbc.driver.OracleDriver
url
jdbc:oracle:thin:@10.11.6.1:1521:dbname
username
yourname
password
yourpasswd
maxActive
1000
maxIdle
20
maxWait
-1
maxActive
是最大激活连接数,这里取值为1000,表示同时最多有1000个数据库连接。maxIdle是最大的空闲连接数,这里取值为20,表示即使没有数据库连
接时依然可以保持20空闲的连接,而不被清除,随时处于待命状态。MaxWait是最大等待秒钟数,这里取值-1,表示无限等待,直到超时为止,也可取值
9000,表示9秒后超时。
修改web.xml文文件,加入
Oracle
Datasource example
jdbc/OracleDB
javax.sql.DataSource
Container
将Oracle的JDBC驱动classes12.jar拷贝到Tomcat安装目录的common/lib下。建立简单的测试页面
test2.jsp:
Context initCtx = new InitialContext();
Context envCtx =
(Context) initCtx.lookup("java:comp/env");
ds =
(DataSource)envCtx.lookup("jdbc/OracleDB");
Connection cn=ds.getConnection();
进行测试,发现问题还没有解决,在同时连接100人的时候再次出错。
最后仔细检查后,发现是未释放connection资源,使用cn.close()方法,可以同时连接500个用户了。