JDBC学习笔记——JDBC性能优化

作者：佚名    来自：CSDN

??jdbc程序的性能主要由两个因素决定，一是数据库本身的性质，另一个是与数据库相对独立的jdbc应用程序接口(api)的使用。这里说的是如何正确使用jdbc编程接口，以获得更好的性能。
??jdbc主要优化有:
??1.选择正确的jdbc驱动程序
??2.Connention的优化：使用连接池来管理Connection对象
??3.Statement的优化：使用批量更新等
??4.Result的优化：正确的从数据库中get数据等

??(1)选择正确的jdbc驱动程序:
??1、jdbc-odbc 桥
??2、本地api-部分 java驱动
??3、jdbc网路协议-纯java驱动
??4、jdbc本地协议
??最好选择 jdbc网路协议-纯java驱动  效率比较高  但需要第三方软件的支持 比如corba  weblogic属于这种类型

??(2)优化Connection对象:
??1、设置适当的参数
???DriverManager.getConnection(String url,Properties props);
???例如:
???Properties props=new Properties();
???props.put("user","wuwei");
???props.put("password","wuwei");
???props.put("defaultRowPrefectch","30");
???props.put("dufaultBatchValue","5");
???Connection con=DriverManager.getConnection("jdbc:oracle:thin:@hostsString",props);
???对象可以通过设置setDefaultRowPrefetch(int) 和 setDefaultBatchValue(int) 两个参数类优化连接
??2、使用连接池
???可以自己写一个连接池，这样程序的灵活性强，便于移植。
      apache项目开发了一套非常通用而表现非常稳定的对象池
      设计了自己的连接池后，在客户端调用建立对象：
???public Object makeObject() throws Exception{
????Class.forName("oracle.jdbc.driver.OracalDriver");
????return DriverManager.getConnection("url","username","password");
???}
      销毁对象时用：
???public void destroyObject(Object obj) throws Exception{
????((Connection)obj.close());
???}
???注意几点：对象池里有没有回收机制，对象池里有机有容量限制，对象池里有多少个闲置对象(可以释放)
??3、控制事务的提交
???最好手动提交事务，不但可以可以保证数据原子性，而且对新能提高留下余地。
???try{
????connection.setAutoCommint(false);
????// 代码用PreparedStatement性能比Statementh好
????connection.commit();
????connection.setAutoCommit(true);
???}catch(SQLException e){
???}finally{
????//代码
????if(connection!=null){
?????connection.close(); 
????}
???}
??4、适当的选择事务的隔离级别
???TRANSACTION_READ_UNCOMMITED  性能最高
???TRANSACTION_READ_COMMITED    快
???TRANSACTION_REFEATABLE_READ  中等
???RANSACTION_SERIALIZABLE      慢

??(3)Statement 优化:
??jdbc3个接口用来处理sql的执行,是Statement PreparedStatement CallableStatement提供适当的Statement接口批量执行sql从数据库批量获取数据。
??PreparedStatement 比Statement性能要好 主要体现在一个sql语句多次重复执行的情况。
??PreparedStatemnt只编译解析一次而Statement每次编译一次。

??批量修改数据库
??Statement 提供方法addBatch(String)和executeBatch()
??调用方法为
??stmt.addBatch("isnert.....");
??stmt.addBatch("update.....");
??stmt.executeBatch();
??也可以用PreparedStatement从而更好的提高性能：
??pstmt=conn.preparedStatement("insert into test_table(......) values(....?)");
??pstmt.setString(1,"aaa");
??pstmt.addBatch();
??pstmt.setString(1,"bbb");
??pstmt.addBatch();
??.....
??pstmt.executeBatch();

??批量地从数据库中取数据：
??通过setFetchSize()和getFectchSize()方法来设定和查看这个参数，这个参数对体统的性能影响比较大。这个参数太小会严重地降低程序的性能。
??Connection Statement ResultSet都有这个参数,他们对性能地影响顺序是：ResultSet---Statement---Connection

??(4)优化ResultSet:
??体现在以下几个方面：
??批量读取数据.合理设置ResultSet的getFetchSize()和setFetchSize()方法中的参数
??使用正确的get和set方法
??使用整数而不是字段名作为参数性能比较高
??例如：
??setInt(1,100);
??setString(2,"aaaa");
??比
??setInt("id","100");
??setString("name","aaaa");
??性能好
??设置适当的滚动方向。有3个方向FETCH_FORWORD,FETCH_REVERSE FETCH_UNKNOWN，单向滚动性能比较高。

??其他方面的性能优化
??及时显示的关闭Connection Statement ResultSet，其中Connection可以用Connetion Pool处理。
??使用数据库系统的强大查询功能去组织数据。这样程序运行是和数据库服务的交互次数少，数据库返回给程序的记录条数少的多，所以性能有很大的提高。
 
============================================================
谢谢大家的踊跃参与!

我来做个总结:

测试前提：
由于是一个网站，对每个人的访问次数进行计数，业务要求规定插入一条必须commit;

用测试程序1进行测试:
插入100000条,平均每秒600条.

用测试程序2进行测试:
插入100000条,平均每秒1000条

用测试程序3进行测试:
将插入操作该用存储过程实现,在程序中调用该存储过程实现插入操作:
插入100000条,平均每秒500条

用测试程序4进行测试:
用的测试程序同测试程序1,只不过将cursor_sharing参数设为similar
插入100000条,平均每秒800条

原因分析
在Oracle 9.2.0.1中,默认情况下，cursor_sharing参数设为exact，这样由于每次插入语句只是在数值上不一样，但是Oracle还是会导致重新parse，耗费相当的时间。所以将插入语句改为用PreparedStatement方式实现，有效避免了重新parse，所以性能提高很快。同样道理将cursor_sharing参数设为similar也可以达到类似的功效。

至于用存储过程来实现插入性能差的原因，可以这样分析：由于用该存储过程实现的任务并不多，只是简单的插入一条记录，此时，体现不出存储过程的好处，反而由于每插入一条就调用一次存储过程，反而会增加开销。即，如果用存储过程实现大数据量的访问或进行复杂的查询，才会体现出用存储过程的好处。

至于sqlserver为什么插入100000条要比Oracle要快，我觉得与优化器才用的优化方法有关。如sqlserver默认就采用Oracle的cursor_sharing参数为force的模式进行执行sql语句。

我还用存储过程在Oracle与sqlserver上做测试，同样的条件下，Oracle可以至少每秒插入5万条，远远大于sql server的(大约1万)。这也说明Oracle数据自身的处理能力是很强的。

测试程序1:
import java.sql.*;
import java.net.*;
import java.io.*;
import java.util.*;
//import oracle.jdbc.OracleConnection;

public class FailOver {

  static final String user = "test";
  static final String password = "test";
  static final String driver_class = "oracle.jdbc.driver.OracleDriver";
  static final String URL = "jdbc:oracle:thin:@192.168.11.180:1521:sensky";
 
 
//    static final String user = "sa";
//    static final String password = "sa";
//    static final String driver_class = "com.microsoft.jdbc.sqlserver.SQLServerDriver";
//   static final String URL = "jdbc:microsoft:sqlserver://192.168.11.172:1433;DatabaseName=wap";

  public static void main (String[] args) throws Exception {

    Connection conn = null;
    String     msg = null;
    Statement  stmt = null;
    ResultSet rset = null;

    // Load JDBC driver
    try {
      Class.forName(driver_class);
    }
    catch(Exception e) {
      System.out.println(e);
    }

    // Connect to the database
    conn = DriverManager.getConnection(URL, user, password);
//        conn.setAutoCommit(false);

    // Create a Statement
    stmt = conn.createStatement ();
        Thread.sleep(100000);
        long start=System.currentTimeMillis();
        //conn.beginTrans();
    for (long i=800000; i<900000; i++) {
      // Select the NAMEs column from the EMPLOYEES table
      stmt.execute("INSERT INTO tbl_test(ID, name, age, addr) values("+ i +",'asdfasdfsa',22,'aaaaaaaaaaaaaa')");
      //stmt.execute("INSERT INTO tbl_test(ID, name, age, addr) values(100,'asdfasdfsa',22,'aaaaaaaaaaaaaa')");
//        if (i % 2000 == 1)
//        {
//     conn.commit();
//     }
    } // End for
//    conn.commit();
    long end=System.currentTimeMillis();
    System.out.println("waste time:"+(end-start));
    // Close the Statement
    stmt.close();
    // Close the connection
    conn.close();
  } // End Main()
}

测试程序2:
import java.sql.*;
import java.net.*;
import java.io.*;
import java.util.*;
import oracle.jdbc.OracleConnection;

public class PreStat {

  static final String user = "test";
  static final String password = "test";
  static final String driver_class = "oracle.jdbc.driver.OracleDriver";
  static final String URL = "jdbc:oracle:thin:@192.168.11.180:1521:sensky";

  public static void main (String[] args) throws Exception {

    Connection conn = null;
    String     msg = null;
    Statement  stmt = null;
    ResultSet rset = null;

    // Load JDBC driver
    try {
      Class.forName(driver_class);
    }
    catch(Exception e) {
      System.out.println(e);
    }

    // Connect to the database
    conn = DriverManager.getConnection(URL, user, password);
//        conn.setAutoCommit(false);

    // Create a Statement
    PreparedStatement pstat = conn.prepareStatement("insert into tbl_test values (?, ? , ? , ?)");
       
        long start=System.currentTimeMillis();
        //conn.beginTrans();
    for (int i=0; i<100000; i++) {
      // Select the NAMEs column from the EMPLOYEES table
              pstat.setInt(1, i);
                pstat.setString(2, "aaaaaaaa");
                pstat.setInt(3, i);
                pstat.setString(4, "bbbbbbb");
                pstat.executeUpdate(); //JDBC queues this for later execution
//              conn.commit();
      // Sleep one second to make it possible to shutdown the DB.
    } // End for
//    conn.commit();
    long end=System.currentTimeMillis();
    System.out.println("waste time:"+(end-start));
    // Close the Statement
    pstat.close();

    // Close the connection
    conn.close();

  } // End Main()

} // End class jdemofo

测试程序3:
import java.sql.*;
import java.net.*;
import java.io.*;
import java.util.*;
//import oracle.jdbc.OracleConnection;

public class PrceJava {

  static final String user = "test";
  static final String password = "test";
  static final String driver_class = "oracle.jdbc.driver.OracleDriver";
  static final String URL = "jdbc:oracle:thin:@192.168.11.180:1521:sensky";
 
 
//    static final String user = "sa";
//    static final String password = "sa";
//    static final String driver_class = "com.microsoft.jdbc.sqlserver.SQLServerDriver";
//   static final String URL = "jdbc:microsoft:sqlserver://192.168.11.172:1433;DatabaseName=wap";

  public static void main (String[] args) throws Exception {

    Connection conn = null;
    String     msg = null;
    //Statement  stmt = null;
    ResultSet rset = null;

    // Load JDBC driver
    try {
      Class.forName(driver_class);
    }
    catch(Exception e) {
      System.out.println(e);
    }

    // Connect to the database
    conn = DriverManager.getConnection(URL, user, password);
//        conn.setAutoCommit(false);

    // Create a Statement
    CallableStatement stmt = conn.prepareCall ("begin pro_ins (?,?,?,?,?); end;");
        long start=System.currentTimeMillis();
        //conn.beginTrans();
        int j;
    for (int i=0; i<100000; i++) {
      // Select the NAMEs column from the EMPLOYEES table
      //stmt.execute("INSERT INTO tbl_test(ID, name, age, addr) values("+ i +",'asdfasdfsa',22,'aaaaaaaaaaaaaa')");
      //stmt.execute("INSERT INTO tbl_test(ID, name, age, addr) values(100,'asdfasdfsa',22,'aaaaaaaaaaaaaa')");
               
                stmt.setInt(1, i);
                stmt.setString(2, "aaaaaaaa");
                stmt.setInt(3, i);
                stmt.setString(4, "bbbbbbb");
                stmt.registerOutParameter(5, Types.TINYINT);
                stmt.execute();
                //j = stmt.getInt(1);
    } // End for
//    conn.commit();
    long end=System.currentTimeMillis();
    System.out.println("waste time:"+(end-start));
    // Close the Statement
    stmt.close();
    // Close the connection
    conn.close();
  } // End Main()
}

//创建存储过程的语句
//create or replace procedure pro_ins(p_id in number,p_name in varchar2 , p_age in number , p_addr in varchar2,p_return out number)
//as
//begin
//        INSERT INTO tbl_test(ID, name, age, addr) values(p_id,p_name,p_age,p_addr);
//        p_return := 1;
//end;
///

//创建表的语句
//create tabel tbl_test(ID number(10,0), name varchar2(50), age number(10,0), addr varchar2(50));

 

=============================================================