hibernate 为什么处理大量数据的时候效率低

sling2007 2011-03-04 10:24:57

hibernate为什么处理大量数据的时候效率低？
用什么可以优化呢

...全文

2804 18 打赏收藏转发到动态举报

写回复

用AI写文章

18 条回复

切换为时间正序

请发表友善的回复…

发表回复

liujie_24 2012-06-01

打赏
举报

大量的数据，存储过程更快！一个很现实的问题，用户批量导入数据，我们应用存储过程导入数据，速度绝对可以！hibernate支持存储过程的!

feiyu107 2011-03-09

打赏
举报

然后通过hibernate来调用存储过程

feiyu107 2011-03-09

打赏
举报

建议如果是批量插入，更新可以使用oracle procedure来做

sling2007 2011-03-07

打赏
举报

google得到的结果..........

查询性能往往是系统性能表现的一个重要方面，查询机制的优劣很大程度上决定了系统的整体性能。这个领域往往也存在最大的性能调整空间。
hibernate2中Session.find()对应于3中的session.createQuery().list();
hibernate2中Session.iterate()对应于3中的session.createQuery().iterate();
find和iterate区别：
find方法通过一条Select SQL实现了查询操作，而iterate方法要执行多条Select SQL.
iterate第一次查询获取所有符合条件的记录的id，然后再根据各个id从库表中读取对应的记录，这是一个典型的N+1次的查询问题，如果符合条件记录有10000条，就需要执行10001条Select SQL，可想性能会如何的差。
那为什么要提供iterator方法，而不只是提供高效率的find方法？
原因1.与hibernate缓存机制密切相关
find方法实际上是无法利用缓存的，它对缓存只写不读。
find方法只执行一次SQL查询，它无法判断缓存中什么样的数据是符合条件的，也无法保证查询结果的完整性。而iterate方法，会首先查询所有符合条件记录的id，然后根据id去缓存中找，如果缓存中有该id，就返回，没有可以根据id再去数据库查询。
String hql = "from TUser where age > ?";
List userList = session.find(hql, new Integer(18), Hibernate.INTEGER);
Iterator it = session.iterate(hql, new Integer(18), Hibernate.INTEGER);
顺序执行，iterate方法只会执行一次SQL查询，就是查找id，然后根据id就可以从缓存中获得数据。
String hql = "from TUser where age > ?";
List userList = session.find(hql, new Integer(18), Hibernate.INTEGER);
userList = session.find(hql, new Integer(18), Hibernate.INTEGER);
缓存是不起作用的。
如果目标数据读取相对较为频繁，通过iterate这种机制，会减少性能损耗。
原因2.内存使用上的考虑
find方法将一次获得的所有记录并将其读入内存。如果数据量太大，可能会触发OutOfMemoryError，从而导致系统异常。解决方案之一就是结合iterate方法和evict方法逐条对记录进行处理，将内存消化保持在一个可以接受的范围之内。如：
String hql = "from TUser where age > ?";
Iterator it = session.iterate(hql, new Integer(18), Hibernate.INTEGER);
while(it.hasNext()) {
TUser user = (TUser)it.next();

//将对象从一级缓存中删除
session.evict(user);
//二级缓存可以设定最大缓存量,达到后自动对较老数据进行废除,但也可以通过编
//码移除,这样有助于保持数据有效性。
sessionFactory.evict(TUser.class, user.getID());
}

Hibernate批量更新是指在一个事务中更新大批量数据，Hibernate批量删除是指在一个事务中删除大批量数据。以下程序直接通过Hibernate API批量更新CUSTOMERS表中年龄大于零的所有记录的AGE字段：
1. tx = session.beginTransaction();
2. Iterator customers=session.find("from Customer c where c.age>0").iterator();
3. while(customers.hasNext()){
4. Customer customer=(Customer)customers.next();
5. customer.setAge(customer.getAge()+1);
6. }
7. tx.commit();
8. session.close();
如果CUSTOMERS表中有1万条年龄大于零的记录，那么Session的find()方法会一下子加载1万个Customer对象到内存。当执行tx.commit()方法时，会清理缓存，Hibernate执行1万条更新CUSTOMERS表的update语句：
1. update CUSTOMERS set AGE=? …. where ID=i;
2. update CUSTOMERS set AGE=? …. where ID=j;
3. update CUSTOMERS set AGE=? …. where ID=k;
以上Hibernate批量更新方式有两个缺点：
(1) 占用大量内存，必须把1万个Customer对象先加载到内存，然后一一更新它们。
(2) 执行的update语句的数目太多，每个update语句只能更新一个Customer对象，必须通过1万条update语句才能更新一万个Customer对象，频繁的访问数据库，会大大降低应用的性能。
为了迅速释放1万个Customer对象占用的内存，可以在更新每个Customer对象后，就调用Session的evict()方法立即释放它的内存：
1. tx = session.beginTransaction();
2. Iterator customers=session.find("from Customer c where c.age>0").iterator();
3. while(customers.hasNext()){
4. Customer customer=(Customer)customers.next();
5. customer.setAge(customer.getAge()+1);
6. session.flush();
7. session.evict(customer);
8. }
9. tx.commit();
10. session.close();
在以上程序中，修改了一个Customer对象的age属性后，就立即调用Session的flush()方法和evict()方法，flush()方法使 Hibernate立刻根据这个Customer对象的状态变化同步更新数据库，从而立即执行相关的update语句；evict()方法用于把这个 Customer对象从缓存中清除出去，从而及时释放它占用的内存。
但evict()方法只能稍微提高批量操作的性能，因为不管有没有使用evict()方法，Hibernate都必须执行1万条update语句，才能更新1万个Customer对象，这是影响批量操作性能的重要因素。假如Hibernate能直接执行如下SQL语句：
1. update CUSTOMERS set AGEAGE=AGE+1 where AGE>0;
那么以上一条update语句就能更新CUSTOMERS表中的1万条记录。但是Hibernate并没有直接提供执行这种update语句的接口。应用程序必须绕过Hibernate API，直接通过JDBC API来执行该SQL语句：
1. tx = session.beginTransaction();
2. Connection con=session.connection();
3. PreparedStatement stmt=con.prepareStatement("update CUSTOMERS set AGEAGE=AGE+1 "
4. +"where AGE>0 ");
5. stmt.executeUpdate();
6. tx.commit();
以上程序演示了绕过Hibernate API，直接通过JDBC API访问数据库的过程。应用程序通过Session的connection()方法获得该Session使用的数据库连接，然后通过它创建 PreparedStatement对象并执行SQL语句。值得注意的是，应用程序仍然通过Hibernate的Transaction接口来声明事务边界。
如果底层数据库（如Oracle）支持存储过程，也可以通过存储过程来执行Hibernate批量更新。存储过程直接在数据库中运行，速度更加快。在Oracle数据库中可以定义一个名为batchUpdateCustomer()的存储过程，代码如下：
1. create or replace procedure batchUpdateCustomer(p_age in number) as
2. begin
3. update CUSTOMERS set AGEAGE=AGE+1 where AGE>p_age;
4. end;
以上存储过程有一个参数p_age，代表客户的年龄，应用程序可按照以下方式调用存储过程：
1. tx = session.beginTransaction();
2. Connection con=session.connection();
3. String procedure = "{call batchUpdateCustomer(?) }";
4. CallableStatement cstmt = con.prepareCall(procedure);
5. cstmt.setInt(1,0); //把年龄参数设为0
6. cstmt.executeUpdate();
7. tx.commit();
从上面程序看出，应用程序也必须绕过Hibernate API，直接通过JDBC API来调用存储过程。
Session的各种重载形式的update()方法都一次只能更新一个对象，而delete()方法的有些重载形式允许以HQL语句作为参数，例如：
1. session.delete("from Customer c where c.age>0");
如果CUSTOMERS表中有1万条年龄大于零的记录，那么以上代码能删除一万条记录。但是Session的delete()方法并没有执行以下delete语句
1. delete from CUSTOMERS where AGE>0;
Session的delete()方法先通过以下select语句把1万个Customer对象加载到内存中：
1. select * from CUSTOMERS where AGE>0;
接下来执行一万条delete语句，逐个删除Customer对象：
1. delete from CUSTOMERS where ID=i;
2. delete from CUSTOMERS where ID=j;
3. delete from CUSTOMERS where ID=k;
由此可见，直接通过Hibernate API进行Hibernate批量更新和Hibernate批量删除都不值得推荐。而直接通过JDBC API执行相关的SQL语句或调用相关的存储过程，是Hibernate批量更新和Hibernate批量删除的最佳方式，这两种方式都有以下优点：
(1) 无需把数据库中的大批量数据先加载到内存中，然后逐个更新或修改它们，因此不会消耗大量内存。
(2) 能在一条SQL语句中更新或删除大批量的数据。

火龙果被占用了 2011-03-05

打赏
举报

如果 Hibernate 用了关联、级联的话，那样效率会更低！

zengtao360220 2011-03-05

打赏
举报

Hibernate在遇到大量的数据量的时候，效率是会比较低的.....而hibernate他有一级缓存和二级缓存啊！一级缓存是默认使用的，如果遇到大量的数据的时候就需要配置个二级缓存咯;至于优化大都是关于表关系间的处理，可以上网查找看看..............
JDBC相对来说似乎是能更好的快速的处理大量的数据。
总之各有各的好处啦！