关于Hibernate批量处理！

[M_song]

需要用hibernate批量进行保存操作，代码如下，其中list里可能会有30W条数据左右，目前已经跑12个小时(weblogic 920)，大家讨论下看有没有更好的方法，或者代码方面，配置方面需要更改的！
另外，暂时不考虑通过jdbc,或者存储过程来实现！

  public List<FeePayStream> newSaveFeePayStream(List<FeePayStream> list) throws FeePayManageDaoException {
        Session session = this.getSession();
        int i=0;
        try {
            for (FeePayStream feePayStream : list) {
                session.save(feePayStream);
                i++;
                if(i%50==0)
                {
                    session.flush();
                    session.clear();
                }
            }
        }
        catch (Exception e) {
            throw new FeePayManageDaoException(e.getMessage());
        }
        finally {
            session.flush();
            session.clear();
        }
        return list;
    }

[fulianglove]

跟数据库有关吧，有的数据库插入时是锁表的，ORACLE好像不是，用subList配合多线程应该可以提高一些

[dawn023]

建议采用BatchPreparedStatementSetter。
getJdbcTemplate().batchUpdate(String sql, BatchPreparedStatementSetter setter)。
可以批量处理。

[dawn023]

String sql = "insert into table_name (db field list) values (?, ?, ...)";
BatchPreparedStatementSetter setter = BatchPreparedStatementSetter()
{
public int getBatchSize()
{
return size;
}

public void setValues(PreparedStatement ps, int index) throws SQLException
{
//从list中根据index取出对象
//ps.setXXX(int index, Object value);
}
};
getJdbcTemplate().batchUpdate(sql, setter);

[hao1314]

学习中

[Shine_Panda]

优化起来貌似 有点困难。 内存中咋能出现 30w数据呢。可以从数据获取端去优化。

[老紫竹]

30W,如果数据量不是很大，应该1-2分钟就结束了。

你启动事务吧。我只看到了session,可是没看到事务。

[dudenglan]

用的啥数据库啊？直接采用数据库里面存，也需要花大量的时间，何况，程序呢？电脑配置快，数据库快，就行了

[M_song]

事务是统一配置的！

[lin_eric]

mark

[tanqimin]

不是我说啊，太注重性能，就别用Hibernate，哈

[licip]

学习了

[ben0759]

跟楼上的，不要用session，用statelesssession。

[xidu_007]

大批量的数据还是用sql比较好吧，这本来就是Hibernate的弱点。

[xidu_007]

大批量的数据还是用sql比较好吧，这本来就是Hibernate的弱点。

[cxalxpks]

好贴 学习了

[cxx8408]

用jdbc是最快的,但是不考虑用,看看用多线程,或者分成多次来处理,处理1次,让线程sleep 一下

[ET郭强]

up

[wadsad]

这种情况只能用存储过程搞，无论用hibernate还是jdbc 都是错误的。

[yangubuntu]

用jdbc是最快的,但是不考虑用,最好用多线程

[cantalou]

明显刷分嫌疑