67,549
社区成员
发帖
与我相关
我的任务
分享Java批量insert到Oracle,3万数据要求10秒
如何实现3万数据批量添加到oracle，并且时间在10秒以内。大伙能给个思路么？
服务器和数据库在同一台机器上。
服务器和数据库在同一台机器上。
...全文
请发表友善的回复…
发表回复
celeron729 2011-11-17
- 打赏
- 举报
http://blog.csdn.net/lg2512/article/details/6387555
celeron729 2011-11-17
- 打赏
- 举报
使用存储过程，将参数定为数组（就是插入的数据，可以一个参数对一批数据），java调用就可以，正常情况应该用不了10秒
jake136 2011-01-29
- 打赏
- 举报
批量绑定可以解决这个问题
zjwilove4 2010-03-31
- 打赏
- 举报
再次感谢大家的回答
[Quote=引用 15 楼 kaoh1631 的回复:]
性能和人性化的提示是有矛盾的。
比如：
1 WEB上，需要检验excel里面的数据是否合法，并提示用户修正数据。
2 当执行SQL失败时，你需要使用事务回滚，并提示失败信。
3 excel2003数据量行数是有限制的，最多为65553行。一个excel 30000行，看起来已经很头疼了。
[/Quote]
第一点:我把JXL再次封装。解析的时候传入条件数组即可判断是否合法并且记录下不合法的数据，返回给用户。
第二点:数据库交互开启了事务保证一致性(成功解析的数据也要返回给用户...).
第三点:这个没法解决....
还有一个让人郁闷的问题JXL和POI数据超过1W5之后有内存溢出问题，设置JVM内存大小也没作用。
求解...
[Quote=引用 15 楼 kaoh1631 的回复:]
性能和人性化的提示是有矛盾的。
比如：
1 WEB上，需要检验excel里面的数据是否合法，并提示用户修正数据。
2 当执行SQL失败时，你需要使用事务回滚，并提示失败信。
3 excel2003数据量行数是有限制的，最多为65553行。一个excel 30000行，看起来已经很头疼了。
[/Quote]
第一点:我把JXL再次封装。解析的时候传入条件数组即可判断是否合法并且记录下不合法的数据，返回给用户。
第二点:数据库交互开启了事务保证一致性(成功解析的数据也要返回给用户...).
第三点:这个没法解决....
还有一个让人郁闷的问题JXL和POI数据超过1W5之后有内存溢出问题，设置JVM内存大小也没作用。
求解...
liu_siat 2010-03-31
- 打赏
- 举报
并行处理
海诗美妆 2010-03-31
- 打赏
- 举报
1.使用多线程，同时insert
2.每次insert一定数量的数据(如1000行)
3.insert使用batch模式
4.注意管理每次insert的数据，不要重复insert
只要数据库承受得起，10秒内3万条应该没有问题。
2.每次insert一定数量的数据(如1000行)
3.insert使用batch模式
4.注意管理每次insert的数据，不要重复insert
只要数据库承受得起，10秒内3万条应该没有问题。
Thinking_In_IT 2010-03-31
- 打赏
- 举报
[Quote=引用 12 楼 zjwilove4 的回复:]
是这样的
BS结构 客户端上传Excel 使用JXL解析出来 载入内存(List) 然后再使用JDBC添加或更新到数据库
我现在使用的方式是采用批处理 如果数据大于1000条就1000条一提交。
1W条数据 JXL解析需要1秒左右 数据库操作1秒左右
网络是局域网 服务器 酷睿双核 2G内存
[/Quote]
性能和人性化的提示是有矛盾的。
比如：
1 WEB上，需要检验excel里面的数据是否合法，并提示用户修正数据。
2 当执行SQL失败时，你需要使用事务回滚，并提示失败信。
3 excel2003数据量行数是有限制的，最多为65553行。一个excel 30000行，看起来已经很头疼了。
性能与人性化 两难境地。
是这样的
BS结构 客户端上传Excel 使用JXL解析出来 载入内存(List) 然后再使用JDBC添加或更新到数据库
我现在使用的方式是采用批处理 如果数据大于1000条就1000条一提交。
1W条数据 JXL解析需要1秒左右 数据库操作1秒左右
网络是局域网 服务器 酷睿双核 2G内存
[/Quote]
性能和人性化的提示是有矛盾的。
比如：
1 WEB上，需要检验excel里面的数据是否合法，并提示用户修正数据。
2 当执行SQL失败时，你需要使用事务回滚，并提示失败信。
3 excel2003数据量行数是有限制的，最多为65553行。一个excel 30000行，看起来已经很头疼了。
性能与人性化 两难境地。
技术方舟 2010-03-31
- 打赏
- 举报
可以用文件形式导入。我想可以满足你的要求。
leavin521 2010-03-31
- 打赏
- 举报
liguangwen86 2010-03-31
- 打赏
- 举报
这个得需要测试
zjwilove4 2010-03-30
- 打赏
- 举报
谢谢大家的回答
zjwilove4 2010-03-30
- 打赏
- 举报
是这样的
BS结构 客户端上传Excel 使用JXL解析出来 载入内存(List) 然后再使用JDBC添加或更新到数据库
我现在使用的方式是采用批处理 如果数据大于1000条就1000条一提交。
1W条数据 JXL解析需要1秒左右 数据库操作1秒左右
网络是局域网 服务器 酷睿双核 2G内存
BS结构 客户端上传Excel 使用JXL解析出来 载入内存(List) 然后再使用JDBC添加或更新到数据库
我现在使用的方式是采用批处理 如果数据大于1000条就1000条一提交。
1W条数据 JXL解析需要1秒左右 数据库操作1秒左右
网络是局域网 服务器 酷睿双核 2G内存
zoeg 2010-03-30
- 打赏
- 举报
你的ORACLE服务器能够支持10秒3万数据量的处理么?
如果只是为了吃一个批量文件,直接用数据库的批量导入命令就好了!
如果只是为了吃一个批量文件,直接用数据库的批量导入命令就好了!
Thinking_In_IT 2010-03-30
- 打赏
- 举报
[Quote=引用楼主 zjwilove4 的回复:]
如何实现3万数据批量添加到oracle，并且时间在10秒以内。大伙能给个思路么？
服务器和数据库在同一台机器上。
[/Quote]
三万数据是从哪里来的？
1 数据源来自文件、文本数据？
1） 性能高 ：oracle 有个sqlldr 速度很快 ， 你可以在脚本了写好命令，使用JAVA 直接调用这个脚本
就可以了
2）性能较低：JDBC 批处理命令
2 数据源来自数据库的某个表，例如data_table
直接使用 insert into 目标_table select * from data_table
如何实现3万数据批量添加到oracle，并且时间在10秒以内。大伙能给个思路么？
服务器和数据库在同一台机器上。
[/Quote]
三万数据是从哪里来的？
1 数据源来自文件、文本数据？
1） 性能高 ：oracle 有个sqlldr 速度很快 ， 你可以在脚本了写好命令，使用JAVA 直接调用这个脚本
就可以了
2）性能较低：JDBC 批处理命令
2 数据源来自数据库的某个表，例如data_table
直接使用 insert into 目标_table select * from data_table
kitajima-- 2010-03-30
- 打赏
- 举报
创建Sequence，
xinqinghaohaohao123 2010-03-30
- 打赏
- 举报
在Hibernate应用中如何处理批量更新和批量删除？
http://www.phome.asia/forum/thread/16537.html
http://www.phome.asia/forum/thread/16537.html
lxh.lcl 2010-03-30
- 打赏
- 举报
AddBatch
APOLLO_TS 2010-03-26
- 打赏
- 举报
我使用本表复制数据，一万条6秒。
xuhesheng 2010-03-26
- 打赏
- 举报
你只使用insert还是慢的
你可以使用AddBatch
一起提交
或者感错像ls说的使用存储过程完成
你可以使用AddBatch
一起提交
或者感错像ls说的使用存储过程完成
whlcy 2010-03-26
- 打赏
- 举报
用存储过程！！！！
加载更多回复（3）
