Java批量insert到Oracle,3万数据要求10秒

2010-03-24 12:30:57 5.6k 阅读 AI 写同款 · GEO 优化AI 选题数据监测一键分发 ›

zjwilove4 墨衍会员 · AI 创作全网分发关注 + 加入社区

如何2秒批量插入10万数据到数据表中注：此例子是基于我们开发平台的基础上进行java 上的实现。 --------------- 阅读详情

如何实现3万数据批量添加到oracle，并且时间在10秒以内。大伙能给个思路么？
服务器和数据库在同一台机器上。

...全文

测站坐标系、地心非惯性系、经纬高互转目录一、经纬高转直角坐标系互转 1.1 python代码二、wgs84转cgcs2000的转换矩阵如下虽然cgcs2000与wgs84差别很小，但是我比较较真，还是做了两个坐标系的转换。一、经纬高转直角坐标系互转此处可参考链接（百度文库用手机浏览器可以打开看全部的）：（1）第四章地球椭球及其数学详解（2）第四章椭球数学变换16节（3）大地测量学基础[1](7)(控制) 转换公式如下： LBH转XYZ： a为半长轴，e为偏心率 XYZ转LBH： a为半长轴阅读详情

zjwilove4

Java EE 67,535 成员 225,843 内容

+ 关注 + 加入社区

切换为时间正序

celeron729 2011-11-17

打赏
举报

http://blog.csdn.net/lg2512/article/details/6387555

celeron729 2011-11-17

打赏
举报

使用存储过程，将参数定为数组（就是插入的数据，可以一个参数对一批数据），java调用就可以，正常情况应该用不了10秒

jake136 2011-01-29

打赏
举报

批量绑定可以解决这个问题

zjwilove4 2010-03-31

打赏
举报

再次感谢大家的回答
[Quote=引用 15 楼 kaoh1631 的回复:]
性能和人性化的提示是有矛盾的。

比如：

1 WEB上，需要检验excel里面的数据是否合法，并提示用户修正数据。

2 当执行SQL失败时，你需要使用事务回滚，并提示失败信。

3 excel2003数据量行数是有限制的，最多为65553行。一个excel 30000行，看起来已经很头疼了。
[/Quote]
第一点:我把JXL再次封装。解析的时候传入条件数组即可判断是否合法并且记录下不合法的数据，返回给用户。
第二点:数据库交互开启了事务保证一致性(成功解析的数据也要返回给用户...).
第三点:这个没法解决....
还有一个让人郁闷的问题JXL和POI数据超过1W5之后有内存溢出问题，设置JVM内存大小也没作用。
求解...

liu_siat 2010-03-31

打赏
举报

并行处理

海诗美妆 2010-03-31

打赏
举报

1.使用多线程，同时insert
2.每次insert一定数量的数据(如1000行)
3.insert使用batch模式
4.注意管理每次insert的数据，不要重复insert

只要数据库承受得起，10秒内3万条应该没有问题。

Thinking_In_IT 2010-03-31

打赏
举报

[Quote=引用 12 楼 zjwilove4 的回复:]
是这样的
BS结构客户端上传Excel 使用JXL解析出来载入内存(List) 然后再使用JDBC添加或更新到数据库

我现在使用的方式是采用批处理如果数据大于1000条就1000条一提交。

1W条数据 JXL解析需要1秒左右数据库操作1秒左右

网络是局域网服务器酷睿双核 2G内存
[/Quote]

性能和人性化的提示是有矛盾的。

比如：

1 WEB上，需要检验excel里面的数据是否合法，并提示用户修正数据。

2 当执行SQL失败时，你需要使用事务回滚，并提示失败信。

3 excel2003数据量行数是有限制的，最多为65553行。一个excel 30000行，看起来已经很头疼了。

性能与人性化两难境地。

技术方舟 2010-03-31

打赏
举报

可以用文件形式导入。我想可以满足你的要求。

leavin521 2010-03-31

打赏
举报

http://topic.csdn.net/t/20060831/16/4989828.html

liguangwen86 2010-03-31

打赏
举报

这个得需要测试

zjwilove4 2010-03-30

打赏
举报

谢谢大家的回答

zjwilove4 2010-03-30

打赏
举报

是这样的
BS结构客户端上传Excel 使用JXL解析出来载入内存(List) 然后再使用JDBC添加或更新到数据库

我现在使用的方式是采用批处理如果数据大于1000条就1000条一提交。

1W条数据 JXL解析需要1秒左右数据库操作1秒左右

网络是局域网服务器酷睿双核 2G内存

zoeg 2010-03-30

打赏
举报

你的ORACLE服务器能够支持10秒3万数据量的处理么?
如果只是为了吃一个批量文件,直接用数据库的批量导入命令就好了!

Thinking_In_IT 2010-03-30

打赏
举报

[Quote=引用楼主 zjwilove4 的回复:]
如何实现3万数据批量添加到oracle，并且时间在10秒以内。大伙能给个思路么？
服务器和数据库在同一台机器上。
[/Quote]

三万数据是从哪里来的？

1 数据源来自文件、文本数据？

1）性能高：oracle 有个sqlldr 速度很快，你可以在脚本了写好命令，使用JAVA 直接调用这个脚本

就可以了

2）性能较低：JDBC 批处理命令

2 数据源来自数据库的某个表，例如data_table

直接使用 insert into 目标_table select * from data_table