关于JDBC读取大量数据

jessewizard 2011-11-27 03:48:30

当我用JDBC来从一个数据库读取N条数据（N很大，每条数据也很大，不定长），执行一些操作后，放入另一个库中。该怎么操作才能让效率最高？
存在问题是，每次读取的数据要尽量多，这样效率才会高，但是机器本身的内存是有限的，如果不做限制会超内存。
另外，机器可用的内存不等于，程序可以向JVM申请到的内存。
求高手指教。

...全文

701 8 打赏收藏转发到动态举报

写回复

用AI写文章

8 条回复

切换为时间正序

请发表友善的回复…

发表回复

tianye306 2011-12-02

打赏
举报

学习了，和你一样

jessewizard 2011-12-02

打赏
举报

[Quote=引用 4 楼 hehecafe 的回复:]

不知道下面的做法是否满足你的要求：

方案一：程序机制

1. 采用线程池来实现对数据进行并发处理，可根据内存的情况进行调整线程池最大并发线程数量
2. 从ResultSet中获取数据只能单线程，老老实实一行一行的取数据吧，每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后，为了不阻塞后面的请求，可将数据放入队列。然后等待后面的数据处理请求
4.……
[/Quote]
还有个问题是，程序要怎么知道jvm占的内存是多少呢。

showdance 2011-12-02

打赏
举报

用Java实现这个功能没有太好的方法。
如果是查询表插入到别的表，或者夸数据库，建议考虑用存储过程来做。这一容易提高效率。

lizhongyi188 2011-11-30

打赏
举报

hehecafe 2011-11-30

打赏
举报

不知道下面的做法是否满足你的要求：

方案一：程序机制

1. 采用线程池来实现对数据进行并发处理，可根据内存的情况进行调整线程池最大并发线程数量
2. 从ResultSet中获取数据只能单线程，老老实实一行一行的取数据吧，每取到一行数据就交给线程池中的一个线程来进行处理
3. 线程池中的线程对数据处理完成后，为了不阻塞后面的请求，可将数据放入队列。然后等待后面的数据处理请求
4. 写入另外一个库的工作也开启一个线程，轮询前面的队列中的数据，可一次从队列中拿一批数据，对这批数据的insert也只能老老实实一条条执行，对这批数据的insert开启事务可提高速度

方案二：采用临时表机制

如果数据量巨大，且两个数据库之间能连通（如建立DBLink），可采用这种方式。将对数据的处理转换为SQL来实现，将处理完的结果放入到临时表中，所有数据处理完成后将整个表的数据插入到目标库。
这种方式省去了JDBC与数据库的交互，所有操作都在数据库服务器内部进行，这样效率比用程序来实现要高很多。

jessewizard 2011-11-27

打赏
举报

[Quote=引用 1 楼 jingluo 的回复:]

不解：“存在问题是，每次读取的数据要尽量多，这样效率才会高”

根据我导oracle的经验，把一个库的数据导入到另一个库，可以导出到文本（这过程中做要做的处理）；导完后，用sqlldr把文本导入到oracle。sqlldr导入还是oracle还是很快的。
仅供参考。
[/Quote]
你可能误解了，我所说的问题是后面一句，不做限制会超内存。
请问你导出到文本是怎么做的呢，是一条条导，还是一批批导呢。按批导应该会更效率吧。