JDBC处理海量数据问题

XINGDONGLI 2008-07-27 08:14:10

用ResultSet返回结果集时，由于结果中的元组太多而导致内存溢出，如何解决，急需帮助，谢谢！！！

...全文

146 11 打赏收藏转发到动态举报

写回复

用AI写文章

11 条回复

切换为时间正序

请发表友善的回复…

发表回复

milooxu 2008-09-10

打赏
举报

jdbc分页太麻烦了。结果集元数据的定位很容易晕。

gang0713 2008-08-24

打赏
举报

页，记得每次查询后回收资源。

小雨转晴 2008-08-07

打赏
举报

分页，记得每次查询后回收资源。

海诗美妆 2008-08-05

打赏
举报

确定每次提取之后都close释放了吗？

还有就是只提取需要的使用的数据、优化SQL。
在启动tomcat的时候，增加JVM使用内存的设定。

如果还不行，添加内存条。

lemon5366 2008-07-29

打赏
举报

分页查询一次就会建立一次和数据库的连接，查询结束连接也就断开了

c3p100 2008-07-29

打赏
举报

建立一次数据源，需要第几也的数据，就查询第几页的数据。

mengweilil 2008-07-29

打赏
举报

不是

XINGDONGLI 2008-07-29

打赏
举报

谢谢你们的回答,我对JDBC不太熟悉,所以我还有个问题,分页是不是得返回一页就得建立一次与数据源的连接呀?

天外流星 2008-07-28

打赏
举报

这么大的数据当然要分页了,分页不就解决了.

zqpsswh 2008-07-28

打赏
举报

采取分页形式返回

每次只返回一部分数据

Re： MySQL 存储过程（创建海量数据实验环境） ================================ # 存储过程概念存储过程是数据库管理中常用的技术之一，可以很方便的做些创建数据、统计数据、分析数据等工作，当前的主流...

海量数据存储Sharding-JDBC分库分表

这个就是做个练习.想看下JDBC的最大优化度.我的要求就是插入到数据库里大量的数据比如10W 或者 100W 而且要求内存稳定.首先说下我的代码:我的数据库MySQL CREATE TABLE `users` ( `id` int(11) NOT NULL auto_increment, `firstname` varchar(50) NOT NULL, `lastname` varchar(50) NOT NULL, `age` int(11) NOT NULL, PRI

一、海量数据，为高效查询，如何处理？分库分表会带来哪些副作用？可能的解决方式有哪些？目前经常使用的关系型数据库如 MySQL、SQL Server 等，都是以“行”为单位进行存储，为了快速检索，也都采用了B树或其他索引技术。 1️⃣从原理上来讲，表中的数据越多，索引树的范围越大，磁盘读取也越多，性能也就越低。 2️⃣从实践角度来看，一般以百万到千万作为一个表的存储量级，超出该范围之后，性能就会下降，需要采用其他技术手段解决。【读写分离】首先想到的就是能否将读和写分离，主数据库用于写入，读数据库(多个)

需要对大量数据进行处理时，全部读取放入内存会导致内存溢出。针对这种处理大数据出现的常见问题，可以采用流式读取数据的方法。对于不同的关系型数据库，流式读取数据的方式略有不同，下面对常见的关系型数据库流式读取数据的方式做一点个人总结。前提：使用JDBC方式读取 MySQL MySQL中需要特别注意的是数据库连接的url，必须配置useCursorFetch=true。例如： jdbc:mysql://127.0.0.1:3306/test?characterEncoding=utf8&useSSL

Java EE

67,513

社区成员

225,879

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章