急*急 ** 读取大数据量的文件，插入到数据库内存溢出

临轩 2012-05-28 10:18:20

现在读一个大文件，读出来的东西放到一个set集合里面，插入导入数据库里面，我去了可是放到set里面时就内存溢出了，
但是要求不能改JVM的内存，求解决方法，急啊
谢谢各位大哥大姐了。

...全文

281 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

古布 2012-05-28

打赏
举报

回复

全部读入后，再存到数据库，肯定有内存问题。
一般用addBatch,executeBatch方式。每2000条左右执行一次。

安特矮油 2012-05-28

打赏
举报

回复

设定读取多少行然后将数据存入数据库，存储完成后清除数据，重复这样的过程就好

临轩 2012-05-28

打赏
举报

回复

如果要分批次读取又是怎么读取啊？？？？

但是在插入大量数据时，就会出现异常，内存溢出错误。如何解决在进行大量数据插入时，java程序能够有效快速的进行数据处理。这就是数据库中性能优化的问题。为什么要进行性能优化。首先，在大量数据处理中一般常规...

java解析生成Excel比较常用的框架有POI，JXL，但是他们都有一个严重的问题就是耗内存，POI有一套SAX...最近做的一个项目中使用了EasyExcel实现文件导入导出功能，发现在读取大文件数据的时候出现请求超时和OOM问题。

工作当中遇到要读取大数据量Excel（10万行以上，Excel 2007），用POI方式读取，用HSSFWorkbook读取时，超过2万行JVM的内存就会溢出，在网上找到原来要用XML方式逐行读取，记录下来，以供参考。注意：运行环境是...

我们使用的是mysql数据库，在不到一个月的时间已经有了2千万条数据，查询的时候非常慢，就写了一个数据迁移的小项目，将这两千万条数据存放到MongoDB中看效率怎么样，再读取数据时老是出现内存溢出，查了好多资料才...

问题：系统要求导入40万条excel数据，采用poi方式，服务器出现内存溢出情况。解决方法：由于HSSFWorkbook workbook = new HSSFWorkbook(path)一次性将excel load到内存中导致内存不够。故采用读取csv格式。由于csv的...

62,635

社区成员

307,269

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章