急*急 ** 读取大数据量的文件，插入到数据库内存溢出

临轩 2012-05-28 10:18:20

现在读一个大文件，读出来的东西放到一个set集合里面，插入导入数据库里面，我去了可是放到set里面时就内存溢出了，
但是要求不能改JVM的内存，求解决方法，急啊
谢谢各位大哥大姐了。

...全文

306 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

古布 2012-05-28

打赏
举报

回复

全部读入后，再存到数据库，肯定有内存问题。
一般用addBatch,executeBatch方式。每2000条左右执行一次。

安特矮油 2012-05-28

打赏
举报

回复

设定读取多少行然后将数据存入数据库，存储完成后清除数据，重复这样的过程就好

临轩 2012-05-28

打赏
举报

回复

如果要分批次读取又是怎么读取啊？？？？

在学习Oracle中，我们使用SQL和ODBC链接进行数据插入，单独插入少量数据时，没有问题。但是在插入大量数据时，就会出现异常，内存溢出错误。如何解决在进行大量数据插入时，java程序能够有效快速的进行数据处理。这就是数据库中性能优化的问题。为什么要进行性能优化。首先，在大量数据处理中一般常规的方式会造成程序处理效率和时间低下。达不到产品上线要求。其次，没有性能优化在产品维护时也会出现很多错误...

如果web app用了大量的第三方jar或者应用有太多的class文件而恰好MaxPermSize设置较小，超出了也会导致这块内存的占用过多造成溢出，或者tomcat热部署时侯不会清理前面加载的环境，只会将context更改为新部署的，非堆存的内容就会越来越多。当应用程序线程空闲；生命周期长的对象拥有生命周期短的对象时容易引发内存泄漏，例如大集合对象拥有大数据量的业务对象的时候，可以考虑分块进行处理，然后解决一块释放一块的策略。为了避免这些问题，程序的设计和编写就应避免垃圾对象的内存占用和GC的开销。

java解析生成Excel比较常用的框架有POI，JXL，但是他们都有一个严重的问题就是耗内存，POI有一套SAX模式的API可以一定程度上解决内存溢出的问题，但是它的Excel存储都是在内存中完成的，内存消耗大。EasyExcel重写了对Excel的解析，能够让原本一个3M的Excel原本需100M左右内存降低到几M，并且不存在内存溢出。最近做的一个项目中使用了EasyExcel实现文件导入导出功能，发现在读取大文件数据的时候出现请求超时和OOM问题。

本人在做项目实施时，我们使用的是mysql数据库，在不到一个月的时间已经有了2千万条数据，查询的时候非常慢，就写了一个数据迁移的小项目，将这两千万条数据存放到MongoDB中看效率怎么样，再读取数据时老是出现内存溢出，查了好多资料才找到原因，解决方法：在jdbc的URL上加两个参数就OK，成功解决内存溢出的问题。例如： "jdbc:mysql://10.20.100.86:3306/js

问题：系统要求导入40万条excel数据，采用poi方式，服务器出现内存溢出情况。解决方法：由于HSSFWorkbook workbook = new HSSFWorkbook(path)一次性将excel load到内存中导致内存不够。故采用读取csv格式。由于csv的数据以x1,x2,x3形成，类似读取txt文档。private BufferedReader bReader;/*** 执行文件...

62,622

社区成员

307,257

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章