社区
Java SE
帖子详情
急*急 ** 读取大数据量的文件,插入到数据库内存溢出
临轩
2012-05-28 10:18:20
现在读一个大文件,读出来 的东西放到一个set集合里面,插入导入数据库里面,我去了可是放到set里面时就内存溢出了,
但是要求不能改JVM的内存,求解决方法,急啊
谢谢各位大哥大姐了。
...全文
292
3
打赏
收藏
急*急 ** 读取大数据量的文件,插入到数据库内存溢出
现在读一个大文件,读出来 的东西放到一个set集合里面,插入导入数据库里面,我去了可是放到set里面时就内存溢出了, 但是要求不能改JVM的内存,求解决方法,急啊 谢谢各位大哥大姐了。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
古布
2012-05-28
打赏
举报
回复
全部读入后,再存到数据库,肯定有内存问题。
一般用addBatch,executeBatch方式。每2000条左右执行一次。
安特矮油
2012-05-28
打赏
举报
回复
设定读取多少行然后将数据存入数据库,存储完成后清除数据,重复这样的过程就好
临轩
2012-05-28
打赏
举报
回复
如果要分批次读取又是怎么读取啊????
oracle添加
内存溢出
,Oracle大
量
数据
插入
之性能优化理解
但是在
插入
大
量
数据时,就会出现异常,
内存溢出
错误。如何解决在进行大
量
数据
插入
时,java程序能够有效快速的进行数据处理。这就是
数据库
中性能优化的问题。为什么要进行性能优化。首先,在大
量
数据处理中 一般常规...
【
内存溢出
问题】实际开发中,一次从
数据库
取出过多数据,导致
内存溢出
问题
生命周期长的对象拥有生命周期短的对象时容易引发内存泄漏,例如大集合对象拥有
大数据
量
的业务对象的时候,可以考虑分块进行处理,然后解决一块释放一块的策略。为了避免这些问题,程序的设计和编写就应避免垃圾对象...
EasyExcel
读取
出现请求超时和
内存溢出
问题
java解析生成Excel比较常用的框架有POI,JXL,但是他们都有一个严重的问题就是耗内存,POI有一套SAX...最近做的一个项目中使用了EasyExcel实现
文件
导入导出功能,发现在
读取
大
文件
数据的时候出现请求超时和OOM问题。
Easyexcel分批
读取
excel数据,海
量
excel数据
量
的
读取
存入
数据库
的实际操作
对于海
量
excel的数据
读取
,如获取对账
文件
,第三方订单信息等等,为了避免
内存溢出
,我们通常会进行分批
读取
入库的操作,这里我们使用阿里巴巴开源的easyexcel 工具类进行操作,为了减少踩坑,我们先看官网,官网写...
jdbc
读取
百万条数据出现
内存溢出
的解决办法
我们使用的是mysql
数据库
,在不到一个月的时间已经有了2千万条数据,查询的时候非常慢,就写了一个数据迁移的小项目,将这两千万条数据存放到MongoDB中看效率怎么样,再
读取
数据时老是出现
内存溢出
,查了好多资料才...
Java SE
62,629
社区成员
307,258
社区内容
发帖
与我相关
我的任务
Java SE
Java 2 Standard Edition
复制链接
扫一扫
分享
社区描述
Java 2 Standard Edition
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章