Java 大数据量导出

aliuges 2013-07-30 11:50:11

目前系统做得是一次最多导出1W条数据到excel，超过就卡死了，搜了很多方法都没解决，SQL也优化了，请问有没有可能一次导出5W的记录？而且速度上不会太慢的,求指点。

...全文

685 9 打赏收藏转发到动态举报

写回复

9 条回复

切换为时间正序

请发表友善的回复…

发表回复

litiebiao2012 2013-08-14

打赏
举报

回复

到成csv格式吧，要么分批导，要么把堆内存放大

aliuges 2013-08-14

打赏
举报

回复

解决了，调大JVM内存，创建多个sheet，每个sheet放1W条数据

diykangs 2013-08-13

打赏
举报

回复

用apache poi excel工具 Workbook excel = new SXSSFWorkbook(100);

wz305369195 2013-08-13

打赏
举报

回复

按逻辑用sql去库里查，查完之后直接粘出来！

jlyuan1313 2013-08-12

打赏
举报

回复

导出的时候，你每次导出5千条。分10次导出。

MiceRice 2013-08-09

打赏
举报

回复

用什么来生成Excel的？也许要尝试更换操作Excel的组件。另外，这么大量数据的导出，对内存开销也比较大，你给JVM配置了多大内存？

weaponofpower 2013-08-09

打赏
举报

回复

试试 Spring Batch

Rabsia 2013-08-01

打赏
举报

回复

超过就卡死是什么意思，哪里的限制？每条数据多大？导出流程具体怎样的，存为本地文件还是需要网络传输？一次5万条当然是可以的，速度方面不知怎样算可以接受的？

kobe8free 2013-07-31

打赏
举报

回复

不知道你的导出是怎么个导出情况，是通过 tomcat这种中间件，还是直接的客户端程序访问数据库。如果是前者，那么必然会牵扯到内存溢出之类的，可以对配置文件进行优化之类的！如果是后者，应该很好解决吧！一般不会出现倒不出来的情况，卡或许是会有的！你先把这个说明一下，还有就是记录的内容是不是纯文本的！还是有大张图片！

创建一个 Java 类表示导出的数据模型。// 构造方法、Getter 和 Setterreturn id;创建一个 Java 类表示导出的数据模型。// 构造方法、Getter 和 Setterreturn id;创建一个 Java 类表示导出的数据模型。// 构造方法、Getter 和 Setterreturn id;

前言：适合小白，大神绕道。这个是最近运维项目所用的技术。之前使用的是poi的HSSFWorkbook，发现在导出5万多数据量的时候，jvm就不行了。非常慢，还报内存溢出。解决办法：在配置tomcat的时候增加下面这句 -Xms128m -Xms1024m -XX:MaxPermSize=512m 方法可行，但是当数据量十几万的时候还是会报内存溢出。然后就想到分sheet页。写完后发现还是不行。...

JAVA导出exce大数据量发生OOM异常一般来说出excel的方式，一种是poi方式的，一种是jxl方式的。这两种方式支持大量数据导出都有一定的问题，因此试图寻找一个新办法，找到了easyexcel easyexcel说明 1. 快速、简单避免OOM的java处理Excel工具 2. java解析、生成Excel比较有名的框架有Apache poi、jxl。 3. 但他们都存在一个严重的问题就是非常的耗内存，poi有一套SAX模式的API可以一定程度的解决一些内存溢出的问题， 4. 但POI还是有

Java CSV大数据量导出解决方案去发现同类优质开源项目:https://gitcode.com/ 简介本资源文件提供了一个高效且稳定的Java解决方案，用于导出千万级别的大数据量CSV文件，且不会导致内存溢出。该方案已在生产环境中经过长期验证，表现稳定可靠。功能特点 大数据量导出：支持导出千万级别的数据量，适用于大规模数据处理场景。内存优化：通过多线程技术，有效避免内存溢出问题，确保...

java导出文件大数据量一种处理思路：多文件压缩导出； 1，查询的时候分页查询确定总的文件个数：totalExcel; 总条数:count; 单个excel设定的行数:SINGLE_EXCEL_NUM; totalExcel=count/SINGLE_EXCEL_NUM + (count % SINGLE_EXCEL_NUM != 0 ? 1 : 0); 2，for 循环分多次查询数据，每查询一次数据就创建一个excel文件到本地目录；for循环中使用threadPool 多线.

高性能WEB开发

25,980

社区成员

4,366

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章