社区
高性能WEB开发
帖子详情
Java 大数据量导出
aliuges
2013-07-30 11:50:11
目前系统做得是一次最多导出1W条数据到excel,超过就卡死了,搜了很多方法都没解决,SQL也优化了,请问有没有可能一次导出5W的记录?而且速度上不会太慢的,求指点。
...全文
682
9
打赏
收藏
Java 大数据量导出
目前系统做得是一次最多导出1W条数据到excel,超过就卡死了,搜了很多方法都没解决,SQL也优化了,请问有没有可能一次导出5W的记录?而且速度上不会太慢的,求指点。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
9 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
litiebiao2012
2013-08-14
打赏
举报
回复
到成csv格式吧,要么分批导,要么把堆内存放大
aliuges
2013-08-14
打赏
举报
回复
解决了,调大JVM内存 ,创建多个sheet,每个sheet放1W条数据
diykangs
2013-08-13
打赏
举报
回复
用apache poi excel工具 Workbook excel = new SXSSFWorkbook(100);
wz305369195
2013-08-13
打赏
举报
回复
按逻辑用sql去库里查,查完之后直接粘出来!
jlyuan1313
2013-08-12
打赏
举报
回复
导出的时候,你每次导出5千条。 分10次导出。
MiceRice
2013-08-09
打赏
举报
回复
用什么来生成Excel的?也许要尝试更换操作Excel的组件。 另外,这么大量数据的导出,对内存开销也比较大,你给JVM配置了多大内存?
weaponofpower
2013-08-09
打赏
举报
回复
试试 Spring Batch
Rabsia
2013-08-01
打赏
举报
回复
超过就卡死是什么意思,哪里的限制? 每条数据多大? 导出流程具体怎样的,存为本地文件还是需要网络传输? 一次5万条当然是可以的,速度方面不知怎样算可以接受的?
kobe8free
2013-07-31
打赏
举报
回复
不知道你的导出是怎么个导出情况,是通过 tomcat这种 中间件,还是直接的客户端程序访问数据库。 如果是前者,那么必然会牵扯到 内存溢出之类的,可以对 配置文件进行优化之类的! 如果是后者,应该很好解决吧!一般不会出现倒不出来的情况,卡或许是会有的! 你先把这个说明一下,还有就是记录的内容是不是纯文本的!还是有 大张图片!
Java
实现
大数据
量
导出
报表
本文介绍了
Java
实现
大数据
量
导出
报表的几种方式。包括Apache POI、EasyExcel和OpenCSV,阐述了各自特点与适用场景。还分别说明了使用SXSSFWorkbook、EasyExcel、OpenCSV进行
导出
的步骤,如添加依赖、定义数据模型、分页查询数据、多线程
导出
及调用
导出
方法等。
Java
之Poi
大数据
量
导出
技术SXSSFWorkbook应用
本文介绍了在
Java
中使用Poi的
大数据
量
导出
解决方案,特别是针对HSSFWorkbook内存溢出问题,通过切换到SXSSFWorkbook进行.xlsx格式的
导出
。尽管增加了内存设置可以暂时缓解,但最终仍需采用SXSSFWorkbook进行分sheet处理。然而,即使如此,在头字段过多、数据
量
过大的情况下,仍然可能出现内存溢出。文中提供了Controller层和ExportUtil.
java
的相关代码示例。
Java
CSV
大数据
量
导出
解决方案
该博客介绍了一个
Java
CSV
大数据
量
导出
解决方案,可
导出
千万级数据且避免内存溢出,已在生产环境验证。其功能有
大数据
量
导出
、内存优化等。使用时需配置
Java
环境,导入项目并配置参数。同时给出注意事项及联系信息。
JAVA
导出
exce
大数据
量
发生OOM异常
本文介绍了在
JAVA
处理
大数据
量
Excel
导出
时遇到的OOM异常,推荐了EasyExcel作为解决方案。EasyExcel是一个轻
量
级、避免OOM的
Java
Excel处理工具,相比Apache POI,它降低了内存消耗,特别适合处理大文件。文章提供了EasyExcel的快速说明,示例所需依赖包,以及在处理
大数据
导出
时应考虑的三个方面,强调在数据库和
Java
内存允许的情况下,优先考虑
导出
CSV格式以提高效率。
java
导出
文件
大数据
量
一种处理思路:多文件压缩
导出
本文介绍了一种处理
大数据
量
Java
导出
的方法,通过分页查询、多线程创建Excel文件并压缩成zip进行
导出
,以提高效率。作者还提供了查询、模板文件和工具类的实现示例。
高性能WEB开发
25,980
社区成员
4,366
社区内容
发帖
与我相关
我的任务
高性能WEB开发
高性能WEB开发
复制链接
扫一扫
分享
社区描述
高性能WEB开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章