【万能版】 亲爱的____

扩充话题 > 灌水乐园 [问题点数:100分,结帖人kltwjt]
等级
本版专家分:3140
结帖率 89.61%
等级
本版专家分:218812
勋章
Blank
红花 2011年8月 扩充话题大版内专家分月排行榜第一
2011年4月 扩充话题大版内专家分月排行榜第一
Blank
黄花 2011年9月 扩充话题大版内专家分月排行榜第二
2011年7月 扩充话题大版内专家分月排行榜第二
2011年2月 扩充话题大版内专家分月排行榜第二
2011年1月 扩充话题大版内专家分月排行榜第二
2010年10月 扩充话题大版内专家分月排行榜第二
Blank
蓝花 2011年3月 扩充话题大版内专家分月排行榜第三
等级
本版专家分:173263
勋章
Blank
红花 2011年12月 扩充话题大版内专家分排名第一
2011年6月 扩充话题大版内专家分月排行榜第一
2009年11月 扩充话题大版内专家分月排行榜第一
Blank
黄花 2009年9月 扩充话题大版内专家分月排行榜第二
Blank
蓝花 2012年2月 扩充话题大版内专家分月排行榜第三
2011年5月 扩充话题大版内专家分月排行榜第三
2010年6月 扩充话题大版内专家分月排行榜第三
等级
本版专家分:3140
等级
本版专家分:173263
勋章
Blank
红花 2011年12月 扩充话题大版内专家分排名第一
2011年6月 扩充话题大版内专家分月排行榜第一
2009年11月 扩充话题大版内专家分月排行榜第一
Blank
黄花 2009年9月 扩充话题大版内专家分月排行榜第二
Blank
蓝花 2012年2月 扩充话题大版内专家分月排行榜第三
2011年5月 扩充话题大版内专家分月排行榜第三
2010年6月 扩充话题大版内专家分月排行榜第三
等级
本版专家分:173
等级
本版专家分:217332
勋章
Blank
红花 2010年11月 扩充话题大版内专家分月排行榜第一
2010年10月 扩充话题大版内专家分月排行榜第一
Blank
黄花 2010年12月 扩充话题大版内专家分月排行榜第二
2010年8月 扩充话题大版内专家分月排行榜第二
2010年7月 扩充话题大版内专家分月排行榜第二
2010年6月 扩充话题大版内专家分月排行榜第二
Blank
蓝花 2010年6月 Java大版内专家分月排行榜第三
2010年5月 扩充话题大版内专家分月排行榜第三
2010年4月 扩充话题大版内专家分月排行榜第三
等级
本版专家分:28540
等级
本版专家分:1929
勋章
Blank
签到新秀 累计签到获取,不积跬步,无以至千里,继续坚持!
Blank
GitHub 绑定GitHub第三方账户获取
等级
本版专家分:3140
等级
本版专家分:11697
勋章
Blank
签到新秀 累计签到获取,不积跬步,无以至千里,继续坚持!
leafsoar

等级:

JAVA导出Excel数据量过大50万以上内存溢出如何解决

PHP大数据量(大于50万)导出Excel解决方案

首先,我们可以肯定这个需求太XX(手动和谐)了,这么数据量让谁看这去分析啊?一般的Excel数据都是给市场、财务的的非技术部门使用的,所以,我认为应该把思路首先放到为什么需要导出这类数据上,...

Java实现百万行数据分批量导入Excel的优化方案

1》场景 项目中需要从数据库中导出100数据,以excel形式下载并且只要一张sheet(打开这么文件有多慢另说,呵呵)。ps:xlsx最大容纳1048576行 ,csv最大容纳1048576行,xls最大容纳65536行,但是存放相同的...

PHP百万级数据导出方案(多csv文件压缩)

概述:最近公司项目要求把数据除了页面输出也希望有导出功能,虽然之前也做几个导出功能,但这次数据量相对比较,差不多一天数据就20W条,要求导7天或者30天,那么数据量就轻松破百万了甚至破千万,因此开发的...

POI3.8 导出大数据excel50万左右)

转载地址http://blog.csdn.net/yys79/article/details/26443603

Java导出Excel缓慢问题的解决思路

前几天被分配了一个需求,目前在做的系统的历史数据的导出,当数据量达到10W,20W甚至更多时,导出速度十分缓慢,OK,先做测试,发现真的好慢,仅仅6000条数据居然道出了10分钟!太夸张了,检查了一下逻辑,发现问题...

大数据导出Excel导致内存溢出解决方案

公司之前的项目中客户有一个需求是将业务数据导出Excel表中,方便他们对账,单个导出任务数据量近100W,每当月初任务量多时,导出的项目就会内存溢出,挂掉。二、原因分析: 1、每个进程在写Excel文件时,都是先...

导出 大量数据内存溢出

在 本机上用eclipse导出一百多数据导出,没有问题,但是部署在应用服务器上就会内存溢出,而且我把本机的tomcat也拷贝过去了。其它一个功能,比这数据还多几W,只不过少写出了几个字段,也能正常导出。 int ...

POI之SXSSFWorkbook大量数据导出excel

一:简介 ... SXSSFWorkbook专门处理大数据,对于大型excel的创建且不会内存溢出的,就只有SXSSFWorkbook了。  它的原理很简单,用硬盘空间换内存(就像hashmap用空间换时间一样)。 SXSSFWorkbook是...

JAVA解决大批量导出数据excel产生内存溢出的方案

下面的代码使用POI3.1,合并11个3000多行的文档用时约6秒Java代码 @SuppressWarnings("unchecked") public class XlsMergeUtil { private static Logger logger = LoggerFactory.getLogger...

Apache POI导出大数据量Excel文件导致Full GC的解决办法

参考代码大体思路是:xlsx格式的excel本质上是一个由一些xml等文件组成的zip压缩文件,每一个sheet作为一个单独的xml文件放在压缩文件的xl/xl/...我用的stringbuilder拼字符来生成xml文件,数据量大的时候也会导致

java导出百万级数据分分钟事情,亲测有效!

1、方法1:百万数据分成10个sheet,20秒,文件,有700M多 2、方法2:内存中只创建100个对象,写临时文件,当超过100条,就将内存中不用的对象释放。60秒,文件20M多,WPS打开困难,Office打开需要30秒 3、亲测有效...

Java中百万条数据报表(Excel)导出解决方案

 项目中需要从数据库中导出100行数据,以excel形式下载并且只要一张sheet(打开这么文件有多慢另说,呵呵)。  ps:xlsx最大容纳1048576行 ,csv最大容纳1048576行,xls最大容纳65536行,但是存放相同的数据...

JavaWEB_POI导出大量数据excel50万左右)

POI 对大数据量导出是一个难点,这里博主总结了两种处理方式: 方式一,使用高版本的POI,具有内存自动释放的特点。 方式二,将数据导出到多个Excel中,并进行压缩处理,上传到服务器中。 方式...

润乾报表百万级数据量导出EXCEL解决方案分析

润乾V4 润乾报表 大数据量 导出excel 打包输出

java开发中遇到的Bug整理

java开发中遇到bug是再正常不过了,所谓程序不是写出来的是调出来的,bug的调试是程序开发中重要的一部分也是必不可少的一部分。以下是我项目开发中遇到的bug整理,有一些可能比较低级,但是我还是把它记录下来。...

easyexcel 导入excel内存溢出

之前使用的是阿里开源的easyexcel ,可以避免部分的OOM情况,之前测试的时候也确实是,100Mexcel文件单sheet页,50万数据 正常导入了。 但是这次有个需求,400个sheet页,10M的时候,导入出现了OOM。 报错情况:...

jxl 处理大数据量

最近因项目需要需生成excel文件,首先采用了jxl来实现需求,但是在实施时,发现,当导出数据相当的时候,会导出内存溢出。经过详细的分析。后来得出jxl在处理大数据的时候很难适应这种需求。这时,采用文本的...

PHPExcel 大数据的导出

PHPExcel 是一个php语言读取导出数据、导入生成Excel的类库,使用起来非常方便,但有时会遇到以些问题,比如导出的数据超时,内存溢出等。 下面我们来说说这些问题和解决办法。 PHPExcel 版本:@version 1.8.0, ...

JVM 内存溢出 java heap space

这不是内存溢出了?当看到这个时候,瞬间想到了JVM调优,这不是面试官最喜欢问的JVM调优? 对JVM没有了解,刚好项目遇到了,决定学习一波。 首先就是要了解JVM,了解JVM前,需要了解内存模型,类加载机制等;才能...

java下的mysql数据库插入越插越慢的问题解决(百万数据量级别)

一开始觉得100w的数据量不大,于是就插啊插,吃了个饭,回来一看,在插入了50多w条数据后,每秒就只能插10条了。。觉得很奇怪,为啥越插越慢呢? 于是就开始分析插入的时间损耗,想到了如下的解决方案:(mysql使用...

java千万级别数据生成文件思路和优化

 程序刚开始设计的时候说的是最多百万级别数据,最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大,需要...

导出Excel文件2种方式及优化见解

1.常规的导出Excel方法:poi导出方式public class User { private Long userId; private String username; private String sex; private Long age; public User (Long userId,String username,String sex,Lon

海量数据导出解决内存溢出问题csv txt格式

* @param sql 查询数据的sql语句 * @param colTitleList 表头 * @param connName 查询的数据库 * @param tempPath 临时存放目录 要正确 * @param emax * @param response * @param fileName 文件名 * @param

高并发的大数据量查询导致系统频繁死机

我们的大数据量查询是数据库分页的,但是导出和打印功能是基于全部数据的.系统投入使用后,对于导出和打印功能的使用远远要高于我们的预期.而我们的系统的硬件设备是有限的 不能再升级了.抓取内存大对象的时候,常常...

使用生成器yield导出百万数据

设备 centos 1核2G 成果 10W【10列】 数据导出 数据大小20M 左右,时间花费5...既然是导出数据,大伙们当然马上想到了excel格式了,多方便查看数据呀,然而万万没想到excel也是有脾气的呀!  表数据限制: Exc...

scrapy_redis去重优化(已有7亿条数据),附Demo福利

背景:前些天接手了上一位同事的爬虫,一个全网爬虫,用的...我接手过来的时候爬虫已经有7亿多条URL的去重数据了,再加上一千多条requests的种子,redis占用了一百六十多G的内存(服务器,Centos7),总共才一百七十

大批量数据excel下载---本文作者只试了51万数据的下载,用时7秒

项目中原本用的是poi-HSSFWorkbook,但是如果是50万数据量下载,回经历一个漫长的等待过程,然后内存溢出。jxl也不用想了,估计也差不多。 二.两种方法: 后来从网上搜索发现针对大数据量导出有两条路可以走:第...

Java的前世今生

Java 6年了,一直想对Java有一个系统的认识,今天终于做了这件事。Java不仅仅是一门编程语言,还是一个由一系列计算机软件和规范形成的技术体系,这个技术体系提供了完整的用于软件开发和跨平台部署的支持环境,并...

webmagic采集CSDN的Java_WebDevelop页面

使用webmagic采集博客类的网站示例