生成excel out of memory 问题

haiia 2005-05-17 05:38:36

请教：

我使用poi生成excel时，当数据为50000条时出现out of memory 现象。

当使用jxl生成时，当数据为70000条时（分sheet）出现同样的问题。

我用多线程来实现时，每个线程几万条，每个线程生成一个sheet 也出现同样的问题。

（报表数据，从页面点击生成excel，一次读出来，再生成excel）

向高手请教有没有好的实现方式。

...全文

190 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

lydong 2005-05-18

打赏
举报

回复

线程，虽然是单个任务的负担降低，但各个线程分别占用资源，集合起来也不是小数目。所以，不是线程就能解决。
--------------------------
加大jvm heap值
提高数据库处理效率
避免在操作数据库的同时写文件，即边读取数据库边写文件，应读出后放入内存中处理
在提取应写入文件的数据时就进行划分，尽量使其最小化，而不是一次性提取并放入内存（如分批处理，一次只处理若干条，非线程，作循环即可）

haiia 2005-05-17

打赏
举报

回复

不是很明白，

我每4000条起一个线程，也没有搞定

lydong 2005-05-17

打赏
举报

回复

以循环形式，以某系统允许值为界，每次向文件中加入一定数量的数据，而不是一次性写入。

1,01.zipOutput显示所有的调试信息(5KB)2,02.zipSome general debugging tips一般的调试技巧(11KB)3,03.zipDebugging ISAPI extension调试ISAPI扩展(4KB)4,04.zipLibDump类似DumpBin的工具(10KB)5,05.zipFinding memory leaks发现内存的泄漏(6KB)6,06.zipConvert message ID to a string将消息标志符转换成字符串(4KB)7,07.zipMessage Tracer消息跟踪(5KB)8,08.zipA simple profiler class一个简单的轮廓类(5KB)9,09.zipTerminator中断应用程序(5KB)10,10.zipTranslate Window Style转换窗口风格(5KB)11,11.zipLong String Debugging Macro调试宏(5KB)12,12.zipCheck for loaded DLLs检查装入的动态链接库(4KB)13,13.zipAutoincreasing build number自动增加版本信息的宏(5KB)14,14.zipFile Dialog Macro文件对话框宏(6KB)15,15.zipCode Template add-in for Visual C++ 5.0在VC5中可增加的代码模板(5KB)16,16.zipComment / Uncomment macros命令/反命令宏(5KB)17,17.zipCustom built files自定义生成的文件(5KB)18,18.zipDefine Method定义方法(5KB)19,19.zipExport Makefile输出工程制作文件(5KB)20,20.zipJump to Next/Previous Function Definition跳转到下一个/上一个功能定义(4KB)21,21.zipInverting Assignment Operations转化操作任务(5KB)22,22.zipVC4.2 style keyboard macro recorder for DevStudio 97在DevStudio 97中使用在VC4.2风格的键盘宏记录(4KB)23,23.zipApplication Launcher程序发射器, 能够在Word, Excel, Access, Power Point, Visio和Html中连接网站(6KB)24,24.zipOpen current header file打开当前文件头(7KB)25,25.zipOpen header file打开文件头(4KB)26,26.zipSequentially Renumber Resource ID's重新对资源标识符编号(5KB)27,27.zipA secondary clipboard实现第二个剪贴板, 不过它用的热键是Ctrl+Shift+C, Ctrl+Shift+V和Ctrl+Shift+X(4KB)28,28.zipCase switching这个宏实现文字的大小写互换(4KB)29,29.zipWM_COMMAND user message macroWM_COMMAND用户消息宏(5KB)30,30.zipBetter caret movement by words在IDE中移动快速单词的宏(5KB)

测试管理与QualityCenter培训手册 1、测试流程管理、测试度量方法按照尽早进行测试的原则，测试人员应该在需求阶段就介入，并贯穿软件开发的全过程。就测试过程本身而言，应该包含以s下几个阶段。  -测试需求的分析和确定。  -测试计划。  -测试设计。  -测试执行。  -测试记录和缺陷跟踪。  -回归测试。  -测试总结和报告。一个好的测试管理工具应该能把以上几个阶段都管理起来。测试人员每时每刻都在度量别人的工作成果，而测试人员的工作成果又由谁来度量呢？度量的标准和依据是什么呢？软件测试的度量是测试管理必须仔细思考的问题。缺乏尺度会让测试失去平衡，缺乏标准会让测试工作难以衡量。 2、如何搭建测试管理平台？首要问题是流程的规范化。（1）测试进入和退出标准。（2）协作流程。（3）缺陷跟踪管理流程。（4）工具平台的引入。目前主流测试管理平台与缺陷跟踪工具： 3、QC（Quality Center）介绍 QC标准测试管理流程 QC支持的应用服务器：Jboss、WebLogic、WebSphere QC支持的数据库：Oracle、SQLServer QC支持的操作系统：Windows、Linux、Solaris 支持群集：服务器端硬件和数据库要求： Windows： Linux： Solaris：客户端系统要求：练习1：安装QC 详见《Mercury Quality Center 9.0 Installation Guide》 Win2003+SQLServerSp4+QC9.0安装示例 1、安装Windows Server 2003 Enterprise Edition、安装IIS邮件服务器 2、安装SQL Server 2000、打上补丁Sp4 安装好SQL Server 2000后注意启动SQLServer服务器 3、安装QC9.0 服务器名称也可以是IP地址 4、启动QC9.0 5、QC9.0安装问题解决 - JBOSS启动不了原因：8080端口被其他应用程序占用。用netstat查看谁占用了8080端口 netstat -ano 解决办法1：修改其他程序的端口使用解决办法2：修改JBOSS的启动端口 JBOSS_HOME\server\default\deploy\jbossweb-tomcat55.sar\server.xml 6、修改IP地址后不能登录QC 解决办法：在C:\Program Files\Mercury\Quality Center\jboss\server\default\deploy目录下找到10sabin.war 进入10sabin.war\WEB-INF，修改siteadmin.xml中的IP地址：修改数据库中的数据：修改后可以登陆但是还需要修改以前Project的数据库连接属性否则会提示错误然后还要修改 C:\Program Files\Mercury\Quality Center\repository\qc中的dbcon.txt： qcsiteadmin_db@192.168.1.12.1433. 还有 C:\Program Files\Mercury\Quality Center\repository\qc\Default\QualityCenter_Demo_db中的dbid.xml 192.168.1.12 7、Mercury Tours 样例程序启动：http://192.168.1.2:8080/mtours 注意安装JVM才能“View Calendar” 4、创建和定义测试需求、测试需求管理、跟踪定义需求 1、查看需求视图->需求树 2、添加需求需求->新建需求输入以下内容 3、添加子需求项查看需求 ZooIn : CTRL + I ZooOut : CTRL + O 视图->编号视图->需求网格视图->筛选/排序->设置筛选器/排序设置排序字段设置过滤条件修改需求拷贝需求项Cruise Reservation 重命名需求项Cruise Reservation_Copy_1为Hotel Reservation 移动需求项

LINGO是用来求解线性和非线性优化问题的简易工具。LINGO内置了一种建立最优化模型的语言，可以简便地表达大规模问题，利用LINGO高效的求解器可快速求解并分析结果。 §1 LINGO快速入门当你在windows下开始运行LINGO系统时，会得到类似下面的一个窗口：外层是主框架窗口，包含了所有菜单命令和工具条，其它所有的窗口将被包含在主窗口之下。在主窗口内的标题为LINGO Model – LINGO1的窗口是LINGO的默认模型窗口，建立的模型都都要在该窗口内编码实现。下面举两个例子。例1.1 如何在LINGO中求解如下的LP问题：在模型窗口中输入如下代码： min=2*x1+3*x2; x1+x2>=350; x1>=100; 2*x1+x2<=600; 然后点击工具条上的按钮即可。例1.2 使用LINGO软件计算6个发点8个收点的最小费用运输问题。产销单位运价如下表。单位销地运价产地 B1 B2 B3 B4 B5 B6 B7 B8 产量 A1 6 2 6 7 4 2 5 9 60 A2 4 9 5 3 8 5 8 2 55 A3 5 2 1 9 7 4 3 3 51 A4 7 6 7 3 9 2 7 1 43 A5 2 3 9 5 7 2 6 5 41 A6 5 5 2 2 8 1 4 3 52 销量 35 37 22 32 41 32 43 38 使用LINGO软件，编制程序如下： model: !6发点8收点运输问题; sets: warehouses/wh1..wh6/: capacity; vendors/v1..v8/: demand; links(warehouses,vendors): cost, volume; endsets !目标函数; min=@sum(links: cost*volume); !需求约束; @for(vendors(J): @sum(warehouses(I): volume(I,J))=demand(J)); !产量约束; @for(warehouses(I): @sum(vendors(J): volume(I,J))<=capacity(I)); !这里是数据; data: capacity=60 55 51 43 41 52; demand=35 37 22 32 41 32 43 38; cost=6 2 6 7 4 2 9 5 4 9 5 3 8 5 8 2 5 2 1 9 7 4 3 3 7 6 7 3 9 2 7 1 2 3 9 5 7 2 6 5 5 5 2 2 8 1 4 3; enddata end 然后点击工具条上的按钮即可。为了能够使用LINGO的强大功能，接着第二节的学习吧。 §2 LINGO中的集对实际问题建模的时候，总会遇到一群或多群相联系的对象，比如工厂、消费者群体、交通工具和雇工等等。LINGO允许把这些相联系的对象聚合成集（sets）。一旦把对象聚合成集，就可以利用集来最大限度的发挥LINGO建模语言的优势。现在我们将深入介绍如何创建集，并用数据初始化集的属性。学完本节后，你对基于建模技术的集如何引入模型会有一个基本的理解。 2.1 为什么使用集集是LINGO建模语言的基础，是程序设计最强有力的基本构件。借助于集，能够用一个单一的、长的、简明的复合公式表示一系列相似的约束，从而可以快速方便地表达规模较大的模型。 2.2 什么是集集是一群相联系的对象，这些对象也称为集的成员。一个集可能是一系列产品、卡车或雇员。每个集成员可能有一个或多个与之有关联的特征，我们把这些特征称为属性。属性值可以预先给定，也可以是未知的，有待于LINGO求解。例如，产品集中的每个产品可以有一个价格属性；卡车集中的每辆卡车可以有一个牵引力属性；雇员集中的每位雇员可以有一个薪水属性，也可以有一个生日属性等等。 LINGO有两种类型的集：原始集(primitive　set)和派生集(derived set)。一个原始集是由一些最基本的对象组成的。一个派生集是用一个或多个其它集来定义的，也就是说，它的成员来自于其它已存在的集。 2.3 模型的集部分集部分是LINGO模型的一个可选部分。在LINGO模型中使用集之前，必须在集部分事先定义。集部分以关键字“sets:”开始，以“endsets”结束。一个模型可以没有集部分，或有一个简单的集部分，或有多个集部分。一个集部分可以放置于模型的任何地方，但是一个集及其属性

前言：前一篇博客完成了经纬度画图的代码设计，现在需要批量生成不同路的图片，共计2000多张。但是在画图时，画到50张就会内存达到100%，且出现“MemoryError: In RendererAgg: Out of memory”的错误。在网上找了一些帖子，终于找到标准答案： 1、fig = plt.figure() 放在for循环的外面； 2、在每次循环开始阶段，加入plt.cla()（清除当前图形中的当前活动轴）；代码： import pandas as pd import numpy as

文章目录一、问题背景二、发现问题三、关于 poi四、关于 OOMOOM 就是内存溢出吗？是 OOM 导致CPU飙到近100%的吗？为什么消息队列和微服务请求会超时，抛异常？OOM 会导致虚拟机退出吗？五、总结一、问题背景在周六16:11、16:14分别收到告警邮件，JVM major垃圾回收器频繁警告，60s 秒内发生了 8 次、7 次 major GC；在 16:07 到 17:00 之间，收到 CPU 告警：5台机器 CPU 使用率连续 3 分钟超过阈

67,512

社区成员

225,881

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章