C#使用NPOI在数据库中查询出20万的数据导出到excel。引发类型为“System.OutOfMemoryException”的异常。

坚持的小马 2015-11-18 02:47:37
我的导出代码如下:
public MemoryStream RenderToExcel(DataTable table)
{
MemoryStream ms = new MemoryStream();

using (table)
{
IWorkbook workbook = new XSSFWorkbook();

ISheet sheet = workbook.CreateSheet();

IRow headerRow = sheet.CreateRow(0);

// handling header.
foreach (DataColumn column in table.Columns)
headerRow.CreateCell(column.Ordinal).SetCellValue(column.Caption);//If Caption not set, returns the ColumnName value

// handling value.
int rowIndex = 1;

foreach (DataRow row in table.Rows)
{
IRow dataRow = sheet.CreateRow(rowIndex);

foreach (DataColumn column in table.Columns)
{
dataRow.CreateCell(column.Ordinal).SetCellValue(row[column].ToString());
}

rowIndex++;
}

workbook.Write(ms);
ms.Flush();
ms.Position = 0;
}


return ms;
}
程序报错的位置:workbook.Write(ms);这段代码,请教一下各位,我这个需要进行怎么样的优化才可以导出大数据量的数据到excel呢
...全文
1035 5 打赏 收藏 转发到动态 举报
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
BitCoffee 2015-11-18
  • 打赏
  • 举报
回复
foreach外面定义一个int row=0; foreach里面 if(row % 10000 ==0) { ISheet sheet = workbook.CreateSheet(); IRow headerRow = sheet.CreateRow(0); } 每次sheet.CreateRow(0)时row++; 其它细节自己去组织。
海棠是否依旧 2015-11-18
  • 打赏
  • 举报
回复
創建多個Sheet導入
坚持的小马 2015-11-18
  • 打赏
  • 举报
回复
请教一下,duanzi_peng你有没有分批次的实例代码呢,我拿来参考一下。
BitCoffee 2015-11-18
  • 打赏
  • 举报
回复
分批次倒入的时候注意下这个 : Excel 07-2003一个工作表最多可有65536行;最多可有256列;255个工作表。 Excel 2007及以后版本,一个工作表最多可有1048576行,16384列; 另外Excel 07-2003的单个表的行数过多时,会导致打开文件很慢。
  • 打赏
  • 举报
回复
分批次写入。
内容概要:本文提一种基于融合鱼鹰搜索行为与柯西变异策略的改进麻雀优化算法(OCSSA),用于优化变分模态分解(VMD)的关键参数(如模态分量数K和惩罚因子α),以实现对滚动轴承振动信号的高效自适应分解,有效抑制模态混叠问题。经过OCSSA优化的VMD对原始信号进行预处理后,将分解得到的本征模态函数(IMF)重构为时频特征矩阵,作为卷积神经网络(CNN)的输入,以自动提取深层次的空间特征;随后,双向长短期记忆网络(BiLSTM)进一步挖掘特征序列的前后向时序依赖关系,最终实现高精度的故障分类识别。该OCSSA-VMD-CNN-BiLSTM模型在西储大学公开轴承数据集上进行了充分验证,结果表明其在复杂噪声环境下对轴承不同故障类型与程度的诊断准确率显著优于传统方法,充分体现了智能优化算法与深度学习相结合在故障诊断领域的优越性能。; 适合人群:具备信号处理、机器学习及智能优化算法基础知识,从事机械装备状态监测、故障诊断、工业大数据分析等相关领域的科研人员、工程技术人员及高校研究生。; 使用场景及目标:①解决传统VMD参数依赖经验设定导致信号分解效果不稳定的问题;②提升强背景噪声和工况变化下滚动轴承早期微弱故障的检测灵敏度与分类准确率;③为智能制造和工业互联网背景下的关键设备智能运维与预测性维护提供一套可复现、高性能的技术解决方案。; 阅读建议:此资源以Matlab代码实现为核心,建议读者深入研读算法代码,重点理解OCSSA的寻优机制、VMD参数自适应选择过程以及CNN-BiLSTM的网络构建细节,通过复现完整实验流程,掌握从信号预处理、特征提取到智能分类的全流程关键技术,并尝试在自有数据集上进行迁移应用与性能对比。
源码链接: https://pan.quark.cn/s/a4b39357ea24 接口测试框架(基于json格式、http请求,python3,不兼容python2.x版本) 注:现在基于Excel文件管理测试用例基本实现,) 备注:大家在运行的时候,如果参数不需要key,只需要字典,可以在ddt_case.py和case.py改造parame,注释掉现在的parem,启用新的即可 依赖用例支持用例执行,在testCase的ddt_case.py有实现,逻辑在代码有写,参数的格式{"name":"$case1=data"}即代表name的值是case1的data字段,简单的实现。 依赖用例是简单的实现,具体在业务上面还有很多复杂的要处理,知识实现了,部分的思路。 (目前在部分window上会现FileNotFoundError [Errno 2] No such file or directory,这个bug是路径过长,解决方案为吧log日志放在当前目录,或者修改动态生成的文件的名字,给了第一种方式,测试日志放在当前目录) qq交流群:194704520 Alt text 使用的库 requests,绝大部分是基于Python原有的库进行的,这样简单方便, 使用脚本参数分离等思想,尽可能降低代码的耦合度。 如果你不配置钉钉机器人,注释到机器人相关的代码 首先我们来看下我们的目录 Alt text ### 1.Case文件夹用来存放我们的测试用例相关的, test_case用来存储我们的测试数据Excel管理测试用例,yaml文件管理测试用例,后续要把yaml管理测试用例的也封装来。 Interface对测试接口相关的封装,包括requests库,发送...
内容概要:本文档围绕“配电网两阶段鲁棒故障恢复研究”展开,提供了完整的Matlab代码实现方案,属于高水平期刊论文的复现资料。研究针对配电网在发生故障后的恢复问题,提了一种两阶段鲁棒优化方法,有效应对系统诸如负荷波动、分布式电源力不确定性等多重不确定因素。第一阶段进行预决策,包括网络重构、关键设备投切等操作;第二阶段则根据实际发生的故障场景进行动态调整与恢复控制,确保系统在故障后仍能安全、稳定、可靠运行。该资源不仅包含可运行的Matlab代码,还隶属于一个涵盖电力系统优化、智能算法、路径规划、机器学习等多个技术方向的综合性科研服务体系。; 适合人群:具备电力系统分析基础、优化理论知识及Matlab编程能力的研究生、科研人员和工程技术人员,特别适用于从事智能电网、配电自动化、故障恢复策略、鲁棒优化等领域研究的专业人士。; 使用场景及目标:① 学习并复现顶刊关于配电网故障恢复的先进优化模型;② 掌握两阶段鲁棒优化在电力系统的建模思路、求解流程与技术细节;③ 利用所提供的Matlab代码进行算法验证、仿真测试,并在此基础上开展扩展性科研工作,如改进模型、引入新约束或应用于其他系统。; 阅读建议:建议结合经典电力系统优化与鲁棒调度相关文献,深入理解两阶段鲁棒优化的数学建模原理与物理背景,通过实际运行和调试代码,观察不同参数设置对优化结果的影响,进而掌握算法的核心机制。同时可参考文档提及的其他相关研究主题,拓展研究视野,推动科研创新。

111,130

社区成员

发帖
与我相关
我的任务
社区描述
.NET技术 C#
社区管理员
  • C#
  • Creator Browser
  • by_封爱
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

让您成为最强悍的C#开发者

试试用AI创作助手写篇文章吧