excel里面能不能存入10万条数据,会不会死机阿?

flamefiredelphi 2003-01-08 06:39:33

我用pb往excel里面存入10万条数据,到了最后死机了,是excel的问题,还是内存不够了?

...全文

217 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

th820901 2003-01-08

打赏
举报

回复

帮你顶吧！

flamefiredelphi 2003-01-08

打赏
举报

回复

急阿,自己up!

flamefiredelphi 2003-01-08

打赏
举报

回复

我用ole联结excel,是不是把数据都先存到内存了,然后再写道excel文件中阿!?这个问题怎么解决呢!10万条数据只能写道一个excel文件中!

miclesvic 2003-01-08

打赏
举报

回复

应该是内存的问题！！

这种情况，可能你也遇到过：做报表时需要一些外部数据，通常上网找。比如，你要做一份手机产品调研，需要导入各品牌手机的参数，做对比分析。◎ 中关村网的OPPO手机参数这种网上数据，一般呈表格状。你心想，既然Excel也是做表的，那复制下来不就完事了？然后开始左点鼠标，非常“细心”选取表格，以确保不把多余又无关紧要的内容弄下来。而这个过程，往往很磨人……◎ 操作示范贴了下来之后，问题还一堆：排版失效，行...

2）导出进行多线程，启用最多十个多线程（默认最多一百万条数据，一个sheet页十万条数据），每个线程会进行两个动作，查询数据以及数据写入操作，（如果数据量较少，依旧是适用的）考虑到单个excel文件过大，采用压缩文件流zip的方式，一个excel只有一个页签，一个页签最多十万条数据，所以少于十万条数据，会导出excel文件，而非zip压缩文件。这里只判断在相同的请求条件下的总条数。（2）单个文件写入下，14个字段，98万数据，excel大小为96M，响应时间为42.41s（未报错，未触发异常）

（1）什么是xlrd模块？python操作excel主要用到xlrd和xlwt这两个库，即xlrd是读excel，xlwt是写excel的库。（2）为什么使用xlrd模块？在UI自动化或者接口自动化中数据维护是一个核心，所以此模块非常实用怎样用python画弧形花瓣。xlrd模块可以用于读取Excel的数据，速度非常快，推荐使用！官方文档：https://xlrd.readthedocs.io/en/latest/1、常用单元格的数据类型empty（空的）numberdate。

多线程：使用空间换时间，主要是加快接口响应时间，但是这里线程数不宜过多，一味加快响应时间提升线程数，资源占用会非常严重，故会考虑线程池，线程池的线程数为10；数据流：数据的IO-读取/写入等操作一般都是通过“数据包”的方式，即将结果数据作为一个整体，这样如果数据量多的话，会非常占用内存，所以采用数据流的方式，而且导出的时候会进行格式设置（单元格合并、背景色、字体样式等），一直使用的是Alibaba EasyExcel组件，并且Alibaba EasyExcel组件支持数据流的方式读取/写入数据。

前言以下为结合实际情况作的方案设计，导出阈值以及单sheet页条数都可以根据实际情况调整大佬可直接跳过新手教程，直接查看文末代码背景说明针对明细报表，用户会选择针对当前明细数据进行导出，便于本地或者线下进行处理或者计算等需求。不过一般在这种大数据量的导出任务下，会引发以下问题：响应时间较慢；内存资源占用过大，基本上一个大数据量的导出会消耗可视化服务的所有资源，引起内存回收，其它接口无响应；考虑到单...

1,108

社区成员

66,453

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章