社区
Web 开发
帖子详情
导出CSV,最多能导出多大啊··百万条能做到吗?
sqz10200
2009-07-24 01:46:31
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??
你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML
都可以··
说说···
...全文
10192
13
打赏
收藏
导出CSV,最多能导出多大啊··百万条能做到吗?
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗?? 你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML 都可以·· 说说···
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
13 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
怪怪
2011-07-23
打赏
举报
回复
[Quote=引用 4 楼 anhy 的回复:]
引用楼主 sqz10200 的回复:
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??
你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML
都可以··
说说···
上百万数据导出格式为CSV是可以的
[/Quote]
用分页吗?我没分也,好像几十万就不行了呀.CSV的
sqz10200
2010-08-10
打赏
举报
回复
[Quote=引用 11 楼 lhljavaboy2006 的回复:]
我也遇到了和你同样的问题,请问你到最后是怎么解决导出百万数据的啊?
[/Quote]
w我忘了
(*^__^*) 嘻嘻……
lhljavaboy2006
2010-08-09
打赏
举报
回复
我也遇到了和你同样的问题,请问你到最后是怎么解决导出百万数据的啊?
sqz10200
2009-07-24
打赏
举报
回复
[Quote=引用 9 楼 anhy 的回复:]
引用 8 楼 sqz10200 的回复:
4楼~!!
你说可以说说怎么弄啊~!!
2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。
谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
如果只是导出CSV格式的话,不需要用POI或者jxl之类的,直接以文本文件格式输出(各列之间以逗号分隔),CSV是没有长度限制的,只是这么导出的数据的行数如果大于65535的话,不能用excel打开。
导出CSV时,为了提高性能与内存消耗,可以设置一个大小的缓冲区,小于这个大小时从数据库读取数据,当大于这个大小时写文件请缓冲区。
[/Quote]
知道了~!!你有做过的案例吗?我比较菜嘛···(*^__^*) 嘻嘻……
能发个邮件吗?songqiangzhe@hotmail.com
我刚才用mysql的命令:select * from tt into outfile 'a.txt';
直接导出数据了,应该说是备份吧···
通过Java代码怎么实现这个效果啊?
anhy
2009-07-24
打赏
举报
回复
[Quote=引用 8 楼 sqz10200 的回复:]
4楼~!!
你说可以说说怎么弄啊~!!
2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。
谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
[/Quote]
如果只是导出CSV格式的话,不需要用POI或者jxl之类的,直接以文本文件格式输出(各列之间以逗号分隔),CSV是没有长度限制的,只是这么导出的数据的行数如果大于65535的话,不能用excel打开。
导出CSV时,为了提高性能与内存消耗,可以设置一个大小的缓冲区,小于这个大小时从数据库读取数据,当大于这个大小时写文件请缓冲区。
sqz10200
2009-07-24
打赏
举报
回复
4楼~!!
你说可以说说怎么弄啊~!!
2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。
谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
logon29
2009-07-24
打赏
举报
回复
2楼说的对,重新明确客户需求。
几百万行记录的csv文件,要有多少M啊? 这么大的文件,在一般机器上打开需要多长时间。。。。
怎么阅读?
pilotyyc
2009-07-24
打赏
举报
回复
做个标记,跟踪学习。有经验的XD给讲讲。
xingyanfang
2009-07-24
打赏
举报
回复
学习
anhy
2009-07-24
打赏
举报
回复
[Quote=引用楼主 sqz10200 的回复:]
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??
你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML
都可以··
说说···
[/Quote]
上百万数据导出格式为CSV是可以的
wangju309
2009-07-24
打赏
举报
回复
曾经用jxl导出过超过65535的数据,用excel得分页sheet,但性能消耗大,导出csv边读边写占内存小,但超过65535你用excel打开就显示不了了
archko
2009-07-24
打赏
举报
回复
65535.EXCEL2003一个SHEET只能看到这么多.你要分多个SHEET导出.
然而用JXL导出的为EXCEL的话超过大约50000就会出现OOM错误.它导出CSV就不会,但超过65536,不显示,
导出几百W是用来看的么?鬼会看这么多啊.
客户的需求搞清楚了,看看导出小数量的行不.如果一定要求导出大数据....
windy454
2009-07-24
打赏
举报
回复
我也就做过几百条。多了的没接触过
Excel 百万数据
导出
csv
格式
1,引入 Excel 2003及以下的版本。一张表最大支持65536行数据,256列。也就是说excel2003完全不可能满足百万数据
导出
的需求。 Excel 2007-2010版本。一张表最大支持1048576行,16384列; 补充,关于
CSV
1.1 什么是
csv
? 纯文本格式 1.2
csv
有哪些优点? 数据存储量小 功能强大 兼容excel 2,代码 依赖引入: <!-- easypoi start --> <dependency>
php
csv
导出
最大数量,PHP使用
csv
导出
百万级数据
该楼层疑似违规已被系统折叠隐藏此楼查看此楼如果想一次性
导出
大量数据如几十万,上百万,往往会出现两个问题:1.脚本执行超时2.php内存不够第一个问题很好解决:set_time_limit(0);设置为0时,表示不限制脚本的时间。但是不建议这样设置,一般会给个时间,比如一小时,半小时第二问题你可以设置php的内存,但是这种方式是不可取的,试想一下如果执行这个脚本占那么大内存,那么其他应用就会受影响...
mysql
导出
csv
性能_mysql
导出
csv
文件(百万级数据) 心得
1,某列存在0开头的数值(如果是字符没事如:000x;如果是数值有事如:0001),
导出
时数值消失,怎么办?需要先将该列的值修改为“制表符tab+值”,sql语句如下:update gf_goods set number=CONCAT(" ",number) ;好处:1.1,对其他字段的影响降到最低(分隔符不变,不会错分单元格);1.2,不影响排序orderby;2,
导出
文件存在乱码怎么办...
Java
导出
CSV
文件(分页查询大数据量)
Java
导出
csv
文件: 控制层: @Controller @RequestMapping("/historyReport/") public class HistoryStockReportController { private static final Logger LOGGER = LoggerFactory.getLogger(HistoryStockReportContr...
Oracle中表数据行数过多
导出
为
CSV
文件的方法
需求:需要将Oracle数据库中的一个表
导出
为
CSV
文件,但是表比较大,共有29488763条数据,不能通过简单的PLSQL查询在转成
CSV
文件的方法,该表
导出
的DMP文件,约有2.3G,
导出
的
CSV
文件有3.4G。解决思路:写一个存储过程,把sql查询出来的结果使用格式转换的方式转换成
CSV
格式的文件。如下:----Oracle中表数据行数过多
导出
为
CSV
文件的方法如下:---登录system用...
Web 开发
81,122
社区成员
341,744
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章