导出CSV，最多能导出多大啊··百万条能做到吗？

[sqz10200]

我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗？？


你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel，Txt，CSV，XML

都可以··


说说···

[windy454]

我也就做过几百条。多了的没接触过

[archko]

65535.EXCEL2003一个SHEET只能看到这么多.你要分多个SHEET导出.
然而用JXL导出的为EXCEL的话超过大约50000就会出现OOM错误.它导出CSV就不会,但超过65536,不显示,
导出几百W是用来看的么?鬼会看这么多啊.
客户的需求搞清楚了,看看导出小数量的行不.如果一定要求导出大数据....

[wangju309]

曾经用jxl导出过超过65535的数据，用excel得分页sheet，但性能消耗大，导出csv边读边写占内存小，但超过65535你用excel打开就显示不了了

[anhy]

[Quote=引用楼主 sqz10200 的回复:]
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗？？


你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel，Txt，CSV，XML

都可以··


说说···


[/Quote]

上百万数据导出格式为CSV是可以的

[xingyanfang]

学习

[pilotyyc]

做个标记，跟踪学习。有经验的XD给讲讲。

[logon29]

2楼说的对，重新明确客户需求。

几百万行记录的csv文件，要有多少M啊？ 这么大的文件，在一般机器上打开需要多长时间。。。。

怎么阅读？

[sqz10200]

4楼~！！
你说可以说说怎么弄啊~！！

2楼~！！
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。

谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··

[anhy]

[Quote=引用 8 楼 sqz10200 的回复:]
4楼~！！
你说可以说说怎么弄啊~！！

2楼~！！
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。

谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
[/Quote]

如果只是导出CSV格式的话，不需要用POI或者jxl之类的，直接以文本文件格式输出（各列之间以逗号分隔），CSV是没有长度限制的，只是这么导出的数据的行数如果大于65535的话，不能用excel打开。

导出CSV时，为了提高性能与内存消耗，可以设置一个大小的缓冲区，小于这个大小时从数据库读取数据，当大于这个大小时写文件请缓冲区。

[sqz10200]

[Quote=引用 9 楼 anhy 的回复:]
引用 8 楼 sqz10200 的回复:
4楼~！！
你说可以说说怎么弄啊~！！

2楼~！！
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。

谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··


如果只是导出CSV格式的话，不需要用POI或者jxl之类的，直接以文本文件格式输出（各列之间以逗号分隔），CSV是没有长度限制的，只是这么导出的数据的行数如果大于65535的话，不能用excel打开。

导出CSV时，为了提高性能与内存消耗，可以设置一个大小的缓冲区，小于这个大小时从数据库读取数据，当大于这个大小时写文件请缓冲区。
[/Quote]


知道了~！！你有做过的案例吗？我比较菜嘛···(*^__^*) 嘻嘻……

能发个邮件吗？[e-mail]

我刚才用mysql的命令：select * from tt into outfile 'a.txt';

直接导出数据了，应该说是备份吧···

通过Java代码怎么实现这个效果啊？

[lhljavaboy2006]

我也遇到了和你同样的问题，请问你到最后是怎么解决导出百万数据的啊?

[sqz10200]

[Quote=引用 11 楼 lhljavaboy2006 的回复:]

我也遇到了和你同样的问题，请问你到最后是怎么解决导出百万数据的啊?
[/Quote]

w我忘了

(*^__^*) 嘻嘻……

[怪怪]

[Quote=引用 4 楼 anhy 的回复:]

引用楼主 sqz10200 的回复:
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗？？


你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel，Txt，CSV，XML

都可以··


说说···




上百万数据导出格式为CSV是可以的
[/Quote]

用分页吗?我没分也,好像几十万就不行了呀.CSV的