导出CSV,最多能导出多大啊··百万条能做到吗?

sqz10200 2009-07-24 01:46:31
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??


你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML

都可以··


说说···

...全文
10139 13 打赏 收藏 转发到动态 举报
写回复
用AI写文章
13 条回复
切换为时间正序
请发表友善的回复…
发表回复
怪怪 2011-07-23
  • 打赏
  • 举报
回复
[Quote=引用 4 楼 anhy 的回复:]

引用楼主 sqz10200 的回复:
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??


你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML

都可以··


说说···




上百万数据导出格式为CSV是可以的
[/Quote]

用分页吗?我没分也,好像几十万就不行了呀.CSV的
sqz10200 2010-08-10
  • 打赏
  • 举报
回复
[Quote=引用 11 楼 lhljavaboy2006 的回复:]

我也遇到了和你同样的问题,请问你到最后是怎么解决导出百万数据的啊?
[/Quote]

w我忘了

(*^__^*) 嘻嘻……
lhljavaboy2006 2010-08-09
  • 打赏
  • 举报
回复
我也遇到了和你同样的问题,请问你到最后是怎么解决导出百万数据的啊?
sqz10200 2009-07-24
  • 打赏
  • 举报
回复
[Quote=引用 9 楼 anhy 的回复:]
引用 8 楼 sqz10200 的回复:
4楼~!!
你说可以说说怎么弄啊~!!

2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。

谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··


如果只是导出CSV格式的话,不需要用POI或者jxl之类的,直接以文本文件格式输出(各列之间以逗号分隔),CSV是没有长度限制的,只是这么导出的数据的行数如果大于65535的话,不能用excel打开。

导出CSV时,为了提高性能与内存消耗,可以设置一个大小的缓冲区,小于这个大小时从数据库读取数据,当大于这个大小时写文件请缓冲区。
[/Quote]


知道了~!!你有做过的案例吗?我比较菜嘛···(*^__^*) 嘻嘻……

能发个邮件吗?songqiangzhe@hotmail.com

我刚才用mysql的命令:select * from tt into outfile 'a.txt';

直接导出数据了,应该说是备份吧···

通过Java代码怎么实现这个效果啊?
anhy 2009-07-24
  • 打赏
  • 举报
回复
[Quote=引用 8 楼 sqz10200 的回复:]
4楼~!!
你说可以说说怎么弄啊~!!

2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。

谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
[/Quote]

如果只是导出CSV格式的话,不需要用POI或者jxl之类的,直接以文本文件格式输出(各列之间以逗号分隔),CSV是没有长度限制的,只是这么导出的数据的行数如果大于65535的话,不能用excel打开。

导出CSV时,为了提高性能与内存消耗,可以设置一个大小的缓冲区,小于这个大小时从数据库读取数据,当大于这个大小时写文件请缓冲区。
sqz10200 2009-07-24
  • 打赏
  • 举报
回复
4楼~!!
你说可以说说怎么弄啊~!!

2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。

谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
logon29 2009-07-24
  • 打赏
  • 举报
回复
2楼说的对,重新明确客户需求。

几百万行记录的csv文件,要有多少M啊? 这么大的文件,在一般机器上打开需要多长时间。。。。

怎么阅读?
pilotyyc 2009-07-24
  • 打赏
  • 举报
回复
做个标记,跟踪学习。有经验的XD给讲讲。
xingyanfang 2009-07-24
  • 打赏
  • 举报
回复
学习
anhy 2009-07-24
  • 打赏
  • 举报
回复
[Quote=引用楼主 sqz10200 的回复:]
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??


你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML

都可以··


说说···


[/Quote]

上百万数据导出格式为CSV是可以的
wangju309 2009-07-24
  • 打赏
  • 举报
回复
曾经用jxl导出过超过65535的数据,用excel得分页sheet,但性能消耗大,导出csv边读边写占内存小,但超过65535你用excel打开就显示不了了
archko 2009-07-24
  • 打赏
  • 举报
回复
65535.EXCEL2003一个SHEET只能看到这么多.你要分多个SHEET导出.
然而用JXL导出的为EXCEL的话超过大约50000就会出现OOM错误.它导出CSV就不会,但超过65536,不显示,
导出几百W是用来看的么?鬼会看这么多啊.
客户的需求搞清楚了,看看导出小数量的行不.如果一定要求导出大数据....
windy454 2009-07-24
  • 打赏
  • 举报
回复
我也就做过几百条。多了的没接触过

81,123

社区成员

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧