社区
Web 开发
帖子详情
导出CSV,最多能导出多大啊··百万条能做到吗?
sqz10200
2009-07-24 01:46:31
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??
你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML
都可以··
说说···
...全文
10139
13
打赏
收藏
导出CSV,最多能导出多大啊··百万条能做到吗?
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗?? 你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML 都可以·· 说说···
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
13 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
怪怪
2011-07-23
打赏
举报
回复
[Quote=引用 4 楼 anhy 的回复:]
引用楼主 sqz10200 的回复:
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??
你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML
都可以··
说说···
上百万数据导出格式为CSV是可以的
[/Quote]
用分页吗?我没分也,好像几十万就不行了呀.CSV的
sqz10200
2010-08-10
打赏
举报
回复
[Quote=引用 11 楼 lhljavaboy2006 的回复:]
我也遇到了和你同样的问题,请问你到最后是怎么解决导出百万数据的啊?
[/Quote]
w我忘了
(*^__^*) 嘻嘻……
lhljavaboy2006
2010-08-09
打赏
举报
回复
我也遇到了和你同样的问题,请问你到最后是怎么解决导出百万数据的啊?
sqz10200
2009-07-24
打赏
举报
回复
[Quote=引用 9 楼 anhy 的回复:]
引用 8 楼 sqz10200 的回复:
4楼~!!
你说可以说说怎么弄啊~!!
2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。
谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
如果只是导出CSV格式的话,不需要用POI或者jxl之类的,直接以文本文件格式输出(各列之间以逗号分隔),CSV是没有长度限制的,只是这么导出的数据的行数如果大于65535的话,不能用excel打开。
导出CSV时,为了提高性能与内存消耗,可以设置一个大小的缓冲区,小于这个大小时从数据库读取数据,当大于这个大小时写文件请缓冲区。
[/Quote]
知道了~!!你有做过的案例吗?我比较菜嘛···(*^__^*) 嘻嘻……
能发个邮件吗?songqiangzhe@hotmail.com
我刚才用mysql的命令:select * from tt into outfile 'a.txt';
直接导出数据了,应该说是备份吧···
通过Java代码怎么实现这个效果啊?
anhy
2009-07-24
打赏
举报
回复
[Quote=引用 8 楼 sqz10200 的回复:]
4楼~!!
你说可以说说怎么弄啊~!!
2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。
谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
[/Quote]
如果只是导出CSV格式的话,不需要用POI或者jxl之类的,直接以文本文件格式输出(各列之间以逗号分隔),CSV是没有长度限制的,只是这么导出的数据的行数如果大于65535的话,不能用excel打开。
导出CSV时,为了提高性能与内存消耗,可以设置一个大小的缓冲区,小于这个大小时从数据库读取数据,当大于这个大小时写文件请缓冲区。
sqz10200
2009-07-24
打赏
举报
回复
4楼~!!
你说可以说说怎么弄啊~!!
2楼~!!
导出这么多·我也没有办法·
我导出5.7W条都可以我是分多个Sheet来完成的。。
我还是想导出百万条。。
谢谢大家这么顶啊···导出百万条数据用什么做容器好啊··
logon29
2009-07-24
打赏
举报
回复
2楼说的对,重新明确客户需求。
几百万行记录的csv文件,要有多少M啊? 这么大的文件,在一般机器上打开需要多长时间。。。。
怎么阅读?
pilotyyc
2009-07-24
打赏
举报
回复
做个标记,跟踪学习。有经验的XD给讲讲。
xingyanfang
2009-07-24
打赏
举报
回复
学习
anhy
2009-07-24
打赏
举报
回复
[Quote=引用楼主 sqz10200 的回复:]
我现在又一个项目要导出数据···用CSV导出数据的话···能导出百万条数据吗??
你们谁导出过啊···说说···你们都到处过多少条的数据过···到Excel,Txt,CSV,XML
都可以··
说说···
[/Quote]
上百万数据导出格式为CSV是可以的
wangju309
2009-07-24
打赏
举报
回复
曾经用jxl导出过超过65535的数据,用excel得分页sheet,但性能消耗大,导出csv边读边写占内存小,但超过65535你用excel打开就显示不了了
archko
2009-07-24
打赏
举报
回复
65535.EXCEL2003一个SHEET只能看到这么多.你要分多个SHEET导出.
然而用JXL导出的为EXCEL的话超过大约50000就会出现OOM错误.它导出CSV就不会,但超过65536,不显示,
导出几百W是用来看的么?鬼会看这么多啊.
客户的需求搞清楚了,看看导出小数量的行不.如果一定要求导出大数据....
windy454
2009-07-24
打赏
举报
回复
我也就做过几百条。多了的没接触过
Excel 百万数据
导出
csv
格式
也就是说excel2003完全不可能满足百万数据
导出
的需求。 Excel 2007-2010版本。一张表最大支持1048576行,16384列; 补充,关于
CSV
1.1 什么是
csv
? 纯文本格式 1.2
csv
有哪些优点? 数据存储量小 功能强大 兼容...
php
csv
导出
最大数量,PHP使用
csv
导出
百万级数据
该楼层疑似违规已被系统折叠隐藏此楼查看此楼如果想一次性
导出
大量数据如几十万,上百万,往往会出现两个问题:1.脚本执行超时2.php内存不够第一个问题很好解决:set_time_limit(0);设置为0时,表示不限制脚本的时间...
mysql
导出
csv
性能_mysql
导出
csv
文件(百万级数据) 心得
如果是数值有事如:0001),
导出
时数值消失,怎么办?需要先将该列的值修改为“制表符tab+值”,sql语句如下:update gf_goods set number=CONCAT(" ",number) ;好处:1.1,对其他字段的影响降到最低(分隔符不变,...
Java
导出
CSV
文件(分页查询大数据量)
Java
导出
csv
文件: 控制层: @Controller @RequestMapping("/historyReport/") public class HistoryStockReportController { private static final Logger LOGGER = LoggerFactory.getLogger...
Oracle中表数据行数过多
导出
为
CSV
文件的方法
需求:需要将Oracle数据库中的一个表
导出
为
CSV
文件,但是表比较大,共有29488763条数据,不能通过简单的PLSQL查询在转成
CSV
文件的方法,该表
导出
的DMP文件,约有2.3G,
导出
的
CSV
文件有3.4G。解决思路:写一个存储...
Web 开发
81,123
社区成员
341,745
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章