67,513
社区成员
发帖
与我相关
我的任务
分享java海量数据的处理
我现在开发的一个项目。
oracle＋tomcat，数据库里有100万条数据。客户查询数据库返回记录后想把记录用excel的形式导出来
一次查询可能查找到符合条件的记录数达到10万条，在服务端有什么好的方式把十万条数据生成excel文件
如果一次读入内存然后一起生成的话服务器容易崩溃，请问各位同僚有什么好的建议或解决方法
oracle＋tomcat，数据库里有100万条数据。客户查询数据库返回记录后想把记录用excel的形式导出来
一次查询可能查找到符合条件的记录数达到10万条，在服务端有什么好的方式把十万条数据生成excel文件
如果一次读入内存然后一起生成的话服务器容易崩溃，请问各位同僚有什么好的建议或解决方法
...全文
请发表友善的回复…
发表回复
DanielYWoo 2005-04-11
- 打赏
- 举报
你先用jxl生成一个10w条数据的样本excel文件，给客户看看，看看客户的机器能不能打开那个文件。
zhangxiaomin88 2005-04-11
- 打赏
- 举报
学习 我也很关心的问题
1203 2005-04-11
- 打赏
- 举报
估计不行，应该是用户的需求有问题
benjamin_von 2005-04-11
- 打赏
- 举报
noscar(java+Linux):请问分页为什么不行？
我觉得如果如果用数据库的直接查询结果分页应该是可以的啊，因为这么做是不用把结果集放进内存的。
至于如此大的数据量，呵呵，我看是没有必要的，客户也是不可能看得过来的；即使要这么多，也可以分批读取，分批写入excel。
如果要考虑效率问题，或者响应速度问题，可以考虑
1） 为数据库建立索引，簇索引
2） 为常用数据建Cache
3) 可以考虑读取数据的工作让另外一个线程去做，比如说先让读500条数据，写入excel，让用户下载；剩下的让另外一个线程在后面漫漫去做
偶是来混分的， 不止到有没有帮助:)
我觉得如果如果用数据库的直接查询结果分页应该是可以的啊，因为这么做是不用把结果集放进内存的。
至于如此大的数据量，呵呵，我看是没有必要的，客户也是不可能看得过来的；即使要这么多，也可以分批读取，分批写入excel。
如果要考虑效率问题，或者响应速度问题，可以考虑
1） 为数据库建立索引，簇索引
2） 为常用数据建Cache
3) 可以考虑读取数据的工作让另外一个线程去做，比如说先让读500条数据，写入excel，让用户下载；剩下的让另外一个线程在后面漫漫去做
偶是来混分的， 不止到有没有帮助:)
ChDw 2005-04-11
- 打赏
- 举报
Excel 只支持65535，这个需求你应该在服务器尽可能的将Excel文件生成好它
talenty 2005-04-11
- 打赏
- 举报
顶。是不是你们用户让你们做数据导出方式，用来移植和备份的?
woanon 2005-04-10
- 打赏
- 举报
关注，顶
梦想家起飞 2005-04-10
- 打赏
- 举报
10W条记录对于单个Excel文件来说过大了，1W还差不多，这样服务器压力也比较小一点。
rootcn 2005-04-10
- 打赏
- 举报
study
ldemin 2005-04-10
- 打赏
- 举报
hehe
007remember 2005-04-10
- 打赏
- 举报
同意 java_skater(GoRillaZ) 的看法。
java_skater 2005-04-10
- 打赏
- 举报
谁让你做的这个项目。你抽丫的去。一次10W条数据还要电子表格。。妈的他看的过来吗？
这种烂设计不要做了。。不是人做的！
这种烂设计不要做了。。不是人做的！
mbl 2005-04-10
- 打赏
- 举报
不好整，看来要用到ORACLE的分页技术，分多个文件导出。否则不好弄！
客户也有病，折磨大的数据导出干什么！◎
客户也有病，折磨大的数据导出干什么！◎
007remember 2005-04-10
- 打赏
- 举报
路过
学习ing
关注ing
帮您顶
学习ing
关注ing
帮您顶
noscar 2005-04-10
- 打赏
- 举报
关注....这样的话,用分叶,好象也不行袄.......
cyouyou 2005-04-09
- 打赏
- 举报
mark
