67,513
社区成员
发帖
与我相关
我的任务
分享大量数据的写出到文件
现在我们每天的数据量大概有200万条，我要把每天的数据全部写入到excel里面，应该怎么操作，具体查询数据库怎么查，一次性查多少效率比较高，用mybatis处理是不是也像分页一样处理
...全文
请发表友善的回复…
发表回复
Braska 2018-06-21
- 打赏
- 举报
大量数据那就用原生jdbc，效率高
wenjie4892543 2018-06-21
- 打赏
- 举报
每天凌晨用多线程跑下；查询出来，按时间来划分，很快就跑完了
verejava 2018-06-14
- 打赏
- 举报
可以每次查出来 1000 条提交 批量
oyljerry 2018-06-14
- 打赏
- 举报
两百万条数据，一天直接写入数据库也没多大问题。或者用一个MQ等做缓冲
stacksoverflow 2018-06-14
- 打赏
- 举报
中间做个文件缓冲，比如csv。
分两个功能，第一个负责从DB读数据，写csv。
第二个读csv，写excel。
要分批。
具体技术方案根据业务和环境来。
