mysql海量数据出力CSV

shililu 2013-10-14 03:27:23
1.需出力的数据时海量的。可以说如果用一次查询的话,都可能报异常
2.海量数据出力,要考虑的问题就是效率问题

我的疑问是。是否可以用多线程去跑,一个线程负责去取数据,一个线程取写数据。比如:一个线程取取一个不至于内存溢出的数据,另一个把取的数据写人CSV.是否可以。
在次,写数据时,是在一个CSV中操作了,还是等完成之后,在合并取的多个数据。
...全文
268 7 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
7 条回复
切换为时间正序
请发表友善的回复…
发表回复
失落夏天 2013-10-25
  • 打赏
  • 举报
回复
无论多少个线程,用的都是同一块内存。。 如果你觉得一次全读出来溢出的话,那么就像楼上说的,一部分一部分的读, 反正数据库是有id的,根据id由小到大分批取
shililu 2013-10-25
  • 打赏
  • 举报
回复
你怎么知道啊。哎。你呢
sunbo624 2013-10-18
  • 打赏
  • 举报
回复
你是做对日开发的?
shililu 2013-10-17
  • 打赏
  • 举报
回复
回复于: 2013-10-15 12:18:08 可以分批去做啊。 先读取5kw写完之后,在写5kw这样的 分批 ,那怎么提高效率
shililu 2013-10-17
  • 打赏
  • 举报
回复
你是说开一个读线程,在开一个写线程吗。
无敌小二傻 2013-10-15
  • 打赏
  • 举报
回复
可以分批去做啊。 先读取5kw写完之后,在写5kw这样的
呼啸 2013-10-15
  • 打赏
  • 举报
回复
海量数据的话,可以开两个线程。分别负责读写。应该是可行的 在一个CSV中操作好了。

81,122

社区成员

发帖
与我相关
我的任务
社区描述
Java Web 开发
社区管理员
  • Web 开发社区
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧