81,115
社区成员
发帖
与我相关
我的任务
分享mysql海量数据出力CSV
1.需出力的数据时海量的。可以说如果用一次查询的话，都可能报异常
2.海量数据出力，要考虑的问题就是效率问题
我的疑问是。是否可以用多线程去跑，一个线程负责去取数据，一个线程取写数据。比如：一个线程取取一个不至于内存溢出的数据，另一个把取的数据写人CSV.是否可以。
在次，写数据时，是在一个CSV中操作了，还是等完成之后，在合并取的多个数据。
2.海量数据出力，要考虑的问题就是效率问题
我的疑问是。是否可以用多线程去跑，一个线程负责去取数据，一个线程取写数据。比如：一个线程取取一个不至于内存溢出的数据，另一个把取的数据写人CSV.是否可以。
在次，写数据时，是在一个CSV中操作了，还是等完成之后，在合并取的多个数据。
...全文
请发表友善的回复…
发表回复
失落夏天 2013-10-25
- 打赏
- 举报
无论多少个线程，用的都是同一块内存。。
如果你觉得一次全读出来溢出的话，那么就像楼上说的，一部分一部分的读，
反正数据库是有id的，根据id由小到大分批取
shililu 2013-10-25
- 打赏
- 举报
你怎么知道啊。哎。你呢
sunbo624 2013-10-18
- 打赏
- 举报
你是做对日开发的?
shililu 2013-10-17
- 打赏
- 举报
回复于： 2013-10-15 12:18:08
可以分批去做啊。
先读取5kw写完之后，在写5kw这样的
分批 ，那怎么提高效率
shililu 2013-10-17
- 打赏
- 举报
你是说开一个读线程，在开一个写线程吗。
无敌小二傻 2013-10-15
- 打赏
- 举报
可以分批去做啊。
先读取5kw写完之后，在写5kw这样的
呼啸 2013-10-15
- 打赏
- 举报
海量数据的话，可以开两个线程。分别负责读写。应该是可行的
在一个CSV中操作好了。
基于java+vue的光伏功率预测的智能逆变器出力优化系统设计与实现的详细项目实例（含完整的程序，数据库和GUI设计，代码详解） 还请多多点一下关注 加油 谢谢 你的鼓励是我前行的动力 谢谢支持 加油