mysql海量数据出力CSV

shililu 2013-10-14 03:27:23

1.需出力的数据时海量的。可以说如果用一次查询的话，都可能报异常
2.海量数据出力，要考虑的问题就是效率问题

我的疑问是。是否可以用多线程去跑，一个线程负责去取数据，一个线程取写数据。比如：一个线程取取一个不至于内存溢出的数据，另一个把取的数据写人CSV.是否可以。
在次，写数据时，是在一个CSV中操作了，还是等完成之后，在合并取的多个数据。

...全文

344 7 打赏收藏转发到动态举报

写回复

7 条回复

切换为时间正序

请发表友善的回复…

发表回复

失落夏天 2013-10-25

打赏
举报

回复

无论多少个线程，用的都是同一块内存。。如果你觉得一次全读出来溢出的话，那么就像楼上说的，一部分一部分的读，反正数据库是有id的，根据id由小到大分批取

shililu 2013-10-25

打赏
举报

回复

你怎么知道啊。哎。你呢

sunbo624 2013-10-18

打赏
举报

回复

你是做对日开发的?

shililu 2013-10-17

打赏
举报

回复

回复于： 2013-10-15 12:18:08 可以分批去做啊。先读取5kw写完之后，在写5kw这样的分批，那怎么提高效率

shililu 2013-10-17

打赏
举报

回复

你是说开一个读线程，在开一个写线程吗。

无敌小二傻 2013-10-15

打赏
举报

回复

可以分批去做啊。先读取5kw写完之后，在写5kw这样的

呼啸 2013-10-15

打赏
举报

回复

海量数据的话，可以开两个线程。分别负责读写。应该是可行的在一个CSV中操作好了。

本文提出**“数据科学+电力系统”深度融合的解决方案**：通过大数据技术栈（Hadoop/Spark）处理全链路电力数据，结合机器学习模型实现负荷预测、故障诊断与优化调度，并落地工程化实践。其中 ( I = \frac{S}{\sqrt{3}U} )（电流），( S = \frac{P}{\cos\phi} )（视在功率），( R ) 为线路电阻（Ω）。通过调整电容器容量 ( Q_C )，可提高功率因数 ( \cos\phi )，降低视在功率 ( S ) 与电流 ( I )，从而减少线损。

本文介绍了一个基于Java+Vue的光伏功率预测与智能逆变器出力优化系统的设计与实现。该系统通过LSTM深度学习模型进行光伏功率预测，并采用遗传算法优化逆变器出力分配，实现了新能源发电的高效管理。系统采用前后端分离架构，后端使用SpringBoot提供RESTful API服务，前端基于Vue3实现数据可视化。主要功能包括多源数据采集、功率预测、逆变器调度优化、实时监控告警等，有效提升了光伏发电效率与电网稳定性。项目采用微服务架构，支持云边协同部署，具备高可用性和扩展性，为智能电网和能源数字化转型提供了技术

掌握智能电网的数据采集与分析全流程，系统讲解从数据获取、处理到建模决策的核心方法，适用于电力调度、负荷预测等场景。融合物联网与AI技术，提升电网稳定性与效率，值得收藏，点击了解详情。

针对中小型企业降本增效需求，采用Python生态构建低成本解决方案具有显著优势。通过地址映射方式定义寄存器变量：Tag NameAddressType40001Float并网电压（V）30001Int风速（0.1m/s）10001Bool运行状态40005UInt16故障代码🔍 注：Modbus地址编号存在偏移争议。

本文主要介绍了共享储能的 SCADA 系统大数据架构，以及如何利用鸿鹄来更好的优化 SCADA 系统功能，如何为用户进行数据自助分析赋能。

81,112

社区成员

341,727

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章