社区
Web 开发
帖子详情
mysql海量数据出力CSV
shililu
2013-10-14 03:27:23
1.需出力的数据时海量的。可以说如果用一次查询的话,都可能报异常
2.海量数据出力,要考虑的问题就是效率问题
我的疑问是。是否可以用多线程去跑,一个线程负责去取数据,一个线程取写数据。比如:一个线程取取一个不至于内存溢出的数据,另一个把取的数据写人CSV.是否可以。
在次,写数据时,是在一个CSV中操作了,还是等完成之后,在合并取的多个数据。
...全文
268
7
打赏
收藏
mysql海量数据出力CSV
1.需出力的数据时海量的。可以说如果用一次查询的话,都可能报异常 2.海量数据出力,要考虑的问题就是效率问题 我的疑问是。是否可以用多线程去跑,一个线程负责去取数据,一个线程取写数据。比如:一个线程取取一个不至于内存溢出的数据,另一个把取的数据写人CSV.是否可以。 在次,写数据时,是在一个CSV中操作了,还是等完成之后,在合并取的多个数据。
复制链接
扫一扫
分享
转发到动态
举报
AI
作业
写回复
配置赞助广告
用AI写文章
7 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
失落夏天
2013-10-25
打赏
举报
回复
无论多少个线程,用的都是同一块内存。。 如果你觉得一次全读出来溢出的话,那么就像楼上说的,一部分一部分的读, 反正数据库是有id的,根据id由小到大分批取
shililu
2013-10-25
打赏
举报
回复
你怎么知道啊。哎。你呢
sunbo624
2013-10-18
打赏
举报
回复
你是做对日开发的?
shililu
2013-10-17
打赏
举报
回复
回复于: 2013-10-15 12:18:08 可以分批去做啊。 先读取5kw写完之后,在写5kw这样的 分批 ,那怎么提高效率
shililu
2013-10-17
打赏
举报
回复
你是说开一个读线程,在开一个写线程吗。
无敌小二傻
2013-10-15
打赏
举报
回复
可以分批去做啊。 先读取5kw写完之后,在写5kw这样的
呼啸
2013-10-15
打赏
举报
回复
海量数据的话,可以开两个线程。分别负责读写。应该是可行的 在一个CSV中操作好了。
利用鸿鹄优化共享储能的SCADA 系统功能,赋能用户
数据
自助分析
本文主要介绍了共享储能的 SCADA 系统大
数据
架构,以及如何利用鸿鹄来更好的优化 SCADA 系统功能,如何为用户进行
数据
自助分析赋能。
《从“要不到人“到“抢着给“:建立资源流动的暗箱操作法则》
❌ 忌讳1:一开始就找高层施压后果:激化部门矛盾,导致阳奉阴违对策:先走完三步曲:私下沟通 → 2. 利益交换 → 3. 升级通报❌ 忌讳2:承诺无法兑现的资源回报后果:透支信用,后续更难协调对策:用“三段式承诺法”:“我能保证的是______(具体事项)需要您配合的是______(明确要求)可能存在的风险是______(提前预警)”❌ 忌讳3:忽视非正式资源网络后果:被流程卡死时无备用方案对策:每月请关键部门骨干喝咖啡(预算200元/人)
大
数据
新视界 -- 大
数据
大厂之大
数据
在能源行业的智能优化变革与展望
本文深入剖析大
数据
在能源行业的智能优化应用。从大
数据
与能源融合背景入手,阐述其在能源生产、传输和消费环节的应用,如通过算法优化发电效率、保障电网稳定、调整消费策略。详细分析经典案例,并探讨
数据
质量安全、技术融合与人才短缺问题及解决方案,强调复合型人才培养和跨学科合作的重要性。展望大
数据
与新兴技术在能源行业的融合前景,鼓励读者参与讨论,推动能源行业智能化发展。
基于DeepSeek私有化部署RAGFlow行业知识库和智能体Agent,完美实现知识图谱和低代码开发(含案例)
本文给出了AI知识库和Agent智能体在各个行业的应用场景,并详细演示了DeepSeek+RAGFlow的私有化部署过程、总体架构、知识库和Agent智能体搭建、核心模块代码等细节,以及如何完美实现知识图谱和低代码开发。
【7万字长文,含案例】基于DeepSeek私有化部署RAGFlow行业知识库和智能体Agent,完美实现知识图谱和低代码开发
本文给出了AI知识库和Agent智能体在各个行业的应用场景,并详细演示了DeepSeek+RAGFlow的私有化部署过程、总体架构、知识库和Agent智能体搭建、核心模块代码等细节,以及如何完美实现知识图谱和低代码开发。
Web 开发
81,122
社区成员
341,744
社区内容
发帖
与我相关
我的任务
Web 开发
Java Web 开发
复制链接
扫一扫
分享
社区描述
Java Web 开发
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章