社区
疑难问题
帖子详情
需要更新DB里的数百万条数据,怎么做才能节省内存开销?
sanlinkcn
2007-10-11 05:09:43
现在正在做一个Batch处理,从多个表中检索数据,然后进行更新。
检索出来的数据量大概有百万条左右。
如果先全部检索出来再逐条更新的话,
server的内存会相当大的被占用。
怎么做才能减少内存占用并尽量不降低效率呢?
追记:DB更新只能逐条进行,并且出错后要全部回滚。
...全文
114
2
打赏
收藏
需要更新DB里的数百万条数据,怎么做才能节省内存开销?
现在正在做一个Batch处理,从多个表中检索数据,然后进行更新。 检索出来的数据量大概有百万条左右。 如果先全部检索出来再逐条更新的话, server的内存会相当大的被占用。 怎么做才能减少内存占用并尽量不降低效率呢? 追记:DB更新只能逐条进行,并且出错后要全部回滚。
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
中国风
2007-10-11
打赏
举报
回复
先查出来生成临时表
在临时表上建索引
再用临时表 连接表 处理
结果集大时,做分段处理
lang8134
2007-10-11
打赏
举报
回复
分批进行吧.
比如用游标处理,没1w条记录,做依次commit
DB
服务器使用mysql和redis高可用框架干货
每一个实例就包含一个线程 每个线程
数据
里
包含:mysql连接器、redis连接器、
内存
回收池、安全的串行队列、
条
件变量、互斥量 保证线程内的
数据
安全。 5、工作原理: 没有请求时,各个工作线程处于休眠状态。 有读写...
redis的
数据
是存在
内存
里
吗?以及redis各种
数据
类型的使用场景?
一、redis的
数据
是存在
内存
里
吗? 首先要明白redis是一个
数据
库 redis是一个
内存
数据
库, 所有
数据
基本上都存在于
内存
当中, 会定时以追加或者快照的方式刷新到硬盘中. 由于redis是一个
内存
数据
库, 所以读取写入的...
sqlite3
数据
存储最多存储多少
条
数据
?达到上限如何处理?_史上最接地气的水平分库方案,手把手教你如何落地...
随着大型互联网应用的发展,海量
数据
的存储和访问成为系统设计的瓶颈,分布式处理成为不二选择。
数据
库拆分,特别是水平分库是个高难度的活,涉及一系列技术决策。 本人有幸负责1号店订单水平分库的方案设计及实施...
【面朝大厂】面试官:Redis的
数据
是存在
内存
里
吗?谈谈Redis各种
数据
类型的使用场景?...
点击上方“Java基基”,选择“设为星标”
做
积极的人,而不是积极废人!源码精品专栏原创 | Java 2020超神之路,很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网...
MySQL 批量操作,一次插入多少行
数据
效率最高?
假如
需要
插入的
数据
有百万
条
,那么一次批量插入多少
条
的时候,效率会高一些呢?这
里
博主和大家一起探讨下这个问题,应用环境为批量插入
数据
到临时表。博主经过测试+谷歌,最终是选用的一次批量插入
数据
量为大小的...
疑难问题
22,209
社区成员
121,731
社区内容
发帖
与我相关
我的任务
疑难问题
MS-SQL Server 疑难问题
复制链接
扫一扫
分享
社区描述
MS-SQL Server 疑难问题
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章