需要更新DB里的数百万条数据，怎么做才能节省内存开销？

sanlinkcn 2007-10-11 05:09:43

现在正在做一个Batch处理，从多个表中检索数据，然后进行更新。
检索出来的数据量大概有百万条左右。
如果先全部检索出来再逐条更新的话，
server的内存会相当大的被占用。
怎么做才能减少内存占用并尽量不降低效率呢？

追记：DB更新只能逐条进行，并且出错后要全部回滚。

...全文

139 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

中国风 2007-10-11

打赏
举报

回复

先查出来生成临时表
在临时表上建索引
再用临时表连接表处理
结果集大时，做分段处理

lang8134 2007-10-11

打赏
举报

回复

分批进行吧.
比如用游标处理,没1w条记录,做依次commit

一、redis的数据是存在内存里吗？首先要明白redis是一个数据库 redis是一个内存数据库, 所有数据基本上都存在于内存当中, 会定时以追加或者快照的方式刷新到硬盘中. 由于redis是一个内存数据库, 所以读取写入的...

随着大型互联网应用的发展，海量数据的存储和访问成为系统设计的瓶颈，分布式处理成为不二选择。数据库拆分，特别是水平分库是个高难度的活，涉及一系列技术决策。本人有幸负责1号店订单水平分库的方案设计及实施...

点击上方“Java基基”，选择“设为星标”做积极的人，而不是积极废人！源码精品专栏原创 | Java 2020超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网...

作者崔皓例如：单表中出现了，动辄百万甚至千万级别的数据。“分表分库”就成为解决上述问题的有效工具。今天和大家一起探讨：如何进行分表分库以及期间遇到的问题。为什么会分表分库数据库数据会随着业务的发展而...

线上某 IOT 核心业务集群之前采用 mysql ...此外，迁移时候的 mysql 数据为 400 亿，3 个月后的现在对应 mongodb 集群数据已增长到 1000 亿，如果以 1000 亿数据规模等比例计算成本，实际成本节省比例会更高。同时，有

22,302

社区成员

121,734

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章