需要更新DB里的数百万条数据，怎么做才能节省内存开销？

sanlinkcn 2007-10-11 05:09:43

现在正在做一个Batch处理，从多个表中检索数据，然后进行更新。
检索出来的数据量大概有百万条左右。
如果先全部检索出来再逐条更新的话，
server的内存会相当大的被占用。
怎么做才能减少内存占用并尽量不降低效率呢？

追记：DB更新只能逐条进行，并且出错后要全部回滚。

...全文

168 2 打赏收藏转发到动态举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

中国风 2007-10-11

打赏
举报

回复

先查出来生成临时表
在临时表上建索引
再用临时表连接表处理
结果集大时，做分段处理

lang8134 2007-10-11

打赏
举报

回复

分批进行吧.
比如用游标处理,没1w条记录,做依次commit

一、redis的数据是存在内存里吗？首先要明白redis是一个数据库 redis是一个内存数据库, 所有数据基本上都存在于内存当中, 会定时以追加或者快照的方式刷新到硬盘中. 由于redis是一个内存数据库, 所以读取写入的速度是非常快的, 所以经常被用来做数据, 页面等的缓存。二、redis各种数据类型的使用场景？ 2. Redis常用数据类型 Redis最为常用的数...

随着大型互联网应用的发展，海量数据的存储和访问成为系统设计的瓶颈，分布式处理成为不二选择。数据库拆分，特别是水平分库是个高难度的活，涉及一系列技术决策。本人有幸负责1号店订单水平分库的方案设计及实施落地，本人结合项目实践，对水平分库做一个系统地剖析，希望为大家水平分库(包括去IOE)改造提供总体思路，主要内容包括：1) 水平分库说明2) 分库维度-- 根据哪个字段分库3) 分库策略-- 记录如...

点击上方“Java基基”，选择“设为星标”做积极的人，而不是积极废人！源码精品专栏原创 | Java 2020超神之路，很肝~中文详细注释的开源项目RPC 框架 Dubbo 源码解析网...

文章转载自公众号：51CTO技术栈；作者崔皓例如：单表中出现了，动辄百万甚至千万级别的数据。“分表分库”就成为解决上述问题的有效工具。今天和大家一起探讨：如何进行分表分库以及期间遇到的问题。为什么会分表分库数据库数据会随着业务的发展而不断增多，因此数据操作，如增删改查的开销也会越来越大。再加上物理服务器的资源有限(CPU、磁盘、内存、IO 等)。最终数据库所能承载的数据量、数据处理能力都将遭遇瓶...

线上某 IOT 核心业务集群之前采用 mysql 作为主存储数据库，随着业务规模的不断增加，mysql 已无法满足海量数据存储需求，业务面临着容量痛点、成本痛点问题、数据不均衡问题等。该业务存储用户 IOT 相关数据，同时凌晨低峰期通过 MongoDB Spark Connector 链接集群做大数据分析。此外，迁移时候的 mysql 数据为 400 亿，3 个月后的现在对应 mongodb 集群数据已增长到 1000 亿，如果以 1000 亿数据规模等比例计算成本，实际成本节省比例会更高。同时，有

22,295

社区成员

121,729

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章