需要更新DB里的数百万条数据，怎么做才能节省内存开销？

sanlinkcn 2007-10-11 05:09:43

现在正在做一个Batch处理，从多个表中检索数据，然后进行更新。
检索出来的数据量大概有百万条左右。
如果先全部检索出来再逐条更新的话，
server的内存会相当大的被占用。
怎么做才能减少内存占用并尽量不降低效率呢？

追记：DB更新只能逐条进行，并且出错后要全部回滚。

...全文

188 2 打赏收藏举报

写回复

2 条回复

切换为时间正序

请发表友善的回复…

发表回复

中国风 2007-10-11

打赏
举报

回复

先查出来生成临时表
在临时表上建索引
再用临时表连接表处理
结果集大时，做分段处理

lang8134 2007-10-11

打赏
举报

回复

分批进行吧.
比如用游标处理,没1w条记录,做依次commit

想要在个人设备上运行一个**快速、准确且100%私密**的RAG系统吗？LEANN作为一款革命性的向量数据库，让你能够在笔记本电脑上索引和搜索数百万文档，同时比传统解决方案节省**97%的存储空间**且不损失准确性。无论你是AI开发者、数据工程师还是技术爱好者，这款工具都能为你带来前所未有的效率和隐私保护。 ## 📋 为什么你需要关注LEANN？ ### 传统向量数据库的痛点大多数向量数据

时序数据库（Time-Series Database, TSDB）是专为。：为监控、IoT、金融等领域深度优化。：快速分析历史趋势或实时状态。：轻松处理每秒数百万数据点。：压缩技术大幅减少存储开销。

想要拥有一个完全私有的个人AI助手，能够搜索你所有的文档、邮件、聊天记录和浏览器历史吗？**LEANN**作为一款革命性的向量数据库，让你在个人电脑上就能运行高效的RAG系统，同时节省高达**97%**的存储空间！🚀 无论你是开发者、研究人员还是普通用户，这款工具都能为你带来前所未有的数据管理和智能搜索体验。 ## 📋 项目亮点与核心价值：重新定义个人AI存储效率 **LEANN**的核心

在数据库中，性能是一个至关重要的指标。尽管现代的数据库系统已经做了大量优化，但如何最大化地利用索引来提升查询性能，依然是一个值得深入探讨的话题。今天，我们来全面了解一种高效的数据库优化技术——“索引下推”。

在数据驱动的决策时代，分析型数据库的性能瓶颈往往成为企业数字化转型的关键障碍。DuckDB作为一款嵌入式OLAP数据库，如何在内存受限环境下实现亚毫秒级查询响应？其核心秘密在于创新的ART索引架构。本文将深入剖析DuckDB索引系统的设计哲学、实现机制与性能优势，为技术决策者提供架构选型的深度洞察。 ## 内存数据库索引的技术演进路径传统数据库索引技术面临内存效率与查询性能的永恒博弈。B+树

22,298

社区成员

121,727

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章