如何快速大容量更新数据

popfei3707 2009-08-31 05:54:22

1.每个月数据库中大概有200万条数据左右，大概1万条左右会发生改变，还有199万条没用了
2.每个月月初进行更新数据，把上个月的200万条数据删除，导入本月的200万条数据
3.将步骤1的1万条更新到本月的200万条数据中，因为更新每条数据，数据都要判断这条数据有没有，然后在更新。所以，可想而知速度之慢。
这种大容量数据的操作会使程序很慢，请高手指点下，如何提高数据的查询、更新、删除的速度。

...全文

106 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

inthirties 2009-08-31

打赏
举报

回复

[Quote=引用 1 楼 shiyiwan 的回复:]
1.select旧表需要更新的数据到临时表
2.使用临时表，merge新表
3.truncate 旧表

试试吧
[/Quote]

同意

l1t 2009-08-31

打赏
举报

回复

对，不要更新，直接用本月200代替上月200

shiyiwan 2009-08-31

打赏
举报

回复

1.select旧表需要更新的数据到临时表
2.使用临时表，merge新表
3.truncate 旧表

试试吧

PostgreSQL数据库如何快速插入大量数据背景在一些应用场景中，需要向PostgreSQL数据库中快速装入大量的数据，比如数据库迁移，SQL日志分析等。在Abase上快速插入数据有几种方案，每种方案的效率怎么样？如何调优能加快的数据装载？场景设定SQL日志分析是一个采集JDBC日志、分析SQL、发送分析结果工具。在分析阶段，需要解析大量的JDBC日志，并把解析后的结构化结果装入数据库供后续处理。

最近有个小模块，是在灾备机之间拷贝备份数据，同时把相关的数据表也拷贝到目标系统上。这里涉及到一个问题：Oracle表空间达到上限之后怎么处理？一般来说，将表空间设置为自增，不限制最大容量可以满足大部分需求。但是，即便是表空间不设置上限，数据文件的大小也是会有最大值的，这是因为Oracle 数据文件最多可以包含 4194303 个 Oracle 数据块，通常数据块大小为8KB，也就是说，文件...

数据中心的容量管理数据中心容量管理的必要性数据中心的容量主要包括：空间（space）, 电力（power），冷却（cooling）和网络（network）等几方面。根据国际权威机构的调查显示，大多数的数据中心容量利用率只有 70%，也就是说有 30% 的容量是损失的。容量利用率的低下意味着高的运营成本和低的能源效率。数据中心的容量的损失往往是多种原因照成的，在设计阶段一般假设所有的 IT ...

一些大规模的系统，如人口系统的数据甚至超过了1000万条，可谓海量。那么，如何实现快速地从这些超大容量的数据库中提取数据（查询）、分析、统计以及提取数据后进行数据分页已成为各地系统管理员和数据库管理员亟待解决的难题。在以下的文章中，我将以“办公自动化”系统为例，探讨如何在有着1000万条数据的MS SQL SERVER数据库中实现快速的数据提取和数据分页。以下代码说明了我们实例中数据库的“红头

写在前面读取大容量文本数据到数据库，可以用流的方式读取到内存然后再拼接成T-SQL语句插入，显然，这个是效率极低的做法。下面给大家展示一个超快速的大容量读取文本插入Mysql数据库，用的是LOAD DATA 分三步，第一步创建数据库和表，第二步构造出一个文本数据，第三步读取文本数据到数据库第一步：创建数据库和创建数据表 --创建数据库 CREATE DATABASE MDBIArbinXMasterInfo; --创建数据表 CREATE TABLE Test( test1 int NULL,

17,089

社区成员

55,237

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章