大批量数据更新

zr1985712719 2009-12-16 09:20:31

那位大侠给个大批量数据更新的解决方案。（数据估计有100万左右，20-30列数据）

...全文

53 1 打赏收藏转发到动态举报

写回复

1 条回复

切换为时间正序

请发表友善的回复…

发表回复

云水千寻 2009-12-16

打赏
举报

回复

帮顶啦

本课程通过讲解Spring Batch的基础知识点以及一些实际的项目示例让大家熟悉如何使用Spring Batch进行大批量数据的同步、处理及转换等。

背景因公司业务架构变更，需要对原有账户累计收益进行备份，削弱老业务对新业务的影响。而原有用户累计收益数据约为7000w，因为处于业务过渡阶段，所以希望以一种临时的手段去存储数据，最终讨论得出，在用户表新增一个字段old_balance来存储这个数据。大表加字段一开始以为加字段会锁表，使得线上服务不可用。但后来发现是不需要的。 Mysql支持在增加列的过程中并发DML。 Mysql5.6官方文档 https://dev.mysql.com/doc/refman/5.6/en/innodb-online

转载一篇大批量更新mysql数据的办法，为了便于阅读根据原文做了缩减。 mysql 批量更新如果一条条去更新效率是相当的慢,循环一条一条的更新记录,一条记录update一次，这样性能很差，也很容易造成阻塞。 mysql 批量更新共有以下四种办法 1、.replace into 批量更新 replace into test_tbl (id,dr) values (1,'2'),(2,'3'),...(x,'y'); 2、insert into ...on duplicate key update批.

如何加速Oracle大批量数据处理一、提高DML操作的办法：简单说来：１、暂停索引，更新后恢复.避免在更新的过程中涉及到索引的重建.２、批量更新，每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.３、创建一临时的大的表空间用来应对这些更新动作．4、批量更新，每更新一些记录后及时进行提交动作.避免大量占用回滚段和或临时表空间.5、创建一临时

比如现在对一个表增加一个流水字段，非空，唯一。该表数据量为3000000. 假设表名为test。 1.使用cursor。 declare cursor c_test is select rowid from test; v_test c_test%rowtype; begin open c_test; loop fetch

17,740

社区成员

24,334

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章