mysql 2个表数据同步 优化

最后111 最后111 墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年,写一次发全网 我也要 + 加入社区
有2个表user 和user_temp 。字段一样(open_id ,name , sex)。open_id是主键,两个表的数据都比较大。 user表200w ,user_temp表100w左右。
假设user表中有如下数据:
open_id name sex
001 张一 1
002 李二 0
003 张三 1
004 张四 1

user_temp表中有如下数据:
open_id name sex
001 张修改 0
002 李修改 1
005 王五 1
006 王六 0

现在将这2张表的数据进行合并。 合并规则为:
1) 将user表中open_id 为001 ,002的数据,update为user_temp中的数据。
2) 将user_temp表中open_id 为005 ,006的数据,insert到user表。
3) 将user表中open_id 为003 ,004的数据,delete。

想要达到的效果为:
user表中数据改为如下:
open_id name sex
001 张修改 0
002 李修改 1
005 王五 1
006 王六 0

用了如下2个方法:
方法一:
1)
update user u inner join user_temp as tmp on tmp.open_id = u.open_id
set u.name = tmp.name , u.sex = tmp.sex,
2)
insert into user (open_id, name, sex)
select open_id, name, sex from user_temp tmp
WHERE not EXISTS (SELECT 1 FROM user u where u.open_id = tmp.open_id)
3)
delete from user u
where not EXISTS ( select 1 from user_temp tmp where tmp.open_id = u.open_id )

方法二:
写存储过程,先把需要update的数据全部查询出来,然后一条一条修改
CREATE PROCEDURE `update`()
BEGIN
declare NAME varchar(1000);
declare OPEN_ID varchar(255);
declare SEX varchar(1);
declare stop int default 0;

declare user_cur cursor for( SELECT ft.name, ft.open_id, ft.sex,
from user_temp ft where EXISTS ( select 1 from user f where f.open_id = ft.open_id )
);

declare CONTINUE HANDLER FOR SQLSTATE '02000' SET stop = null;
OPEN user_cur ;

FETCH user_cur INTO NAME , OPEN_ID, SEX;
WHILE ( stop is not null) DO
update user f set f.name = NAME , f.sex = SEX where f.open_id = OPEN_ID;
FETCH user_cur INTO NAME , OPEN_ID, SEX;
END WHILE;

CLOSE user_cur ;
END

后面还有2个存储过程略。。。。

以上2个方法都能实现功能。但是都存在问题,
使用 【方法一】 会造成长时间的锁表 (200w + 100w 数据join) 。
使用 【方法二】 执行速度太慢了, 执行完成需要几个小时。

求一个好的解决方案, 即 不会长时间锁表, 执行速度又不会太慢。
...全文

相关推荐

MySQL表数据迁移

直接解压到www目录下,在浏览器中输入http://localhost/datamove.html 即可使用(当然如果不是80端口自行加上端口号) PS:数据库目前只支持MySQL数据库

明日的明日

SeaTunnel 2.3.12实战:5分钟搞定MySQL到ClickHouse的数据同步(附完整配置)

本文提供了一份基于SeaTunnel 2.3.12的实战指南,详细演示了如何快速构建从MySQL到ClickHouse的高性能数据同步管道。内容涵盖从环境准备、基础配置到实时增量同步(CDC)的完整步骤,并分享了生产级部署、性能调优与疑难排查的核心经验,帮助用户高效实现数据集成与分析。

Magic Road

MySQL到Doris数据同步配置[源码]

本文详细介绍了如何使用SeaTunnel 2.3.3版本实现MySQL到Apache Doris的全量与增量数据同步。全量同步部分提供了完整的配置文件示例,包括JDBC源配置、Doris Sink配置以及并行度设置。增量同步部分则基于update_time字段实现,展示了动态参数传递和状态记录的方案。此外,文章还提供了自动化增量同步的推荐方案,包括调度器集成和状态存储方法。关键配置注意事项部分涵盖了Doris Sink优化、JDBC性能调优和容错机制等内容。最后,针对常见问题如数据重复、时区不一致和字段类型映射提供了解决方案。

efc12345678

kettle 数据同步

kettle oracle 数据同步mysql ,先自己要把oracle和mysql jar 放到 对应lib目录下,作业和转换可以直接打开查看,

hongyawx

canal-mysql-elasticsearch-sync20201010.rar

elasticsearch7版本,使用 阿里的canal数据同步组件,支持单个表对应单个索引的数据同步,同时也支持多个表对应一个索引的嵌套结构的数据同步。

御前带糖侍卫
评论 6
收藏 已收藏
分享
返回顶部
最后111
MySQL 57,062 成员 56,759 内容