【PolarDB·进阶推荐】从PolarDB MySQL同步至云原生数据仓库AnalyticDB MySQL

「已注销」 2022-03-18 21:13:50

云原生数据仓库AnalyticDB MySQL是阿里巴巴自主研发的海量数据实时高并发在线分析（Realtime OLAP）云计算服务，可以对千亿级数据进行毫秒级的即时多维分析透视和业务探索。通过数据传输服务DTS（Data Transmission Service），您可以将PolarDB MySQL同步到云原生数据仓库AnalyticDB MySQL，帮助您快速构建企业内部BI、交互查询、实时报表等系统。

前提条件

已创建目标云原生数据仓库AnalyticDB MySQL集群，详情请参见创建云原生数据仓库AnalyticDB MySQL（2.0）或创建云原生数据仓库AnalyticDB MySQL（3.0）。
确保目标云原生数据仓库AnalyticDB MySQL具备充足的存储空间。
PolarDB MySQL已开启Binlog，详情请参见如何开启Binlog。
如果同步的目标为云原生数据仓库AnalyticDB MySQL（2.0），源PolarDB MySQL中待同步的对象不能包含云原生数据仓库AnalyticDB MySQL（2.0）保留的库名和列名，否则将造成数据同步失败或DDL操作同步失败。

注意事项

DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源，可能会导致数据库的负载上升，在数据库性能较差、规格较低或业务量较大的情况下（例如源库有大量慢SQL、存在无主键表或目标库存在死锁等），可能会加重数据库压力，甚至导致数据库服务不可用。因此您需要在执行数据同步前评估源库和目标库的性能，同时建议您在业务低峰期执行数据同步（例如源库和目标库的CPU负载在30%以下）。
请勿在数据同步时，对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更，否则会导致同步失败。
说明如果同步的目标为云原生数据仓库AnalyticDB MySQL（3.0），您可以使用DMS提供的相关功能来执行在线DDL变更，详情请参见DDL无锁变更。
由于云原生数据仓库AnalyticDB MySQL（3.0）本身的使用限制，当云原生数据仓库AnalyticDB MySQL（3.0）集群中的节点磁盘空间使用量超过80%，该集群将被锁定。请提前根据待同步的对象预估所需空间，确保目标集群具备充足的存储空间。
暂不支持同步前缀索引，如果源库存在前缀索引可能导致数据同步失败。

术语/概念对应关系


PolarDB MySQL	云原生数据仓库AnalyticDB MySQL
数据库	云原生数据仓库AnalyticDB MySQL（2.0）：表组云原生数据仓库AnalyticDB MySQL（3.0）：数据库
表	云原生数据仓库AnalyticDB MySQL（2.0）：表云原生数据仓库AnalyticDB MySQL（3.0）：表

说明关于云原生数据仓库AnalyticDB MySQL中表组和表的相关介绍，请参见常见术语。

支持同步的SQL操作


目标数据库版本	支持的SQL操作
云原生数据仓库AnalyticDB MySQL2.0	DDL操作：ADD COLUMN、DROP COLUMN、MODIFY COLUMN DML操作：INSERT、UPDATE、DELETE
云原生数据仓库AnalyticDB MySQL3.0	DDL操作：CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN、MODIFY COLUMN DML操作：INSERT、UPDATE、DELETE 说明如果在数据同步的过程中变更了源表的字段类型，同步作业将报错并中断。您可以提交工单处理或手动修复，详情请参见修复因变更字段类型导致的同步失败。