【PolarDB·进阶推荐】从PolarDB MySQL同步到Kafka

「已注销」 2022-03-18 21:19:41

Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务,普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。通过数据传输服务DTS(Data Transmission Service),您可以将PolarDB MySQL同步至自建Kafka集群,扩展消息处理能力。

前提条件

  • Kafka集群的版本为0.10.1.0-2.7.0版本。
  • PolarDB MySQL已开启Binlog,详情请参见如何开启Binlog

注意事项

如果源数据库没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标数据库中出现重复数据。

功能限制

  • 仅支持表粒度的数据同步。
  • 不支持自动调整同步对象。

    说明 如果在同步的过程中,对源库中待同步的表执行了重命名操作,且重命名后的名称不在同步对象中,那么该表将不再被同步到目标Kafka集群中。如果该表还需要同步,那么您需要新增同步对象

操作步骤

  1. 购买数据同步作业,详情请参见购买流程

    说明 购买时,选择源实例为PolarDB、目标实例为Kafka,并选择同步拓扑为单向同步。

  2. 登录数据传输控制台
  3. 在左侧导航栏,单击数据同步。
  4. 在同步作业列表页面顶部,选择同步的目标实例所属地域。
  5. 定位至已购买的数据同步实例,单击配置同步链路。
  6. 配置源实例及目标实例信息。

····

更多内容可见:https://help.aliyun.com/document_detail/145976.html

...全文
276 1 打赏 收藏 转发到动态 举报
写回复
用AI写文章
1 条回复
切换为时间正序
请发表友善的回复…
发表回复
CSDN-Ada助手 2023-01-13
  • 打赏
  • 举报
回复
您可以前往 CSDN问答-Java 发布问题, 以便更快地解决您的疑问

52

社区成员

发帖
与我相关
我的任务
社区描述
PolarDB开发者
其他 企业社区
社区管理员
  • csdnsqst0017
  • kikokingzz
  • karina17
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告

社区初立,为了鼓励小友们在社区中积极互动,现在有一个活动如下:

试试用AI创作助手写篇文章吧