PolarDB开发者
【PolarDB·进阶推荐】从PolarDB MySQL同步到Kafka
墨衍会员 · AI 创作全网分发 墨衍智能分发 通过墨衍一键同步至各平台 可同步平台 CSDN微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网
我也要 关注 + 加入社区Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务，普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域，是大数据生态中不可或缺的产品之一。通过数据传输服务DTS（Data Transmission Service），您可以将PolarDB MySQL同步至自建Kafka集群，扩展消息处理能力。
前提条件
- Kafka集群的版本为0.10.1.0-2.7.0版本。
- PolarDB MySQL已开启Binlog，详情请参见如何开启Binlog。
注意事项
如果源数据库没有主键或唯一约束，且所有字段没有唯一性，可能会导致目标数据库中出现重复数据。
功能限制
- 仅支持表粒度的数据同步。
- 不支持自动调整同步对象。
说明 如果在同步的过程中，对源库中待同步的表执行了重命名操作，且重命名后的名称不在同步对象中，那么该表将不再被同步到目标Kafka集群中。如果该表还需要同步，那么您需要新增同步对象。
操作步骤
- 购买数据同步作业，详情请参见购买流程。
说明 购买时，选择源实例为PolarDB、目标实例为Kafka，并选择同步拓扑为单向同步。
- 登录数据传输控制台。
- 在左侧导航栏，单击数据同步。
- 在同步作业列表页面顶部，选择同步的目标实例所属地域。
- 定位至已购买的数据同步实例，单击配置同步链路。
- 配置源实例及目标实例信息。
····
相关推荐
基于flink-cdc实现监控数据源的实时变更数据捕获
cdc技术分析文章，基于flink-cdc做监控数据源的实时变更数据捕获。该文从基础定义、使用场景、分析、实际使用流程、源码分析、常见问题及解决方式等几个方向讲解了这个技术栈。如果公司有要使用搜索方案，涉及到业务库数据同步至搜索库的业务需求可以下载看一下，相信对你会有一些帮助。具体公司的使用场景，需要在此方案上进行扩展。博主手中有基于flink-cdc、elasticSerach、kafka、zookeeper、nacos、Redis、springboot+springcloud、MySQL、mybatis-plus、jdk1.8等技术栈以及版本做的适用于公司搜索业务的自研代码，感兴趣的可以给我留言或者发私信，具体价格可以商量。
199-长安益阳发电有限公司项目建设方案.docx
199-长安益阳发电有限公司项目建设方案.docx
KubeBlocks把所有数据库运行到K8s上.pdf
KubeBlocks把所有数据库运行到K8s上.pdf
数据库发展研究报告（2021年）.zip
数据库发展研究报告（2021年）
科技中介服务机构如何构建轻量化、易操作的数智化服务工具？.docx
科易网基于AI模型+行业大数据，在技术转移、成果转化、技术经纪、知识产权、产业创新、科技招商等垂直领域的多样化应用场景，推出科技创新领域的AI+工具与数智化解决方案，推动科技创新与产业创新智能化发展。
