实现mq自动同步数据的问题

u010028115 2017-04-12 09:43:17

刚刚接触MQ，要让应用A通过MQ向B队列放数据时自动同步至队列C该怎么做啊
需要两个队列管理器？或者两条Queue？
刚弄不懂，求大侠解释，多谢多谢。

...全文

2392 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

摘要：很多 DBA 同学经常会遇到要从一个数据库实时同步到另一个数据库的问题，同构数据还相对容易，遇上异构数据、表多、数据量大等情况就难以同步。我自己亲测了一种方式，可以非常方便地完成 MySQL 数据实时同步到MQ，跟大家分享一下，希望对你有帮助。本次 MySQL 数据实时同步到 MQ大概只花了几分钟就完成。使用的工具是 Tapdata Cloud，这个工具是永久免费的。 MySQL 到 MQ 实时数据同步实操分享第一步：配置MySQL 连接第二步：配置 MQ 连接第三步：选择同步模式-全量/增量/

canal mq异步同步数据

分布式系统的三大理论CAP就不说了，但是作为分布式消息系统的rocketmq, 主从功能是最最基础的保证可用性的手段了。也许该功能现在已经不是很常用了，但是对于我们理解一些分布式系统的常用工作原理还是有些积极意义的。今天就一起来挖挖rocketmq是如何实现主从数据同步的吧。1. 主从同步概述主从同步这个概念相信大家在平时的工作中，多少都会听到。其目的主要是用于做一备份类操作，以及一些读写分离场景...

数据的丢失问题可能出现在生产者、MQ服务器、消费者中，以RabbitMQ和Kafka为例来分析一下。 RabbitMQ 生产者弄丢了数据生产者将数据发送到RabbitMQ的时候，可能数据就在半路给搞丢了，因为网络问题等都有可能。可以用RabbitMQ提供的事务功能，生产者发送数据之前开启RabbitMQ事务channel.txSelect()，然后发送消息，如果消息没有成功被RabbitMQ接收到，生产者会收到异常报错，此时就可以回滚事务channel.txRollback()，然后重试发送消息

环境准备： 1、redis （默认端口6379） 2、zookeeper （默认端口2181） 3、Kafka （默认端口9092） 4、Canal （默认端口 11111） 5、MySQL （默认端口 3306 实际项目我们是配置MQ模式，配合RocketMQ或者Kafka，canal会把数据发送到MQ的topic中，然后通过消息队列的消费者进行消费处理。这篇文章演示部署Canal，配合使用Kafka，同步数据到Redis 通过架构图，我们很清晰就知道要用到的组件：MySQL、C

2,633

社区成员

9,566

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章