急急急！求大神maxwell发送binlog日志到kafka去，数据丢失，咋办

qq_17249217 2017-11-24 09:08:25

maxwell发送binlog到kafka消费者中，kafka在把消息写到另一个数据库（kafka）中去，因为数据库错误的问题，导致写入（kafka）时丢失了一些数据，这些数据在，错误日志中已经找到。求大神该如何手动把这些数据发送到kafka中去，让其重新写一遍数据库！！！

...全文

6126 3 打赏收藏转发到动态举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

Jegger_Z 2020-05-29

打赏
举报

回复

请问如何把丢失数据放入到日志中

pppkq 2017-11-27

打赏
举报

回复

楼主，部署过程和配置文件分享一下可以吗？我正在用这个尝试mysql实时同步到kafka，但是topic内没有消息，不知道哪里不对，想对比一下，谢谢！

LongRui888 2017-11-27

打赏
举报

回复

如果有固定的格式，可以考虑用shell脚本配合sed，awk等，把数据取出来，然后生成insert 语句，最后执行一下sql就行了

本文介绍如何配置Maxwell监听MySQL的binlog，并将JSON格式数据发送至Kafka。涉及MySQL binlog设置、Maxwell安装及权限配置、Kafka主题创建及生产者消费者窗口的启动过程。

Maxwell是一款高效工具，能实时读取MySQL的二进制日志(binlog)，并将其转换为JSON格式，适配Kafka、RabbitMQ等多种消息平台。它支持全量数据初始化、GTID恢复及数据分区，适用于ETL、缓存维护等场景。本文详细介绍Maxwell的安装、配置及监控方法。

本文介绍如何使用Maxwell订阅MySQL的binlog，并将其生产到Kafka。内容涵盖环境搭建、binlog配置、Maxwell及Kafka的启动配置，以及如何进行数据测试和全量导入。

本文详细介绍了使用Maxwell进行MySQL数据实时捕获，并将其同步至Kafka的过程。对比了Maxwell与Canal的优缺点，展示了Maxwell的安装配置、MySQL配置、以及与Kafka的集成步骤。通过具体实例，验证了从MySQL到Kafka再到消费者的数据流的连通性。

文章详细介绍了如何通过Maxwell工具设置MySQL的maxwell用户，授权并开启binlog功能，然后配置Maxwell以将binlog事件实时同步到Kafka，包括调整Maxwell的配置文件以优化数据分区，以及测试数据同步的正确性。此外，还讨论了通过主键进行分区策略以避免数据倾斜的问题。

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章