急急急！求大神maxwell发送binlog日志到kafka去，数据丢失，咋办

qq_17249217 2017-11-24 09:08:25

maxwell发送binlog到kafka消费者中，kafka在把消息写到另一个数据库（kafka）中去，因为数据库错误的问题，导致写入（kafka）时丢失了一些数据，这些数据在，错误日志中已经找到。求大神该如何手动把这些数据发送到kafka中去，让其重新写一遍数据库！！！

...全文

6135 3 打赏收藏举报

写回复

3 条回复

切换为时间正序

请发表友善的回复…

发表回复

Jegger_Z 2020-05-29

打赏
举报

回复

请问如何把丢失数据放入到日志中

pppkq 2017-11-27

打赏
举报

回复

楼主，部署过程和配置文件分享一下可以吗？我正在用这个尝试mysql实时同步到kafka，但是topic内没有消息，不知道哪里不对，想对比一下，谢谢！

LongRui888 2017-11-27

打赏
举报

回复

如果有固定的格式，可以考虑用shell脚本配合sed，awk等，把数据取出来，然后生成insert 语句，最后执行一下sql就行了

文档主题：如何使用Maxwell实时监听Mysql的binlog日志，并且把解析的json格式数据发送到kafka窗口具体步骤一：在linux环境下安装部署好mysql 1 开启binlog sudo vi /etc/my.cnf 2 mysql的binlog格式有3种，为了把binlog解析成json数据格式，要设置binlog的格式为row（binlog有三种格式：State...

2.Canal只能抓取最新数据，对已存在的历史数据没有办法处理。Maxwell提供一个bootstrap功能，可以直接引导出完整的历史数据用于初始化。1.Canal有server+client模式，Maxwell只有一个server把数据发送到消息队列或redis。4.Canal在server+client模式下，可以自定义数据格式。3.Maxwell不支持HA，需要自行开发。但支持断电还原，即错误解决后重启继续上次位置读取数据。6.Maxwell需要在数据库中建立Maxwell库。

调研过flume，目前采用datax，但是都是具有侵入式，即使再增量也会影响服务器性能，详细藐视可以查看我以前的文章。调研flume、cannal、outter、maxwell 最后无侵入式的，实时的。主要区别： 1、虽然Maxwell不能直接支持HA，但是它支持断点还原，即错误解决后重启继续上次点儿读取数据。 2、Canal是服务端，数据过来了并不能直接写出去，需要一个客户端：s...

一、需求分析早期业务借助Sqoop将Mysql中的数据同步到Hive、hdfs来进行数据分析，使用过程中也带来了一些问题：虽然Sqoop支持增量同步但还属于粗粒度的离线同步，无法满足下游数仓实时性的需求(可能一个小时，或者一天) 每次同步Sqoop以sql的方式向Mysql发出数据请求也在一定程度上对Mysql带来一定的压力同时Hive对数据更新的支持也相对较弱，由于Hive本身的...

本题来源于2022 年全国职业院校技能大赛（高职组）“大数据技术与应用”赛项（电商）- 实时数据采集。Maxwell是如何监控到数据的，Maxwell读取MySQL的binlog数据并将其转换为易于读取和处理的JSON格式。具体地，它通过连接到MySQL实例的MySQL Slave复制进程来读取binlog数据流，并解析每个事务的事件，生成一个包含当前事件的JSON对象，并将其输出到目标输出源（例如Kafka）。在大数据分析和数据同步场景中，这种机制可以大大简化数据的采集和处理，并实现实时的数据同步。

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章