社区
数据仓库
帖子详情
急急急!求大神maxwell发送binlog日志到kafka去,数据丢失,咋办
qq_17249217
2017-11-24 09:08:25
maxwell发送binlog到kafka消费者中,kafka在把消息写到另一个数据库(kafka)中去,因为数据库错误的问题,导致写入(kafka)时丢失了一些数据,这些数据在,错误日志中已经找到。求大神该如何手动把这些数据发送到kafka中去,让其重新写一遍数据库!!!
...全文
5992
3
打赏
收藏
急急急!求大神maxwell发送binlog日志到kafka去,数据丢失,咋办
maxwell发送binlog到kafka消费者中,kafka在把消息写到另一个数据库(kafka)中去,因为数据库错误的问题,导致写入(kafka)时丢失了一些数据,这些数据在,错误日志中已经找到。求大神该如何手动把这些数据发送到kafka中去,让其重新写一遍数据库!!!
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
3 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
Jegger_Z
2020-05-29
打赏
举报
回复
请问如何把丢失数据放入到日志中
pppkq
2017-11-27
打赏
举报
回复
楼主,部署过程和配置文件分享一下可以吗? 我正在用这个尝试mysql实时同步到kafka,但是topic内没有消息,不知道哪里不对,想对比一下,谢谢!
LongRui888
2017-11-27
打赏
举报
回复
如果有固定的格式,可以考虑用shell脚本配合sed,awk等,把数据取出来,然后生成insert 语句,最后执行一下sql就行了
max
well采集器
抽取
数据
库的
日志
既能够很大的减轻
数据
库服务的压力,又能够解决实时处理实时展示图表的需
求
。
max
well采集MySQL
Bin
log
日志
提供解决方案
大
数据
技术之
Max
well视频教程
视频详细讲解,需要的小伙伴自行网盘下载,链接见附件,永久有效。 课程介绍
Max
well是一个轻量级的MySQL
数据
抓取软件,在大
数据
领域有非常广泛的应用。可以实时读取MySQL二进制
日志
Bin
log
,并生成JSON格式的消息,作为生产者
发送
给
Kafka
、Kinesis、RabbitMQ、Redis、Google Cloud Pub/Sub、文件或其它平台的应用程序。 本套教程以
Max
well的底层原理展开讲解,细致地介绍了
Max
well的安装部署及常见应用,详细讲解了如何实现MySQL
数据
的采集,并将
数据
分别
发送
至控制台与
Kafka
。教程内容详尽,操作简单清楚,让你轻轻松松掌握
Max
well!
入门
数据
同步三板斧(
Max
well、Flink cdc 、Canal)
本次课程主要讲解Mysql
数据
同步至
Kafka
,从0到1教大家实战搭建,都来自企业实战项目,适合有Java基础以及大
数据
基础的人群,视频共分为4部分。 第一部分:前期环境准备,包含Mysql的安装与配置。 第二部分:
Max
well ...
Max
well 安装、配置和使用说明书.docx
Max
well 安装、配置和使用说明书,
max
well+mysql+
bin
log
+
kafka
,
数据
传输,配置完整攻略。
max
well,mysql
bin
log
采集的工具
max
well,用于mysql的
bin
log
采集,通过
kafka
,实现mysql的实时同步
数据仓库
7,388
社区成员
6,742
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章