66、flink+fastJson实时处理binlog数据代码编写

youfanedu 2023-01-13 03:17:32

课时名称	课时知识点
66、flink+fastJson实时处理binlog数据代码编写	66、flink+fastJson实时处理binlog数据代码编写

...全文

104 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

场景说明业务部门的Mysql数据使用阿里DTS（数据传输工具）上报了binlog日志。对于数仓部门有两个需求从DTS将数据，只保留type(insert，delete，update)跟record到kafka方便多方消费；为了验证Kafka准确性，数仓部门也消费kafka数据落地到Hologres，对比hologres与mysql原表保证完全一致。问题 DTS端并行度为1，但是ETL过程因为下游算子有多个并行度，有可能出现数据乱序（DTS->Kafka乱序）消费Kafka的时候由

flink消费kafka消息，处理后保存入es 一、引入依赖 <properties> <flink.version>1.7.2</flink.version> <java.version>1.8</java.version> <scala.binary.version>2.11...

为了彻底解决这些问题，我们逐步转向CDC (Change Data Capture) + Merge的技术方案，即实时Binlog采集 + 离线处理Binlog还原业务数据这样一套解决方案。Binlog是MySQL的二进制日志，记录了MySQL中发生的所有数据变更，MySQL集群自身的主从同步就是基于Binlog做的。实现思路首先，采用Flink负责把Kafka上的Binlog数据拉取到HDFS上。然后，对每张ODS表，首先需要一次性制作快照（Snapshot），把MySQL里的存量数据读取到Hive上，这

官方文档地址：https://nightlies.apache.org/flink/flink-docs-release-1.12。采用阿里镜像站下载安装包：https://developer.aliyun.com/mirror/采用阿里镜像站下载安装包：https://developer.aliyun.com/mirror/切换到root用户，分别在每台主机安装java环境，采用yum安装，选择devel版本，分别修改每台主机名称为：node1，node2，node3。分别关闭每台主机防火墙。

使用flink-cdc技术（2.3.0）解析binlog实现实时数据大屏。一、项目环境该项目主要为一个数据大屏，采用了flink-cdc技术（2.3.0），flink版本为（1.14.6），利用他，实现自动获取并解析Mysql的binlog，来实时把对应的数据解析出来用于大屏展示。登录后复制 <!-- https:...

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章