入门数据同步三板斧(Maxwell、Flink cdc 、Canal)

阿杰笔记 2023-01-13 03:34:06

课程名称	适应人群
入门数据同步三板斧(Maxwell、Flink cdc 、Canal)	Java后端、大数据、实时数仓、Flink

本次课程主要讲解Mysql数据同步至Kafka，从0到1教大家实战搭建，都来自企业实战项目，适合有Java基础以及大数据基础的人群，视频共分为4部分。

第一部分：前期环境准备，包含Mysql的安装与配置。

第二部分：Maxwell 的下载安装以及实战。

第三部分：Flink cdc 环境搭建与实战。

第四部分：Canal 下载安装配置与实战。

本次课程注重实战，其知识点对自己想进一步提升的同学有较大的提升，尤其针对实时数仓的同学。

...全文

1696 4 打赏收藏转发到动态举报

写回复

4 条回复

切换为时间正序

请发表友善的回复…

发表回复

weifubin 2023-05-15

打赏
举报

回复

老师，您上传的课件不全，另外，是否可以提供源码！

她与残局皆遗憾.. 2023-03-15

打赏
举报

回复

请问有没有相关课程文件

我不是Teri 2023-02-14

打赏
举报

回复

请问老师讲解用的什么工具呀长得很黑科技

阿杰笔记 2023-02-25

举报

回复

@我不是Teri idea呀

目录读取数据的格式不同 (CDC是自定义的数据类型在这里就不进行展示了，主要是展示一下Maxwell和Canal的区别)1.添加的区别 1.1 Canal1.2 Maxwell2.修改的区别2.1Canal2,2Maxwell3.删除的区别3.1 Canal3.2 MaxwellFlink CDC : DataStream: 优点：多库多表缺点：需要自定义反序列化 FlinkSQL:

Maxwell是一个CDC（Changelog Data Capture）工具，可以将MySQL中的数据变化实时流式传输到Kafka、Kinesis和其他流式连接器中。Maxwell为变更日志提供了统一的格式模式，并支持使用JSON序列化消息。Flink支持将Maxwell JSON消息解释为INSERT/UPDATE/DELETE Flink SQL系统中的消息。在许多情况下，这对于利用此功能非常有用，例如将增量数据从数据库同步到其他系统审核日志数据库上的实时物化视图。

Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。传统数据同步方案基于 Flink SQL CDC 的数据同步方案（Demo） Flink SQL CDC 的更多应用场景 Flink SQL CDC 的未来规划直播回顾： https://

作者：伍翀 (云邪)整理：陈政羽（Flink 社区志愿者）Flink 1.11 引入了 Flink SQL CDC，CDC 能给我们数据和业务间能带来什么变化？本文由 Apache Flink PMC，阿里巴巴技术专家伍翀 (云邪）分享，内容将从传统的数据同步方案，基于 Flink CDC 同步的解决方案以及更多的应用场景和 CDC 未来开发规划等方面进行介绍和演示。1、传统数据同步方案2、基于 ...

实时数仓CDC对比选型实时数仓中数据同步需要选取一个CDC工具，这里对比几种CDC的特点。例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 Flink CDC Maxwell Canal 断点续传有（通过checkpoint）有（保存在MySQL）有（保存在本地磁盘）数据初始化功能有（多库多表）有（单表）无 SQL与数据条数关系无无一对一（炸开）封装格式自定义 JSON JSON

杨文杰的课程社区_NO_1

1

社区成员

22

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章