第六课 Flink cdc环境搭建

阿杰笔记 2023-01-13 03:34:06

课时名称	课时知识点
第六课 Flink cdc环境搭建	本节主要讲解Flink cdc下载与环境搭建

...全文

425 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

flink-connector-cdc 独立于flink项目，顾名思义集成的时候要注意版本，注意版本，注意版本 1.环境 java: jdk8+ scala: 1.11 或 1.12看你的flink和cdc依赖的scala flink: 1.14.3 mysql: 8.0 flink-cdc 1.1 flink-sql环境：如上flink-sql-connector-mysql-cdc-2.2-SNAPSHOT.jar即为flink1.14的依赖,需要在flink_home/lib/下面添加该依赖

总的来说，Flink做CDC就像是给我们配备了一个强大的数据监控小助手，能让我们实时掌握数据库的变化情况。虽然在实践过程中可能会遇到一些小问题，但只要我们掌握了正确的方法，就能让Flink发挥出它的最大威力😎小伙伴们，你们有没有在实际工作中用过Flink做CDC呀🧐 对于Flink做CDC还有什么疑问或者想法，欢迎在评论区留言讨论哦🤗。

Flink CDC 1.0至3.0回忆录

Flink CDC 2.0 正式发布，详解核心改进一、CDC 概述 CDC 的全称是 Change Data Capture ，在广义的概念上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。目前通常描述的 CDC 技术主要面向数据库的变更，是一种用于捕获数据库中数据变更的技术。CDC 技术的应用场景非常广泛：数据同步：用于备份，容灾；数据分发：一个数据源分发给多个下游系统；数据采集：面向数据仓库 / 数据湖的 ETL 数据集成，是非常重要的数据源。 CDC 的技术方案非常多，目前业界主

Apache Flink CDC（Change Data Capture）是一个用于捕获和跟踪数据库更改的技术，它能够实时地从数据库中获取数据变更，并将这些变更流式传输到其他系统进行处理和分析。Flink CDC 提供了对多种数据库的支持，包括 MySQL、Doris、MongoDB 等，Flink CDC 在大数据中主要用于实时数据同步、实时数据分析、实时监控和告警、日志和审计记录、流式ETL、实时事件处理等方面。

杨文杰的课程社区_NO_1

1

社区成员

22

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章