60、数据湖应用实战之用户信息数据同步hudi

youfanedu 2023-01-13 03:16:52

课时名称	课时知识点
60、数据湖应用实战之用户信息数据同步hudi	60、数据湖应用实战之用户信息数据同步hudi

...全文

97 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

Hudi-0.9.0在win10的IDFEA中集中Spark3.0、Flink-1.12.x的基本使用记录。hudi-0.9.0 需要重新编译成jar包，然后加入到maven中

Hudi 是一个流式数据湖平台大数据Hadoop之——新一代流式数据湖平台 Apache Hudi大数据Hadoop之——Apache Hudi 数据湖实战操作（Spark，Flink与Hudi整合）数据处理：计算引擎，例如：flink、spark等。数据存储：HDFS、云存储、AWS S3、对象存储等。数据管理数据查询：查询引擎，例如：Spark、Trino（Presto）、Hive、Starrocks（Doris）等。

实时数据湖业务场景随着业务场景的不断变化，企业对数据服务实时化的需求日益增多。为了满足这一点，需要在分布式文件系统(如HDFS)实现高效且低延迟的数据摄取及数据准备，从而构建面向分钟级延时场景的通用统一服务层实时数据湖解决方案对比实时数据流管道DFS上实时数据流解决方案Hudi表存储类型对比一旦首次数据写入时确定了Hudi存储格式，不能再修改。COW存储格式不需要压缩：ERRORHoo...

目录 1 案例架构 2 业务数据 2.1 客户信息表 2.2 客户意向表 2.3 客户线索表 2.4 线索申诉表 2.5 客户访问咨询记录表 3 Flink CDC 实时数据采集 3.1 开启MySQL binlog 3.2 环境准备 3.3 实时采集数据 3.3.1 客户信息表 3.3.2 客户意向表 3.3.3 客户线索表 3.3.4 客户申诉表 3.3.5 客户访问咨询记录表 4 Presto 即席分析 4.1 Presto 是什么 4.2 Presto 安装部署 4.3 Hive 创建表

1、Apache Flume：分布式实时日志数据采集框架由于业务端数据在不断的在往一个目录下进行生产, 我们需要实时的进行数据采集, 而flume就是一个专门用于数据采集工具,比如就可以监控某个目录下文件, 一旦有新的文件产生即可立即采集。2、Apache Kafka：分布式消息队列 Flume 采集过程中, 如果消息非常的快, Flume也会高效的将数据进行采集, 那么就需要一个能够快速承载数据容器, 而且后续还要对数据进行相关处理转换操作, 此时可以将flume采集过来的数据写入到Kafka中,进行消

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章