60、数据湖应用实战之用户信息数据同步hudi

youfanedu 2023-01-13 03:16:52

课时名称课时知识点
60、数据湖应用实战之用户信息数据同步hudi60、数据湖应用实战之用户信息数据同步hudi
...全文
68 回复 打赏 收藏 转发到动态 举报
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
Hudi-0.9.0在win10的IDFEA中集中Spark3.0、Flink-1.12.x的基本使用记录
Hudi-0.9.0在win10的IDFEA中集中Spark3.0、Flink-1.12.x的基本使用记录 。hudi-0.9.0 需要重新编译成jar包，然后加入到maven中
大数据Hadoop之——Apache Hudi 数据湖实战操作（FlinkCDC）
Hudi 是一个流式数据湖平台大数据Hadoop之——新一代流式数据湖平台 Apache Hudi大数据Hadoop之——Apache Hudi 数据湖实战操作（Spark，Flink与Hudi整合）数据处理：计算引擎，例如：flink、spark等。数据存储：HDFS、云存储、AWS S3、对象存储等。数据管理数据查询：查询引擎，例如：Spark、Trino（Presto）、Hive、Starrocks（Doris）等。
数据湖技术之社交数据Hudi案例实战
1、Apache Flume：分布式实时日志数据采集框架 由于业务端数据在不断的在往一个目录下进行生产, 我们需要实时的进行数据采集, 而flume就是一个专门用于数据采集工具,比如就可以监控某个目录下文件, 一旦有新的文件产生即可立即采集。2、Apache Kafka：分布式消息队列 Flume 采集过程中, 如果消息非常的快, Flume也会高效的将数据进行采集, 那么就需要一个能够快速承载数据容器, 而且后续还要对数据进行相关处理转换操作, 此时可以将flume采集过来的数据写入到Kafka中,进行消
数据湖技术之数据中心 Hudi案例实战
本案例基于Flink SQL 与Hudi整合，将MySQL数据库业务数据，实时采集存储到Hudi表中，使用Presto和Flink SQL分别进行离线查询分析和流式查询数据，最后报表存储到MySQL数据库，使用FineBI整合进行可视化展示。 1、MySQL数据库： 传智教育客户业务数据存储及离线实时分析报表结果存储，对接可视化FineBI工具展示。2、Flink SQL 引擎 使用Flink SQL中CDC实时采集MySQL数据库表数据到Hudi表，此外基于Flink SQL Connector整合Hud
hudi数据湖万字全方位教程+应用示例
hudi全方位教程
徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖
与我相关
我的任务
社区管理员
  • youfanedu
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章