基于Spark3.x的数据湖技术Delta Lake开发实战

登峰大数据 2023-01-13 03:18:35

课程名称适应人群
基于Spark3.x的数据湖技术Delta Lake开发实战大数据开发工程师、Spark开发工程师、数据仓库架构师

本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术,当前处于发展初期,已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中,一般会将数据湖和数据仓库结合起来使用,数据湖技术主要解决数据仓库的痛点之一:源头数据的表结构(Schema)变化如何处理?数仓如何存储非结构化数据?

本课程通过一个一个代码示例,展示Delta Lake的每个特性,同时会结合实际项目,讲解Delta Lake技术的设计思路,其在湖仓一体建设过程中究竟起到了什么作用。

...全文
981 5 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
5 条回复
切换为时间正序
请发表友善的回复…
发表回复
Mr蹇 2023-10-23
  • 打赏
  • 举报
回复

能不能也讲讲Iceberg+spark,感谢

KuangBenDeNaiLao 2021-09-08
  • 打赏
  • 举报
回复
老师,课程的 源码呢?能否一起打到课件中分享给我们,谢谢。
登峰大数据 2021-09-08
  • 举报
回复
@KuangBenDeNaiLao <p>加我微信bigdata_work</p>
KuangBenDeNaiLao 2021-09-08
  • 打赏
  • 举报
回复
课件与源码都没有呢??老师能否提供一下课程中的源码?
登峰大数据 2021-09-08
  • 举报
回复
@KuangBenDeNaiLao <p>加我微信 bigdata_work</p>

1

社区成员

发帖
与我相关
我的任务
社区描述
专注于研究大数据架构(流批一体数仓架构),阅读并分享最新的大数据书籍,学习笔记!平时喜欢写文章,发布到CSDN和公众号(登峰大数据)。
社区管理员
  • 登峰大数据
加入社区
  • 近7日
  • 近30日
  • 至今
社区公告
暂无公告

试试用AI创作助手写篇文章吧