1
社区成员




课程名称 | 适应人群 |
---|---|
基于Spark3.x的数据湖技术Delta Lake开发实战 | 大数据开发工程师、Spark开发工程师、数据仓库架构师 |
本课程内容整理自一个湖仓一体的数仓项目。Delta Lake、Hudi和Iceberg是三大数据湖技术,当前处于发展初期,已有很多大型互联网公司采用这类技术。在搭建数据平台的过程中,一般会将数据湖和数据仓库结合起来使用,数据湖技术主要解决数据仓库的痛点之一:源头数据的表结构(Schema)变化如何处理?数仓如何存储非结构化数据?
本课程通过一个一个代码示例,展示Delta Lake的每个特性,同时会结合实际项目,讲解Delta Lake技术的设计思路,其在湖仓一体建设过程中究竟起到了什么作用。
能不能也讲讲Iceberg+spark,感谢