Delta Lake数据湖实战:从ACID原理到湖仓一体
社区首页 (3683)
请编写您的帖子内容
社区频道(7)
显示侧栏
卡片版式
Delta Lake数据湖实战:从ACID原理到湖仓一体
Spark Structured Streaming实时流处理实战
电力负荷预测实战:96点预测、特征筛选与模型部署
FDE智能体开发与运维实战:Skill、MCP与多智能体协同
企业AI应用实战:从通识认知到RAG知识库与智能体开发
Coze智能体开发实战:提示词、RAG知识库与工作流
电力行业 AI 多场景实战:需求预测、库存优化、目标检测与负荷预测
最新发布
最新回复
标题
阅读量
内容评分
精选

33
评分
回复
Delta Lake数据湖实战:从ACID原理到湖仓一体
课程名称适应人群Delta Lake数据湖实战:从ACID原理到湖仓一体大数据开发工程师、数据平台/数仓工程师、Spark开发人员,以及需要从Hive/Parquet数据湖迁移到湖仓一体架构的架构师与运维人员。建议具备Spark SQL与HDFS基础
复制链接 扫一扫
分享

29
评分
回复
IOT数据处理平台架构设计
课时名称课时知识点IOT数据处理平台架构设计解析制造业IoT平台的需求,设计Kafka到Spark Streaming再到Delta Lake与BI的端到端架构。
复制链接 扫一扫
分享

28
评分
回复
权限管理与安全脱敏
课时名称课时知识点权限管理与安全脱敏集成Apache Ranger实现表级与列级权限控制,讲解动态视图脱敏与审核日志方案。
复制链接 扫一扫
分享

30
评分
回复
实时数据管道搭建实战
课时名称课时知识点实时数据管道搭建实战以Delta作为流式Source与Sink搭建近实时数据管道,打通Delta到Kafka的数据链路。
复制链接 扫一扫
分享

29
评分
回复
IOT平台搭建实战
课时名称课时知识点IOT平台搭建实战动手搭建IoT数据处理平台核心链路,完成设备状态追踪与质量预警的端到端跑通。
复制链接 扫一扫
分享

28
评分
回复
Lakehouse架构ETL实战
课时名称课时知识点Lakehouse架构ETL实战按Bronze/Silver/Gold分层思想搭建Delta ETL链路,实现CDC驱动的实时数仓雏形。
复制链接 扫一扫
分享

23
评分
回复
数据脱敏与安全审计追踪
课时名称课时知识点数据脱敏与安全审计追踪实战列级脱敏配置与操作审计追踪,形成可追溯的数据安全合规闭环。
复制链接 扫一扫
分享

29
评分
回复
监控指标体系搭建实战
课时名称课时知识点监控指标体系搭建实战实战Delta监控指标采集与看板搭建,配置告警阈值实现异常及时发现与定位。
复制链接 扫一扫
分享

29
评分
回复
集群部署架构策略原理
课时名称课时知识点集群部署架构策略原理讲解存储分层与多集群部署模式,掌握单写多读架构下的容量规划与存储计算资源配比。
复制链接 扫一扫
分享

32
评分
回复
用户角色安全体系实战
课时名称课时知识点用户角色安全体系实战搭建用户-角色-权限三级安全体系,完成最小权限授权与访问控制验证。
复制链接 扫一扫
分享

28
评分
回复
监控指标体系与灾备策略
课时名称课时知识点监控指标体系与灾备策略建立事务延迟、文件版本、冲突率等核心监控指标,设计跨区域复制与时间点恢复的灾备方案。
复制链接 扫一扫
分享

30
评分
回复
Lakehouse与流批统一架构
课时名称课时知识点Lakehouse与流批统一架构拆解Databricks Lakehouse分层架构,理解批流一体在存储层与计算层的统一设计。
复制链接 扫一扫
分享

29
评分
回复
Delta与Spark深度优化集成
课时名称课时知识点Delta与Spark深度优化集成讲解Delta与Spark的深度集成优化,包括检查点机制、自适应查询AQE的关键配置项。
复制链接 扫一扫
分享

32
评分
回复
增强检查点与AQE调优
课时名称课时知识点增强检查点与AQE调优实战增强检查点配置与AQE参数调优,解决流式作业中的数据倾斜与shuffle膨胀问题。
复制链接 扫一扫
分享

32
评分
回复
物联网分层存储规划实战
课时名称课时知识点物联网分层存储规划实战面向IoT场景设计Hot/Warm/Cold分层存储方案,实战冷热数据迁移与生命周期管理。
复制链接 扫一扫
分享

29
评分
回复
时间旅行分析与数据恢复
课时名称课时知识点时间旅行分析与数据恢复结合业务场景用时间旅行做历史数据对比分析,并配置VACUUM保留策略控制快照生命周期。
复制链接 扫一扫
分享

29
评分
回复
Schema演进操作实战
课时名称课时知识点Schema演进操作实战实战新增字段、字段重命名等Schema自动演进操作,掌握演进规则与版本回溯方式。
复制链接 扫一扫
分享

31
评分
回复
数据管理与查询操作实战
课时名称课时知识点数据管理与查询操作实战使用DESCRIBE DETAIL与DESCRIBE HISTORY管理表元数据,实战定位表结构、分区信息与历史版本,并处理元数据冲突场景。
复制链接 扫一扫
分享

31
评分
回复
核心特性与查询操作实战
课时名称课时知识点核心特性与查询操作实战围绕ACID事务、Schema演进、时间旅行三大核心特性展开,通过建表、写入与查询实验掌握Delta表的基本操作。
复制链接 扫一扫
分享

30
评分
回复
数据清理实战与小文件合并
课时名称课时知识点数据清理实战与小文件合并分析小文件问题的成因与危害,实战OPTIMIZE文件合并与VACUUM清理,并验证查询性能的提升效果。
复制链接 扫一扫
分享

28
评分
回复
约束管理与变更回滚实战
课时名称课时知识点约束管理与变更回滚实战使用CHECK约束与NOT NULL约束保障数据质量,实战生产环境Schema变更的回滚处理流程。
复制链接 扫一扫
分享
为您搜索到以下结果:
1
社区成员
177
社区内容
发帖
与我相关
我的任务
任大勇的课程社区_NO_5
关注AI,实践AI,拥抱AI,分享AI
复制链接 扫一扫
分享确定
社区描述
关注AI,实践AI,拥抱AI,分享AI
加入社区
获取链接或二维码
- 近7日
- 近30日
- 至今
加载中
社区公告
暂无公告