126、实时数据仓库之营销域DWD层表构建以及数据转换

youfanedu 2023-01-13 03:17:17

课时名称	课时知识点
126、实时数据仓库之营销域DWD层表构建以及数据转换	126、实时数据仓库之营销域DWD层表构建以及数据转换

...全文

71 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

随着 IT 时代步入到 DT 时代，从数据中挖掘价值已经变得越来越重要。数据仓库系统长期以来一直是企业 IT 架构的重要组成部分，并且逐步与大数据等技术相融合，已然成为建设数据文化的智慧型企业的必然措施。本文主要针对数据仓库建设中存在的 workflow 应用场景进行分析，结合数据仓库自身的特性，对现有 workflow 方式进行优化，提出了一套适用于数据仓库建设的 workflow 优化方案。0...

需求3：基于dws.dws_qz_chapter、dws.dws_qz_course、dws.dws_qz_major、dws.dws_qz_paper、dws.dws_qz_question、dwd.dwd_qz_member_paper_question 合成宽表dw.user_paper_detail,使用spark sql和dataframe api操作。创建EtlDatService清洗类,使用该类读取hdfs上的原始日志数据，对原始日志进行清洗处理，对敏感字段姓名、电话做脱敏处理。

一什么是数据仓库 1.1 数据仓库概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 1.2 数据仓库特点 1.2.1面向主题普通的操作型数据库主要面向事务性处理，而数据仓库中的所有数据一般按照主题进行划分。主题是对业务数据的一种抽象，是从较高层次上对信息系统中的数据进行归纳和整理。面向主题的数据可以划分成两部分----根据原系统业务数据的特点进行主题的抽取和确定

仅用于自己学习数据流程设计搭建版本选择 Apache :运维麻烦，组件间兼容性需要自己调研 CDH：国内使用最多的版本，6.32之前免费，从2021年开始收费。 1个节点1万美元云服务选择阿里云的EMR(不用搭建平台和考虑兼容性问题)，MaxCompute, DataWorks 亚马逊云的EMR 腾讯云EMR 华为云EMR（市场份额少）物理机和云主机选择集群规模计算例子用户100万，每个用户平均100条数据，每条日志1k左右，每天100w1001000/1024/1024约等于10

数据仓库设计的系统性解决方案，涵盖架构模式、分层设计、百万级访问支撑、海量数据配置及与数据库/数据湖的对接策略： ODS（操作数据层）：原始数据镜像，保留历史快照 DWD（明细数据层）：清洗、标准化、维度退化 DWS（汇总数据层）：主题宽表、轻度聚合 ADS（应用数据层）：高度聚合，面向报表/API 二、百万用户访问架构设计 1. 核心架构组件 2. 关键配置参数（以Snowflake为例） 3. 性能优化措

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章