126、实时数据仓库之营销域DWD层表构建以及数据转换

youfanedu 2023-01-13 03:17:17

课时名称	课时知识点
126、实时数据仓库之营销域DWD层表构建以及数据转换	126、实时数据仓库之营销域DWD层表构建以及数据转换

...全文

39 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

随着 IT 时代步入到 DT 时代，从数据中挖掘价值已经变得越来越重要。数据仓库系统长期以来一直是企业 IT 架构的重要组成部分，并且逐步与大数据等技术相融合，已然成为建设数据文化的智慧型企业的必然措施。本文主要针对数据仓库建设中存在的 workflow 应用场景进行分析，结合数据仓库自身的特性，对现有 workflow 方式进行优化，提出了一套适用于数据仓库建设的 workflow 优化方案。0...

需求3：基于dws.dws_qz_chapter、dws.dws_qz_course、dws.dws_qz_major、dws.dws_qz_paper、dws.dws_qz_question、dwd.dwd_qz_member_paper_question 合成宽表dw.user_paper_detail,使用spark sql和dataframe api操作。创建EtlDatService清洗类,使用该类读取hdfs上的原始日志数据，对原始日志进行清洗处理，对敏感字段姓名、电话做脱敏处理。

一什么是数据仓库 1.1 数据仓库概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 1.2 数据仓库特点 1.2.1面向主题普通的操作型数据库主要面向事务性处理，而数据仓库中的所有数据一般按照主题进行划分。主题是对业务数据的一种抽象，是从较高层次上对信息系统中的数据进行归纳和整理。面向主题的数据可以划分成两部分----根据原系统业务数据的特点进行主题的抽取和确定

仅用于自己学习数据流程设计搭建版本选择 Apache :运维麻烦，组件间兼容性需要自己调研 CDH：国内使用最多的版本，6.32之前免费，从2021年开始收费。 1个节点1万美元云服务选择阿里云的EMR(不用搭建平台和考虑兼容性问题)，MaxCompute, DataWorks 亚马逊云的EMR 腾讯云EMR 华为云EMR（市场份额少）物理机和云主机选择集群规模计算例子用户100万，每个用户平均100条数据，每条日志1k左右，每天100w1001000/1024/1024约等于10

一、什么是数据模型？首先从一个更高的视角来看看数据模型所处的位置，它毕竟不是最顶层的组件。它是属于数据架构中的四大重要构成之一，其余三个是数据资产目录、数据标准和数据分布。注：来自《华为数据之道》数据模型其自身是描述数据、数据关系、数据操作以及数据约束的一种规则和标准，目的是明确数据的组织方式、存储关系和数据之间的约束关系，它为数据库系统的信息表示与操作提供了一个抽象的框架，能够指导IT开发，是应用系统实现的基础。

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章