54、实时数据仓库DWD层之整合流量域表构建补充讲解

youfanedu 2023-01-13 03:17:12

课时名称课时知识点
 54、实时数据仓库DWD层之整合流量域表构建补充讲解 54、实时数据仓库DWD层之整合流量域表构建补充讲解
...全文
87 回复 打赏 收藏 转发到动态 举报
AI 作业
写回复
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
尚硅谷大数据新能源数仓项目
尚硅谷大数据新能源数仓项目
一文看懂数据仓库
是最接近数据源中数据的一层，此层存放未经过处理的原始数据至数据仓库系统，结构上与源系统保持一致，是数据仓库的数据准备区。主要完成基础数据引入到数仓的职责，和数据源系统进行解耦合，同时记录基础数据的历史变化。处理原则：根据源业务系统表的情况以增量或全量方式抽取数据；ODS层以流水表和快照表为主，按日期对数据进行分区保存，不使用拉链表；ODS层的数据不做清洗和转换，数据的表结构和数据粒度与原业务系统保持一致。
五、数据仓库详细介绍（建模）实践篇
到这里，由于数仓模型设计的复杂性，我们需要多人合作共同完成建模工作，这时候架构师或者建模师可以结合之前分层分域的成果，按层按域将模型设计任务进行拆解后分发给不同的人完成。DW 层，数据仓库的核心存储层，这一层数仓建模的核心，相对标准的思路是我们在明细层采用范式建模的思路自顶向下设计把 ODS 层的数据完整的整合进来，打破孤岛（ID 映射）、消除冗余，再往上层可以采用维度建模的思路，基于 DWD 层做轻度汇总、重度汇总，主要以满足业务需求为主，后期如有需求新增或变化可以基于 DWD 层的完整数据重新汇总。
数据仓库——上篇
文章目录一、数仓分层1.1 数仓的分层1.1.1 ODS(原始数据层)层1.1.2 DWD(数据明细层)层1.1.3 DWS(数据服务层)1.1.4 DWT(数据主题层)1.1.5 ADS（数据应用层）1.1.6 总结二、数仓理论2.1 范式、2.2 函数依赖2.3 常见的三范式2.4 关系建模和维度建模2.5 维度表和事实表2.6 维度建模的模型2.7 事实表的分类2.8 数据仓库建模2.8.1 ODS层2.8.2 DWD层2.8.3
数据产品_数据中台02_数仓模型和架构
名词解释 一些必须掌握的专有名词 基础层-ODS（Operational Data Store-操作型数据存储） 未经过加工处理的原始数据：记录事实的唯一版本，业务系统产生的原始数据，原封不动的同步到数仓。 中间层-CDM\EDW（Enterprise Data Warehouse-企业级数据仓库，Common Data Model，公共维度模型层） 数仓核心意义，在中间层进行加工整合。 数据域：数据管理和数据整合的数据抽象集合。数据域相对稳定，主要用于中间层建设。 • dwd-明细整..
徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖
与我相关
我的任务
社区管理员
  • youfanedu
加入社区
  • 近7日
  • 近30日
  • 至今

加载中

查看更多榜单
社区公告
暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章