91_业务数仓_范式理论

zhchzh1000 2023-01-12 18:50:14

课时名称	课时知识点
91_业务数仓_范式理论	91_业务数仓_范式理论

...全文

53 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

文章目录第1章数仓分层1.1 为什么要分层1.2 数据集市与数据仓库概念1.3 数仓命名规范1.3.1 表命名1.3.2 脚本命名1.3.3 表字段类型第2章数仓理论2.1 范式理论2.1.1 范式概念2.1.2 函数依赖2.1.3 三范式区分2.2.1 关系建模2.2.2 维度建模2.3 维度表和事实表（重点）2.3.1 维度表2.3.2 事实表2.4 数据仓库建模（绝对重点）2.4.1 ODS层2.4.2 DWD层2.4.3 DWS层2.4.4 DWT层2.4.5 ADS层第3章数仓搭建-ODS层

问题导读：1、为什么要进行数据仓库分层？2、需要掌握哪些数仓理论知识？3、如何进行关系建模与维度建模？4、如何进行数据仓库搭建？一、数仓分层1.1 为什么要分层1.3 数仓命名规范1.3.1 表命名ODS层命名为ods_表名DWD层命名为dwd_dim/fact_表名DWS层命名为dws_表名DWT层命名为dwt_购物车ADS层命名为ads_表名临时表命名为xxx_tmp用户行为表，以l...

一、OLTP与OLAP 当今的数据处理大致可以分成两大类：联机事务处理OLTP（on-linetransaction processing）、联机分析处理OLAP（On-Line Analytical Processing）。 OLTP是传统的关系型数据库的主要应用，主要是基本的、日常的事务处理。OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提...

1 数仓分层 1.1 为什么要分层？（1）把复杂的问题简单化把复杂的任务分解为多层完成，方便定位问题~ 少写了很多复杂的sql （2）减少重复开发规范数据分层，通过中间数据，可以减少极大的重复计算，增加复用性中间结果保存出来，以后拿数据就能从中间获取，不用从最开始的数据拿（3）隔离原始数据将真实数据和要使用的统计数据解耦开；权限管理：控制哪些人可以访问哪些表。 --数据怎么到ODS层？ 1. load 2. flume -> hive sin

电商数仓项目(一) 一.数据仓库概念 1.业务数据就是各行业在处理事务过程中产生的数据。 2.用户行为数据用户在使用产品过程中，与客户端产品交互过程中产生的数据。 3.数据仓库为企业制定决策，提供数据支持的。可以帮助企业，改进业务流程，提高产品质量二.数仓分层 1.数仓分层 ODS层：原始数据层。存放原始数据，直接加载原始日志、数据、数据保持原貌不做处理。 DWD层：明细数据层。对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据）、维度退化、脱敏等。 DWS层：服务数据层。以DWD为

张长志的课程社区_NO_5

1

社区成员

538

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章