51、实时数据仓库DWD层之购物车整合流量域表构建

youfanedu 2023-01-13 03:17:12

课时名称	课时知识点
51、实时数据仓库DWD层之购物车整合流量域表构建	51、实时数据仓库DWD层之购物车整合流量域表构建

...全文

90 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

CDM：公共数据层，由DWD+DWS+ADS+DIM共同构成公共处理逻辑收敛和下沉统一公共指标和公共维度，减少数据的不一致性建立整个业务范围内的一致性维度，并确保使用；实体表，不大，就可以做每日全量。对于维度表，比如说商品分类，这种不是很大，也可以做每日全量，有一些不太会发生改变的维度，就可以固定保存一份值，比如说：地区，种族等。像事务型事实表，比如说交易流水，操作日志，出库信息，这种每日比较大，且需要历史数据的，就根据时间做每日新增，可以利用分区表，每日做分区存储。像周期型事实表。

主题根据需求是对指标数据进行归类，每个分类是一个主题主题域根据业务分析需求的划分领域，将联系较为紧密的数据主题的集合在一起主题域下面可以有多个主题，主题还可以划分成更多的子主题，主题和主题之间的建设可能会有交叉现象（数据交叉）主题域：川菜(主题域)鱼香（主题）：鱼香肉丝（子主题），鱼香茄子。。。麻辣（主题）：麻婆豆腐，麻辣兔头。。。销售主题域售卖主题不同门店的售卖分析（子主题） sum(订单金额)，count(订单id) group by 门店销售额销售量。

一什么是数据仓库 1.1 数据仓库概念 数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它出于分析性报告和决策支持目的而创建。 1.2 数据仓库特点 1.2.1面向主题普通的操作型数据库主要面向事务性处理，而数据仓库中的所有数据一般按照主题进行划分。主题是对业务数据的一种抽象，是从较高层次上对信息系统中的数据进行归纳和整理。面向主题的数据可以划分成两部分----根据原系统业务数据的特点进行主题的抽取和确定

服务名称子服务服务器hadoop111服务器hadoop112服务器hadoop113HDFSNameNode√DataNode√√SecondaryNameNode√YarnResourcemanager√NodeManager√√ZookeeperZookeeper Server√√√Flume（采集日志）Flume√KafkaKafka√√√Flume（Kafka日志）Flume√Flume（Kafka业务）Flume√Hive√MySQLMySQL√DataX√Spark√√√DolphinSche

目录一、事实和维度 1、基本概念 2、事实表及维度举例 3、维表举例 4、维度建模经典模型二、数仓分层管理 1、数仓分层概述 ...

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章