51、实时数据仓库DWD层之购物车整合流量域表构建

youfanedu 2023-01-13 03:17:12

课时名称	课时知识点
51、实时数据仓库DWD层之购物车整合流量域表构建	51、实时数据仓库DWD层之购物车整合流量域表构建

...全文

191 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

项目整体介绍 1 数仓整体说明 1.1 技术选型数据采集：FLUME 存储平台：HDFS 基础设施：HIVE 运算引擎：SPARKSQL 资源调度：YARN 任务调度：AZKABAN 元数据管理：ATLAS 1.2 分层设计：分层的意义：数据管理更明晰！运算复用度更高！需求开发更快捷！便于解耦底层业务（数据）变化！ 1.2.1 ODS层 ODS层:源数据层,分为流量域ODS层及业务域ODS层流量域ODS层:数据来源于日志服务器(用户行为日志数据(APP端和WEB端)),日志服务器将数据生产到Kafka

CDM：公共数据层，由DWD+DWS+ADS+DIM共同构成公共处理逻辑收敛和下沉统一公共指标和公共维度，减少数据的不一致性建立整个业务范围内的一致性维度，并确保使用；实体表，不大，就可以做每日全量。对于维度表，比如说商品分类，这种不是很大，也可以做每日全量，有一些不太会发生改变的维度，就可以固定保存一份值，比如说：地区，种族等。像事务型事实表，比如说交易流水，操作日志，出库信息，这种每日比较大，且需要历史数据的，就根据时间做每日新增，可以利用分区表，每日做分区存储。像周期型事实表。

目录一、项目整体背景 1、数据仓库 2、用户画像系统 3、推荐系统二、项目整体架构 1、预处理 2、ODS层的表 ...

目录一、【业务模型】业务表数据模型梳理 1、电商业务库表模型整体架构 2、本项目中所需要用到的业务表 1)、购物车表 ...

目录一、【App分析】app版本升级分析 1、需求分析 2、ADS模型：ADS_APP_UPG 3、计算 1)、计算...

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章