社区
徐传林的课程社区_NO_1
高性能高扩展的亿级电商全端实时数据仓库全实现(PC、移动、小程序)
帖子详情
65、实时数据仓库DWS层讲解以及用户宽表结构定义
youfanedu
2023-01-13 03:17:13
课时名称
课时知识点
65、实时数据仓库DWS层讲解以及用户宽表结构定义
65、实时数据仓库DWS层讲解以及用户宽表结构定义
...全文
9
回复
打赏
收藏
65、实时数据仓库DWS层讲解以及用户宽表结构定义
课时名称课时知识点65、实时数据仓库DWS层讲解以及用户宽表结构定义65、实时数据仓库DWS层讲解以及用户宽表结构定义
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
五、
数据仓库
电商项目——DWT
层
、可与
DWS
合并一
层
DWT
层
DWT
层
将
DWS
层
每日聚合的数据进行积累,DWT
层
不是分区表,是一个累积型全量表,并且数据来源与
DWS
层
。 累积性全量表:查询要改动的旧数据,查询新增和变化的新数据,新旧关联,以新换旧,导入覆盖。 DWT设备主题
宽表
用户
主题
宽表
drop table if exists dwt_user_topic; create external table dwt_user_topic ( user_id string comment '
用户
id', login_d..
四、
数据仓库
电商项目——
DWS
层
DWS
层
dws
层
的数据从dwd
层
来选取,在建模上进行主题分类,分类后每个主题都制作一张表,按照dwd
层
的数据,进行每日的轻度聚合,一般是建
宽表
。 说明:本次
DWS
层
的数据清洗是与DWT(主题
宽表
DWT
层
则是针对全部进行统计。 DWT
层
每日设备行为 每日会员行为 每日商品行为 每日优惠券统计 (预留) 每日活动统计(预留) 每日购买行为 DWT
层
设备主题
宽表
会员主题
宽表
商品主题
宽表
优惠券主题
宽表
活动主题
宽表
会
5.离线数仓—
DWS
层
设计开发
DWS
层
设计开发前言一、
DWS
回顾1、
DWS
层
了解2、
DWS
层
存在的必要性3、
DWS
层
设计思路4、
DWS
层
特点5、原子指标和派生指标6、
DWS
层
设计原则7、
DWS
层
设计步骤 前言 前面完成了ODS、DIM、DWD
层
的设计和实现,下面进行
DWS
层
的设计开发。 一、
DWS
回顾 1、
DWS
层
了解
数据仓库
汇总
层
数据(Data Warehouse Summary),基于指标需求,构建初步汇总事实表,一般是
宽表
。基于上
层
的应用和产品的指标需求,构建公共粒度的汇总指标表。以
宽表
化手段物理化模型,构建命名规范、口径一致
【
实时
数仓】Day04-
DWS
层
业务:
DWS
设计、访客
宽表
、商品主题
宽表
、流合并、地区主题表、FlinkSQL、关键词主题表、分词...
一、
DWS
层
与DWM设计 1、思路 之前已经进行分流 但只需要一些指标进行
实时
计算,将这些指标以主题
宽表
的形式输出 2、需求 访客、商品、地区、关键词四
层
的需求(可视化大屏展示、多维分析) 3、
DWS
层
定位 轻度聚合、主题中管理 二、
DWS
层
-访客主题
宽表
的计算
DWS
表主要包含维度表和事实表 维度表主要包括渠道、地区、版本、新老
用户
等 事实表主要包括PV、UV、跳出次数、进入页面数(...
数据仓库
项目的整体框架分
层
数据仓库
项目的整体框架分
层
数仓项目最主要的就是分
层
一般都会分为四
层
: ODS
层
:操作数据(最原始的数据)
层
—OD贴源
层
DWD
层
:数仓明细
层
(将会原始数据明细化) —DWD明细
层
DWS
层
:数仓汇总
层
(将明细表轻聚合成
宽表
) —
DWS
宽表
层
A...
徐传林的课程社区_NO_1
1
社区成员
855
社区内容
发帖
与我相关
我的任务
徐传林的课程社区_NO_1
复制链接
扫一扫
分享
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章