社区
徐传林的课程社区_NO_1
高性能高扩展的亿级电商全端实时数据仓库全实现(PC、移动、小程序)
帖子详情
67、实时数据仓库DWS层用户宽表数据转换sql编写1
youfanedu
2023-01-13 03:17:13
课时名称
课时知识点
67、实时数据仓库DWS层用户宽表数据转换sql编写1
67、实时数据仓库DWS层用户宽表数据转换sql编写1
...全文
20
回复
打赏
收藏
67、实时数据仓库DWS层用户宽表数据转换sql编写1
课时名称课时知识点67、实时数据仓库DWS层用户宽表数据转换sql编写167、实时数据仓库DWS层用户宽表数据转换sql编写1
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
SQl
Server
数据
库
讲述
Sql
Server
数据
库的企业级开发常用的关键知识点。尽量把概念讲的通俗易懂,了解其架构原理,不仅仅会操作应用,还要把握其本质。帮大家更深层次的理解
数据
库。【课程目录】一.
Sql
Server
数据
库架构1.架构2.体系结构协议层(Protocols)/•关系引擎(Relational Engine),也称为查询处理器(Query Processor)/存储引擎(Storage Engine)/•
SQL
OS二.
数据
库核心应用。1.
数据
仓库
/2.连接
数据
库/3.
数据
库开发三.
数据
库设计方法。四.
SQL
语句。1.
Sql
基本操作。/2.
数据
库库
表
资源获取。五.
数据
库事务。1.事务访问
数据
库。/2.
数据
批处理
湖仓一体电商项目(二十三):离线业务 统计每天
用户
商品浏览所获积分
使用Iceberg构建湖仓一体架构进行
数据
仓库
分层,通过Flink操作各层
数据
同步到Iceberg中做到的离线与
实时
数据
一致,当项目中有一些离线临时性的需求时,我们可以基于Iceberg各层
编写
SQL
进行
数据
查询,针对Iceberg
DWS
层中的
数据
我们可以
编写
SQL
进行离线
数据
指标分析。当前离线业务根据Iceberg-
DWS
层中商品浏览
宽
表
数据
“
DWS
_BROWSE_INFO”进行查询每天每个
用户
商品浏览所获积分信息。
五、
数据
仓库
电商项目——DWT层、可与
DWS
合并一层
DWT层 DWT层将
DWS
层每日聚合的
数据
进行积累,DWT层不是分区
表
,是一个累积型全量
表
,并且
数据
来源与
DWS
层。 累积性全量
表
:查询要改动的旧
数据
,查询新增和变化的新
数据
,新旧关联,以新换旧,导入覆盖。 DWT设备主题
宽
表
用户
主题
宽
表
drop table if exists dwt_user_topic; create external table dwt_user_topic ( user_id string comment '
用户
id', login_d..
四、
数据
仓库
电商项目——
DWS
层
DWS
层
dws
层的
数据
从dwd层来选取,在建模上进行主题分类,分类后每个主题都制作一张
表
,按照dwd层的
数据
,进行每日的轻度聚合,一般是建
宽
表
。 说明:本次
DWS
层的
数据
清洗是与DWT(主题
宽
表
DWT层则是针对全部进行统计。 DWT层 每日设备行为 每日会员行为 每日商品行为 每日优惠券统计 (预留) 每日活动统计(预留) 每日购买行为 DWT层 设备主题
宽
表
会员主题
宽
表
商品主题
宽
表
优惠券主题
宽
表
活动主题
宽
表
会
5.离线数仓—
DWS
层设计开发
DWS
层设计开发前言一、
DWS
回顾1、
DWS
层了解2、
DWS
层存在的必要性3、
DWS
层设计思路4、
DWS
层特点5、原子指标和派生指标6、
DWS
层设计原则7、
DWS
层设计步骤 前言 前面完成了ODS、DIM、DWD层的设计和实现,下面进行
DWS
层的设计开发。 一、
DWS
回顾 1、
DWS
层了解
数据
仓库
汇总层
数据
(Data Warehouse Summary),基于指标需求,构建初步汇总事实
表
,一般是
宽
表
。基于上层的应用和产品的指标需求,构建公共粒度的汇总指标
表
。以
宽
表
化手段物理化模型,构建命名规范、口径一致
徐传林的课程社区_NO_1
1
社区成员
855
社区内容
发帖
与我相关
我的任务
徐传林的课程社区_NO_1
复制链接
扫一扫
分享
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章