社区
徐传林的课程社区_NO_1
高性能高扩展的亿级电商全端实时数据仓库全实现(PC、移动、小程序)
帖子详情
47、实时数据仓库之ODS层之小程序端流量域表构建2
youfanedu
2023-01-13 03:17:12
课时名称
课时知识点
47、实时数据仓库之ODS层之小程序端流量域表构建2
47、实时数据仓库之ODS层之小程序端流量域表构建2
...全文
10
回复
打赏
收藏
47、实时数据仓库之ODS层之小程序端流量域表构建2
课时名称课时知识点47、实时数据仓库之ODS层之小程序端流量域表构建247、实时数据仓库之ODS层之小程序端流量域表构建2
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
基于Flink+Doris
构建
高性能高扩展的全
端
实时
数据仓库
视频教程
基于Flink+Doris
构建
高性能高扩展的全
端
实时
数据仓库
视频教程 课程具体数仓报表应用指标包括:
实时
大屏分析、
流量
分析、订单分析、商品分析、商家分析等,数据涵盖全
端
(PC、移动、
小程序
)应用,与互联网企业大数据技术同步,让大家能够学到大数据企业级
实时
数据仓库
的实战经验。
项目介绍
项目介绍 项目整体介绍 1.项目模型搭建 此项目为
数据仓库
项目,主要是做离线计算的 项目模型:项目分为
流量
域和业务域两个主题域,为了方便管理这么多数据,又将每个主题域划分为五个层级,分别是
ODS
层,DWD层,DWS层,ADS层及DIM层,分层的原因为解耦,复用,便于管理,下面我分别介绍一下项目中他们的应用场景 1.1
ODS
层
ODS
层:源数据层,分为
流量
域
ODS
层及业务域
ODS
层
流量
域
ODS
层:数据来源于日志服务器(用户行为日志数据(APP
端
和WEB
端
)),日志服务器将数据生产到Kafka,然后使用Fl
大数据开发之
数据仓库
项目流程小总结(一)
项目整体介绍 1 数仓整体说明 1.1 技术选型 数据采集:FLUME 存储平台:HDFS 基础设施:HIVE 运算引擎:SPARKSQL 资源调度:YARN 任务调度:AZKABAN 元数据管理:ATLAS 1.2 分层设计: 分层的意义:数据管理更明晰!运算复用度更高!需求开发更快捷!便于解耦底层业务(数据)变化! 1.2.1
ODS
层
ODS
层:源数据层,分为
流量
域
ODS
层及业务域
ODS
层
流量
域
ODS
层:数据来源于日志服务器(用户行为日志数据(APP
端
和WEB
端
)),日志服务器将数据生产到Kafka
数据仓库
模型的层级结构以及范式建模和维度建模
一般常规的
数据仓库
层级结构可分为:
ods
、dw(可在细分为dwd与dw两层)、dm共三层:
ods
层:称为接口层或近源数据层,表结构与源系统表结构高度相似,通常在
ods
层主要会做字段的筛选,枚举值转换,编码统一,异常&缺失数据处理等操作。 dw层:称为中间层,按主题建模(域->主题)的明细数据层,数据粒度与
ods
层一致。 dm层:称为数据集市层,集市层是按照业务主题、分主题
构建
出来的、面向特
工作
数据仓库
设计要点201805
数据仓库
层级一般可分为:
ods
层:称为接口层或近源数据层,表结构与源系统表结构高度相似,通常在
ods
层主要会做字段的筛选,枚举值转换,编码统一,异常&缺失数据处理等操作。 dw层:称为中间层,按主题建模(域->主题)的明细数据层,数据粒度与
ods
层一致。 dm层:称为数据集市层,集市层是按照业务主题、分主题
构建
出来的、面向特定部门或人员的数据集合。 ...
徐传林的课程社区_NO_1
1
社区成员
855
社区内容
发帖
与我相关
我的任务
徐传林的课程社区_NO_1
复制链接
扫一扫
分享
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章