47、实时数据仓库之ODS层之小程序端流量域表构建2

youfanedu 2023-01-13 03:17:12

课时名称	课时知识点
47、实时数据仓库之ODS层之小程序端流量域表构建2	47、实时数据仓库之ODS层之小程序端流量域表构建2

...全文

10 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

基于Flink+Doris构建高性能高扩展的全端实时数据仓库视频教程课程具体数仓报表应用指标包括：实时大屏分析、流量分析、订单分析、商品分析、商家分析等，数据涵盖全端（PC、移动、小程序）应用，与互联网企业大数据技术同步，让大家能够学到大数据企业级实时数据仓库的实战经验。

项目介绍项目整体介绍 1.项目模型搭建此项目为数据仓库项目,主要是做离线计算的项目模型:项目分为流量域和业务域两个主题域,为了方便管理这么多数据,又将每个主题域划分为五个层级,分别是ODS层,DWD层,DWS层,ADS层及DIM层,分层的原因为解耦,复用,便于管理,下面我分别介绍一下项目中他们的应用场景 1.1 ODS层 ODS层:源数据层,分为流量域ODS层及业务域ODS层流量域ODS层:数据来源于日志服务器(用户行为日志数据(APP端和WEB端)),日志服务器将数据生产到Kafka,然后使用Fl

项目整体介绍 1 数仓整体说明 1.1 技术选型数据采集：FLUME 存储平台：HDFS 基础设施：HIVE 运算引擎：SPARKSQL 资源调度：YARN 任务调度：AZKABAN 元数据管理：ATLAS 1.2 分层设计：分层的意义：数据管理更明晰！运算复用度更高！需求开发更快捷！便于解耦底层业务（数据）变化！ 1.2.1 ODS层 ODS层:源数据层,分为流量域ODS层及业务域ODS层流量域ODS层:数据来源于日志服务器(用户行为日志数据(APP端和WEB端)),日志服务器将数据生产到Kafka

一般常规的数据仓库层级结构可分为：ods、dw(可在细分为dwd与dw两层)、dm共三层： ods层：称为接口层或近源数据层，表结构与源系统表结构高度相似，通常在ods层主要会做字段的筛选，枚举值转换，编码统一，异常&缺失数据处理等操作。 dw层：称为中间层，按主题建模（域->主题）的明细数据层，数据粒度与ods层一致。 dm层：称为数据集市层，集市层是按照业务主题、分主题构建出来的、面向特

数据仓库层级一般可分为： ods层：称为接口层或近源数据层，表结构与源系统表结构高度相似，通常在ods层主要会做字段的筛选，枚举值转换，编码统一，异常&缺失数据处理等操作。 dw层：称为中间层，按主题建模（域->主题）的明细数据层，数据粒度与ods层一致。 dm层：称为数据集市层，集市层是按照业务主题、分主题构建出来的、面向特定部门或人员的数据集合。 ...

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章