124.搭建实时数仓DWS层-每日用户进程行为（5）

俊哥大数据 2024-12-27 17:04:32

课时名称	课时知识点
124.搭建实时数仓DWS层-每日用户进程行为（5）	124.搭建实时数仓DWS层-每日用户进程行为（5）124.搭建实时数仓DWS层-每日用户进程行为（5）

...全文

52 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

大数据技术之高频面试题8.0.8(1)(1).docx

设计要点：（1）DWS层的设计参考指标体系；（2）DWS层表名的命名规范为dws_数据域_统计粒度_业务过程_统计周期（window）注：window 表示窗口对应的时间范围。主要任务从 Kafka 页面浏览明细主题读取数据，过滤搜索行为，使用自定义 UDTF（一进多出）函数对搜索内容分词。统计各窗口各关键词出现频次，写入 ClickHouse。思路分析本程序将使用 FlinkSQL 实现。分词是个一进多出的过程，需要一个 UDTF 函数来实现，FlinkSQL 没有提供相关的内置函数，所以要自定义 UDT

（1）DataStream方式});});} });} }这种方式的缺点是只有inner join。（2）SQL方式});});//将流转换为动态表 tableEnv . createTemporaryView("t1" , waterSensorDS1);

Flink电商实时数仓项目 - 数据采集 1 电商实时数仓项目概述 1.1 数据分层分析离线数仓项目的分层为： ODS、DWD、DWS、DWT、ADS flink实时数仓项目的分层为： ODS、DWD、DIM、DWM、DWS、ADS 其中ODS层为原始数据层；DWD层详细数据层，根据数据对象为单位进行分流，比如订单、页面访问等；DIM层维度数据层；DWM层对部分数据对象进一步加工，比如独立访问、跳出行为，也可以与维度进行关联，形成宽表，依旧是明细数据；DWS层根据某个主题将多个实时数据轻度聚合，

DWM 层部分的代码主要的责任，是通过计算把一种明细转变为另一种明细以应对后续的统计。学完本阶段内容要求掌握

杨俊的课程社区_NO_5

2

社区成员

637

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章