74、实时数据仓库DWS层商品宽表月表

youfanedu 2023-01-13 03:17:14

课时名称	课时知识点
74、实时数据仓库DWS层商品宽表月表	74、实时数据仓库DWS层商品宽表月表

...全文

6 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

课程介绍： Informatica 9.6 实战课程，将从数据仓库体系架构介绍，服务器搭建配置，实例组件操作，丰富的案例，及项目实战开发过程来讲述ETL工具Informatica的实际应用，真正完成数据仓库全流程开发应用，ODS层，EDW层，DM层，学完该课程具备ETL软件开发工程师能力水平，能独立完成项目开发工作，从入门到高级项目开发应用，每个实例都载图，课件，教程，数据等，能达到中高级ETL开发能力，本课程的学习要求，一定跟着实例动手实战，操作才能掌握实例的开发步骤，及开发注意事项。每个组件都用具体案例讲解，保证学以致用。掌握ETL的开发技能，搭建数据仓库体系架构。应对各环境操作。具体数据实操与应用。你将收获：ETL软件开发工程师能力与水平数据仓库体系架构案例综合应用实战ETL实战项目开发数据采集与数据处理数据清洗与数据仓库指标统计学会使用Informatica完成项目开发掌握ETL开发流程掌握数据质量管理适用人群 数据仓库初学者 数据仓库开发工程师数据库开发工程师 BI开发工程师数据可视化工程师大数据开发与应用 数据仓库管理数据管理数据分析师业务数据分析零基础入门ETL ETL大数据处理 数据仓库体系架构图：课程大纲：01_Informatica9.6课程导学02_数据仓库体系介绍03_Oracle_安装04_Oracle_配置.wmv05_PLSQL工具汉化破解06_Informatica9.6安装.wmv07_Informatica9.6服务器配置.wmv08_客户端的安装配置连接.wmv09_客户端工具介绍10_源数据介绍11_入门实例EMP_0112_入门实例EMP_0213_入门实例DEPT表14_表达式Fx组件实例115_表达式Fx组件实例216_聚合组件实例17_查找Lookup组件实例18_过滤Filter组件实例19_Informatica9.6 排序sort组件实例详解20_Informatica9.6 分发器Router组件实例21_Informatica9.6 sql连接查询复习22_Informatica9.6 连接查询同构SQ23_Informatica9.6 连接查询异构JOIN24_Informatica9.6 等级函数Rank实例25_Informatica9.6 数据合并Union组件实例26_Informatica9.6 存储过程Px组件实例27_1行转列案例sql28_2行转列案例ETL过程29_工资大于该职位下平均工资案例30_增量抽取案例31_缓慢变化维案例32_对文件数据的读取写入33_项目1薪酬统计项目介绍34_Informatica 项目1薪酬统计项目接口入库ODS35_Informatica 项目1薪酬统计项目EDW层明细表临时表1sql36_Informatica 项目1薪酬统计项目EDW层明细表临时表2ETL37_Informatica 项目1薪酬统计EDW层明细表138_Informatica 项目1薪酬统计EDW层明细表239_Informatica 项目1薪酬统计EDW层明细表340_Informatica 项目1薪酬统计DM层月考勤统计报表41_Informatica 项目1开发DM层统计报表142_Informatica 项目1开发DM层统计报表243_Informatica 项目1开发DM层统计报表344_Informatica 项目1开发DM层薪资报表145_Informatica 项目1开发DM层薪资报表246_Informatica 项目1开发DM层薪资报表347_Informatica 项目2计费系统项目介绍48_Informatica 项目2计算系统项目ODS层49_Informatica 项目2计费系统EDW层150_Informatica 项目2计费系统EDW层251_Informatica 项目2计费系统EDW层352_Informatica 项目2计费系统DM层

DWS层 dws层的数据从dwd层来选取，在建模上进行主题分类，分类后每个主题都制作一张表，按照dwd层的数据，进行每日的轻度聚合，一般是建宽表。说明：本次DWS层的数据清洗是与DWT（主题宽表 DWT层则是针对全部进行统计。 DWT层每日设备行为每日会员行为每日商品行为每日优惠券统计（预留）每日活动统计（预留）每日购买行为 DWT层设备主题宽表会员主题宽表商品主题宽表优惠券主题宽表活动主题宽表会

Flink实时数仓项目—DWS层设计与实现前言一、需求梳理1.需求梳理2.DWS层定位二、DWS层—访客主题宽表的实现1.访客主题的需求2.访客主题宽表的设计3.实现思路4.代码实现三、DWS层—商品主题宽表的实现1.商品主题需求2.商品主题宽表的设计2.1 维度字段2.2 度量值2.3 其他字段3.商品主题宽表实体类4.功能实现前言在前面通过使用分流等方法，把数据拆分成了独立的Kafka Topic，接下来我们就要根据需求得出要计算哪些指标项。我们把指标以主题宽表的形式输出就是DWS层要做的事情。

一、DWS层与DWM设计 1、思路之前已经进行分流但只需要一些指标进行实时计算，将这些指标以主题宽表的形式输出 2、需求访客、商品、地区、关键词四层的需求(可视化大屏展示、多维分析) 3、DWS层定位轻度聚合、主题中管理二、DWS层-访客主题宽表的计算 DWS表主要包含维度表和事实表维度表主要包括渠道、地区、版本、新老用户等事实表主要包括PV、UV、跳出次数、进入页面数(...

知识点03：DWS层搭建--商品主题宽表--需求分析确定指标字段与表的关系#下单次数、下单件数、下单金额 dwb_order_detail order_id: 下单次数相当于下了多少订单（有多少个包含这个商品的订单） buy_num : 下单件数相当于下了多少商品 total_price 每个商品下单金额指的是订单金额还是商品金额？应该是商品金额(订单中可能会包含其他商品)#被支付次数、被支付件数、被支付金额 dwb_order_detail #支付状态的

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章