56、实时数据仓库DWD层之购物车基础数据转换整合补充

youfanedu 2023-01-13 03:17:13

课时名称	课时知识点
56、实时数据仓库DWD层之购物车基础数据转换整合补充	56、实时数据仓库DWD层之购物车基础数据转换整合补充

...全文

65 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

由于企业级数据仓库的设计、实施很困难，使得最早吃数据仓库螃蟹的公司遭到大面积的失败，除了常见的业务需求定义不清、项目执行不力之外，很重要的原因是因为其数据模型设计，在企业级数据仓库中，Inmon推荐采用三范式进行数据建模，但是不排除其他的方法，但是Inmon的追随者固守OLTP系统的3范式设计，从而无法支持决策支持（DSS -Decision Suport System ）系统的性能和数据易访问性的要求。数据集市层，也可以称为数据应用层，基于DW上的基础数据，整合汇总成分析某一个主题域的报表数据。

缓冲层（也称接口层或Stage层）用于存储每天的增量和变更数据。该层暂存从源系统采集的原始数据，以便后续数据处理和ETL流程的使用。数据仓库的分层设计和模型方法为企业提供了强大的数据管理能力，不仅能够应对复杂的业务需求变化，还能在保障系统稳定性和数据质量的同时提升运营效率。通过合理分层，数据仓库可以高效地存储、处理和分析数据，实现数据价值的最大化。通过三部分的系统性讲解，相信您已经对数据仓库的四层架构及其应用有了更深的理解。请继续关注我们的更多技术分享，与我们一起探索数据驱动的未来。本文由。

数据仓库(Data Warehouse)，简称DW。数据仓库顾名思义，是⼀个很⼤的数据存储集合，出于企业的分析性报告和决策⽀持⽬的⽽创建，对多样的业务数据进⾏筛选与整合。它为企业提供⼀定的BI（商业智能）能⼒，指导业务流程改进。 Hive是Facebook为了解决海量日志数据的统计分析而开发的基于Hadoop的一个数据仓库工具(后来开源给了Apache软件基金会)，可以将结构化的数据文件映射为一张数据库表，并提供类SQL查询功能.HQL。

本文介绍了数据库与数据仓库的核心概念与应用。在数据库部分，重点阐述了关系型数据库设计的三大范式：第一范式强调字段原子性，第二范式要求非主键字段完全依赖主键，第三范式避免传递依赖。同时指出实际应用中可能需要反范式设计以提高查询效率。ER实体模型部分通过电商案例展示了实体、属性和关系的表示方法。

整个项目的数据源都是集中在MySQL中的，通过sqoop完成数据的导入操作，将数据导入到HDFS中使用HIVE构建相关的表，建立数仓体系，在HIVE进行分层处理，在进行统计分析的时候，采用presto提升分析的效率，将分析的结果导出到Mysql中，最后使用fineBi完成报表展示操作。整个项目基于c1oudera manager进行监控管理，使用oozie完成工作流的调度操作。

徐传林的课程社区_NO_1

1

社区成员

855

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章