数仓

2539623892@qq.com 2021-02-01 12:17:06

我想求教哥们，我现在是做ETL的，也做过一些bi报表，但是那都是一些sql+业务，我想提升自己，想转型数仓，请问数仓的话，需要会Hadoop、spark这些么？数仓是不是主要用hql+业务+一些shell脚本就够了Hadoop、spark只需要知道原理就行了，（比如shuffle等等）做数仓的工作不用会写java代码、Scala代码去写spark streaming啥的吧，主要用的最多的是spark sql、flink sql比较多

...全文

129 回复打赏收藏转发到动态举报

写回复

回复

切换为时间正序

请发表友善的回复…

发表回复

本文介绍了数据仓库的基本概念，强调其面向主题、集成、非易失和随时间变化的特性，并对比了数据仓库与数据库的区别。接着，详细阐述了数仓的分层结构，包括ODS、DWD、DWS和ADS层的作用。此外，详述了ETL过程，数据抽取、转换和加载的细节。在模型分类部分，讨论了OLTP与OLAP系统的差异以及ROLAP、MOLAP和HOLAP模型。最后，提到了数仓建模方法，如维度建模的步骤和不同层级的事实表同步策略。

本文围绕数据仓库建模展开，介绍了基本概念、目标与方法，阐述数据库设计三范式及其与数仓建模的关系。详细讲解维度建模，包括表类型、模型分类及宽表与维度模型选择。还提及Kimball和Inmon两种数仓架构，数仓数据分层，最后说明了数仓建模关键步骤。

本文详述数据仓库建设流程，涵盖业务流程梳理、主题域划分、指标体系构建、实体关系调研、维度标准化、数仓分层及物理模型建立。强调业务导向与标准化，助力建设高效数仓。

本文介绍了数据仓库的基本概念，强调其在大数据分析和决策中的作用。数据仓库通过集成多源数据、确保数据稳定性，并提供主题性分析。数仓的分层有助于减少重复开发、清晰数据结构、定位问题和简化复杂查询。常见的数仓分层包括数据抽取、清洗和转换的过程。此外，文章探讨了数仓分层的好处，如便于管理和优化数据处理流程。

本文探讨了数仓建模和业务建模的差异，包括自上而下与自下而上的建模思路，以及星型、雪花和星座模型在数仓中的应用。数仓建模侧重于大宽表和快速查询，而业务建模遵循范式，关注数据依赖和关系。文章强调理论结合实践经验的重要性。

7,394

社区成员

6,741

社区内容

发帖

与我相关

我的任务

社区管理员

加入社区

近7日
近30日
至今

加载中

查看更多榜单

社区公告

暂无公告

试试用AI创作助手写篇文章吧

+ 用AI写文章