社区
数据仓库
帖子详情
数仓
2539623892@qq.com
2021-02-24 01:44:10
我想求教哥,我现在是做ETL的,也做过一些bi报表,但是那都是一些sql+业务,我想提升自己,想转型数仓,请问数仓的话,需要会Hadoop、spark这些么?数仓是不是主要用hql+业务+一些shell脚本就够了Hadoop、spark只需要知道原理就行了,(比如shuffle等等)做数仓的工作不用会写java代码、Scala代码去写spark streaming啥的吧,主要用的最多的是spark sql、flink sql比较多
...全文
2949
2
打赏
收藏
数仓
我想求教哥,我现在是做ETL的,也做过一些bi报表,但是那都是一些sql+业务,我想提升自己,想转型数仓,请问数仓的话,需要会Hadoop、spark这些么?数仓是不是主要用hql+业务+一些shell脚本就够了Hadoop、spark只需要知道原理就行了,(比如shuffle等等)做数仓的工作不用会写java代码、Scala代码去写spark streaming啥的吧,主要用的最多的是spark sql、flink sql比较多
复制链接
扫一扫
分享
转发到动态
举报
写回复
配置赞助广告
用AI写文章
2 条
回复
切换为时间正序
请发表友善的回复…
发表回复
打赏红包
妞果
2021-03-26
打赏
举报
回复
我认为需要考虑清楚是想做DBA呢 还是数据分析这块?前者对业务的关联性相对较少,后则需要在对应行业摸索较长一段时间业务。
一个数据小开发
2021-03-23
打赏
举报
回复
可以这么理解,主要还是要能够懂业务,学会业务建模,学会如何写sql如何写spark等都不难,难的是如何深入理解业务,在这基础上进行逻辑建模
数仓
理论及建模方法
1.
数仓
概述 数据仓库: 数据仓库是一个面向主题的、集成的、非易失的、随时间变化的数据集合。重要用于组织积累的历史数据,并且使用分析方法(OLAP、数据分析)进行分析整理,进而辅助决策,为管理者、企业系统提供数据支持,构建商业智能。 面向主题:为数据分析提供服务,根据主题将原始数据集合在一起。 集成的:原始数据来源于不同的数据源,要整合成最终数据,需要经过 ETL(抽取、清洗、转换)的过程。 非易失:保存的数据是一系列历史快照,不允许被修改,只允许通过工具进行查询、分析。 时变性:
数仓
会定期接收、集成新的
【
数仓
】
数仓
建模理论及步骤,ER建模,维度建模,星形模型,雪花模型,数据分层
数据仓库是一个面向主题、集成的、非易失的且随时间变化的数据集合。它主要用于组织、积累历史数据,并使用分析方法(如OLAP、数据分析)进行分析整理,以辅助决策,为管理者、企业系统提供数据支持、构建商业智能。 数据仓库的特点包括面向主题性、集成性、非易失性和时变性。
数仓
建模的目标是在性能、成本、效率和数据质量之间找到最佳平衡点
数仓
建设流程
数仓
建设流程一、
数仓
概览二、流程详解1.梳理业务流程2.垂直切分,划分主题域3.梳理指标体系4.表实体关系调研5.维度梳理4.
数仓
分层7.物理模型建立三、tipis 注:本文转至 如何搭建一个数据仓库,仅用于个人学习,侵权删。 一、
数仓
概览 整体建设 建设过程
数仓
建模的过程分为业务建模、领域建模、逻辑建模和物理建模,但是这 些步骤比较抽象。为了便于落地,我根据自己的经验,总结出上面的七个步骤:梳理业务流程、垂直切分(划分主题域)、指标体系梳理、表实体关系调研、维度梳理、
数仓
分层以及物理模型建立。每
通俗易懂:什么是
数仓
一文带你了解数据仓库
数仓
建模—
数仓
建模和业务建模
这篇文章的主要是为了对比
数仓
建模和业务建模的区别,从而更好的掌握,关于里面提到的很多
数仓
建模的知识,前面都有文章介绍,你可以参考。
数据仓库
7,394
社区成员
6,741
社区内容
发帖
与我相关
我的任务
数据仓库
其他数据库开发 数据仓库
复制链接
扫一扫
分享
社区描述
其他数据库开发 数据仓库
社区管理员
加入社区
获取链接或二维码
近7日
近30日
至今
加载中
查看更多榜单
社区公告
暂无公告
试试用AI创作助手写篇文章吧
+ 用AI写文章